Поисковик Old-Web официальная тема

[danil]

Раз уж у old-web есть свой поиск, то решил создать для него тему в соответствующем разделе.

У нас ищутся старые сайты, без слежки и JS. Как в начале нулевых.

Поисковые операторы работают, например:

1) -
2) +
3) site:
4) кавычки

В индекс пока что 10 лямов страниц. Место на сервере занято 5%, так что можем еще в 20 раз увеличить объем страниц, а это уже будет 200 000 000 страниц.

[Шурик]

20 миллионов! Мне кажется, на старых компах можно old web ставить домашней страницей, и спокойно забывать про остальной интернет

[danil]

Сообщение от Шурик

20 миллионов! Мне кажется, на старых компах можно old web ставить домашней страницей, и спокойно забывать про остальной интернет

Пока что есть 10 миллионов страниц, буду идти к цифре 200 миллионов. Но надо понимать, что старый интернет не на столько велик. Мы неизбежно столкнёмся с нехваткой сайтов для индексации.

[maninabox]

А что за движок используется?
Смотрю по отзывчивости, он немного туповат, скорее всего нет потоковой индексации, просто делает выборку из базы.

[danil]

Сообщение от maninabox

А что за движок используется?
Смотрю по отзывчивости, он немного туповат, скорее всего нет потоковой индексации, просто делает выборку из базы.

Движок Yacy. Да, туповат. Буду менять в будущем.

[danil]

Закончил писать скрипт, который будет управлять очередью сайтов, которые нужно индексировать в поисковике Old-Web. Это значит, что не будет больше превышена нагрузка на сервер, из-за чего было невозможно искать, если индексировались сайты.

В том числе, теперь можно будет автоматизировать индексацию, а не вводить руками ссылки для индексации. Это даст возможность увеличить количество сайтов и страниц в поиске в разы.

Добавлено через 2 минуты
Если будет спрос на поиск, то в будущем увеличу для поискового сервера количество RAM и CPU, это увеличит скорость работы поисковика и сделает его более отзывчивым.

Добавлено через 50 минут
Добавил 75000 старых сайтов в очередь на индексацию.