Поисковик Old-Web официальная тема

[eriko]

Раз уж у old-web есть свой поиск, то решил создать для него тему в соответствующем разделе.

У нас ищутся старые сайты, без слежки и JS. Как в начале нулевых.

Поисковые операторы работают, например:

1) -
2) +
3) site:
4) кавычки

В индекс пока что 10 лямов страниц. Место на сервере занято 5%, так что можем еще в 20 раз увеличить объем страниц, а это уже будет 200 000 000 страниц.

[Шурик]

20 миллионов! Мне кажется, на старых компах можно old web ставить домашней страницей, и спокойно забывать про остальной интернет

[eriko]

Сообщение от Шурик

20 миллионов! Мне кажется, на старых компах можно old web ставить домашней страницей, и спокойно забывать про остальной интернет

Пока что есть 10 миллионов страниц, буду идти к цифре 200 миллионов. Но надо понимать, что старый интернет не на столько велик. Мы неизбежно столкнёмся с нехваткой сайтов для индексации.

[maninabox]

А что за движок используется?
Смотрю по отзывчивости, он немного туповат, скорее всего нет потоковой индексации, просто делает выборку из базы.

[eriko]

Сообщение от maninabox

А что за движок используется?
Смотрю по отзывчивости, он немного туповат, скорее всего нет потоковой индексации, просто делает выборку из базы.

Движок Yacy. Да, туповат. Буду менять в будущем.

[eriko]

Закончил писать скрипт, который будет управлять очередью сайтов, которые нужно индексировать в поисковике Old-Web. Это значит, что не будет больше превышена нагрузка на сервер, из-за чего было невозможно искать, если индексировались сайты.

В том числе, теперь можно будет автоматизировать индексацию, а не вводить руками ссылки для индексации. Это даст возможность увеличить количество сайтов и страниц в поиске в разы.

Добавлено через 2 минуты
Если будет спрос на поиск, то в будущем увеличу для поискового сервера количество RAM и CPU, это увеличит скорость работы поисковика и сделает его более отзывчивым.

Добавлено через 50 минут
Добавил 75000 старых сайтов в очередь на индексацию.

[eriko]

Сообщение от maninabox

скорее всего нет потоковой индексации, просто делает выборку из базы.

Забыл ответить на этот вопрос. Это полностью отдельная поисковая система, установленная на моем сервере. Минусы на лицо, сервер слабенький, не тянет. А прямо сейчас хостер вообще ушел в аут, недоступен ни он, не поисковой сервер Old-Web. Наверное завтра вернутся, починят и снова будем онлайн.

На самом деле отдельных поисковиков со своей базой, очень мало. А чтобы в индексе были только сайты определенной тематики/области, таких можно по пальцам пересчитать. Если бы я нашел поисковик, который был бы лучше чем на Old-Web по поиску в старых сайтах, я бы не стал делать свой. Но то что есть, это просто микро-поисковики, а у нас уже около 15 000 000 страниц старого веба в индексе.

Но я все равно недоволен, хочу в 10 раз большую базу страниц старых сайтов в поиске. Было бы больше денег, взял бы сервер в двое мощнее для поисковика, чтобы быстрее выдавался результат поиска.

[maninabox]

Сообщение от danil

Забыл ответить на этот вопрос. Это полностью отдельная поисковая система, установленная на моем сервере.

Я и так в курсе
Движок сам по себе посредственный. Поискал по движкам, ничего лучше не нашел.

Сообщение от danil

Минусы на лицо, сервер слабенький, не тянет.

Не в сервере дело. Скрипт пишет в бд, оттуда забирает. А можно было сделать кеширование на винт и выдавать не результаты с базы, а уже готовые варианты. Как-то так все крупные поисковики работают.

[eriko]

Последний месяц я медленно индексировал, чтобы поиском возможно было пользоваться, не нагружал сервак. Но все равно никто не пользуется, поэтому я врубил сейчас на полную мощность индексирование. Хоть базу увеличу.

[eriko]

12 миллионов страниц уже в индексе. На этом индексирование новых сайтов временно приостанавливаю.

Продолжать, пока у меня для поиска такой медленный сервер, я не собираюсь.

Пользуйтесь, фоновых процессов нет, поэтому будет работать быстрее.

Советую использовать оператор filetype: и вводить расширение файла, например avi.

Я делал поиск, для того, чтобы можно было найти скрытые в старом интернете файлы, нарыть что-то редкое и эксклюзивное. 12 лямов файлов проиндексировано, поиск может искать даже внутри проиндексированных .zip.