У нас теперь своя поисковая система

[danil]

Теперь у Old-Web своя поисковая система. Раньше стоял поиск по индексу Google, а он ограничивает количество запросов в день и релевантность мне не нравится ни в одном из существующих поисковиков, в том числе Google.

На главной странице есть поле поиска.

Поиск производится по сайтам из каталога, проиндексированы внутренние страницы этих сайтов нашим ботом.

Нам нужен был свой поисковик, для каталога old-web, без ограничений.

Можно искать с кавычками, можно использовать оператор site:domain.com для поиска по конкретному сайту из каталога.

Теперь к ссылкам прилагается иконка сайта, если есть.

Протестируйте качество релевантности поиска.

P.S. Если по каким то запросам не очень релевантные ссылки, причина в том, что в базу еще не попала релевантная ссылка, показывается что есть. Нужно понимать что у нас в каталоге около 250 сайтов, это не весь интернет. Но я буду добавлять новые сайты постепенно, процесс требует времени.

P.S.S. Поисковик сохраняет кеш страниц, но без картинок. Если ссылка ведет на сайт, которого больше нет, я заменю их ссылки на ссылки из кеша поисковика или на копию из веб-архива.

[danil]

Сайты нашего каталога проиндексированы. Место на диске поискового сервера забито на 100%. Когда добавлю новые сайты в каталог, расширю дисковое пространство.

[danil]

Так сложно уследить за всем. Несколько дней был сброшен алгоритм ранжирования поиска до заводских настроек и ничего путного не искалось. Я еще удивлялся почему поиск ухудшился. Только что доперно, пошел проверять ранжирование.

Пофиксил, теперь снова можно нормально искать по сайтам.

[danil]

Нам тесно в каталоге, я начинаю индексировать сайты на narod.ru. Если конечно Ucoz (владелец Narod.ru) не забанит бота.

[danil]

Я непросто так выбрал такой ресурсотребовательный движок как Yacy для организации поиска по старому вебу.

Я еще не использовал все его преимущества на Old-Web.

Такие вещи как:
- Поисковые подсказки
- Поиск по картинкам
- Поиск по файлам (и даже по содержимому zip архивов из проиндексированных сайтов)
- многое другое

Да он тормозит, зато работает и выдает релевантные результаты.

Так же, в будущем я сделаю так, чтобы вы могли встроить поиск на свой сайт, чтобы устроить поиск по своему сайту, а так же делать запросы на переиндексирование своих сайтов и многое другое еще впереди.