Своя поисковая система на old-web.com

[danil]

Я пользовался API от поиска Google все это время для поиска на old-web. На самом деле ни Google ни Яндекс не ищет на сайтах которые мне нужны. Этим поисковым системам выгодно показывать сайты с уже большим трафиком, а маленькие сайты, на которых есть нужный мне контент вообще исключены из поиска. Таким образом, ни Google ни Яндекс не подходит для внедрения на old-web.

[danil]

Изначально я хотел индексировать только сайты из каталога, но передумал. Только одно ограничение оставлю, сайт должен быть доступен без https, тут-то все современные соц. сети и прочие платформы сами отвалятся.

[danil]

На данный момент индексация сайтов проходит успешно. Процесс будет идти постоянно, пополняя поиск новыми страницами.

Чувствую себя первопроходцем из 2000х )) Отдельный поисковой сервер для http сайтов, который индексирует весь видимый веб. Как и ожидалось, веб больше, чем нам показывает Google и Яндекс. Может позже отдельный сайт поисковик открою, для всех языков, чтобы все могли искать через него http web.

[dsalin]

Пожалуйста, поделитесь как вы это организовали?

[danil]

Сообщение от dsalin

Пожалуйста, поделитесь как вы это организовали?

Арендовал облачный Ubuntu сервер, установил опенсорсный поисковой движок Yacy, версию для Linux. Когда проиндекирую достаточно большую часть веба на http, внедрю поисковую строку на своих сайтах, сделаю отдельный сайт чисто с поисковой строкой, сделаю конструктор виджета, чтобы поисковую форму можно было установить на любом сайте.

В принципе, он будет не хуже, чем первые поисковики. Все равно альтернативных поисковиков не так много. Если смогу индексировать за год сотни миллионов http страниц, то это будет полноценный поисковик в своей нише, который чисто в http ищет.

Сообщество продолжает дорабатывать этот движок, так, что с безопасностью не должно быть проблем.

Есть поиск по картинкам, автозаполнение и прочие привычные для современных поисковиков штуки.

[danil]

Уже проиндексировано более 200 000 страниц. Что капля в море, продолжаю индексацию. На днях поставлю форму поиска новую на сайте, перейдем на свою поисковую базу.

[danil]

В индексе уже 1,003,835 страниц. Внедрение нового поисковика на old-web уже скоро.