Как создать свой поисковик?

@blecklight · Регистрация: 13.02.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте.

В интернете не много информации на эту тему дня "новичков"

Можете подсказать как создать поисковик похожий на ГУГЛ (по функционалу) хотя бы версии 1999 года

На каком языке нужно писать поисковик?
Сколько нужно денег на это? (если в одиночку нереально, и нужно нанимать программистов)
Сколько железа (серверов) ?

Заранее спасибо за ответы.

Добавлено через 14 часов 1 минуту
На том форуме кто нить разбирается в этом?

@VTsaregorodtsev · 14.02.2016, 22:15

Четвёртая глава в книге Тоби Сегарана.

@poss · 18.02.2016, 06:46

Среднего уровня поисковик можно написать на php+databases+html+css+javascript+linux servers.

@blecklight · 18.02.2016, 11:17 **[ТС]**

Спасибо за ответ!
А где можно найти пошагово как это сделать?
Где найти инфу как написать своего поискового робота? (мини)

@Shamil1 · 18.02.2016, 16:44

Написать поисковик не сложно. Сложно его настроить, чтобы он искал более-менее адекватно.

Сообщение от blecklight

Где найти инфу как написать своего поискового робота?

Вы имеете ввиду бота, который будет лазить по интернету и собирать ссылки для индексации?

@blecklight · 18.02.2016, 17:37 **[ТС]**

А разве что бы сделать поисковик, в начале, ведь нужно создать робота который будет бегать по сайтам, и добавлять их в "базу" по которой и будет работать наш "поисковик"

То есть создать БОТа это разве не ШАГ №1 ?

Может где то есть с открытым кодом что то?

@Shamil1 · 18.02.2016, 19:01

Я не знаю, какой смысл Вы вкладываете в слово "поисковик".

Вам нужно:
1. Получить список документов для индексации.
2. Проиндексировать эти документы.
3. Создать интерфейс, который будет по запросу искать документы.

Технически, все три этапа выполнить не сложно, но работать это будет, мягко говоря, отвратительно.

1. Результатов обычно огромное количество (особенно, если поисковый запрос короткий). Нужно каким-то образом ранжировать документы.
2. Индексированные страницы нужно предварительно обрабатывать (убирать служебную информацию, рекламу, всякие меню и т.п.). Полнотекстовый поиск нужно настраивать... причём, отдельно для каждого языка... желательно, с учётом профессиональных жаргонов... Основная сложность - омонимы, которых очень много. Чтобы получить возможность точной настройки, вероятно, придётся писать свой движок.
3. Поисковый запрос нужно предварительно обрабатывать (например, убрать предлоги... и при этом оставить "с", если это название языка). Нужно настраивать и алгоритм вычисления релевантности.

И для решения данных задач не существует готовых формальных алгоритмов. Требуется ручная настройка. Видишь "косяк" в результатах поиска, что-нибудь "подкручиваешь", чтобы от него избавиться, и надеешься, что твои исправления не добавят новые "косяки" в другом месте.

з.ы. Пример полнотекстового поиска с открытым исходным кодом:
http://sphinxsearch.com/

@arhpost · 03.07.2016, 10:55

Я создал такой поисковик на sphinxsearch. На сегодня почти 6000000 страниц в индексе. 130000 доменов втрогого уровня. Crawler и spider самописные.
вот мой поисковик https://arhpost.ru/
Релевантность невелика.

пример поискового запроса: https://arhpost.ru/?search=Поисковая+Система

Все работает на одном компьютере.

Добавлено через 9 минут
вверху ссылка на пример поиска неверна, не в той кодировке приходит, вот пример поиска https://arhpost.ru/?search=%D0... 0%BC%D0%B0

Добавлено через 3 минуты
Вот ещё, все страницы в индексе этого сайта
https://arhpost.ru/?search=@host+cyberforum.ru

@alexbu · 18.08.2016, 09:01

Здравствуйте!
Я посмотрел ваш сайт и мне понравилось!

Если у Вас будет свободное время не могли бы Выложить подробное руководство или что то
подобное, чтобы я смог это повторить не беспокоя Вас и почувствовать то что почувствовали
Вы когда завершили ваш проект https://arhpost.ru/ !
с уважением молодой начинающий программист!

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@blecklight 0 / 0 / 0 Регистрация: 13.02.2016 Сообщений: 7

	Как создать свой поисковик? 14.02.2016, 13:06. Показов 10800. Ответов 8 Метки google, yandex, гугл, поисковик, яндекс (Все метки) Здравствуйте. В интернете не много информации на эту тему дня "новичков" Можете подсказать как создать поисковик похожий на ГУГЛ (по функционалу) хотя бы версии 1999 года На каком языке нужно писать поисковик? Сколько нужно денег на это? (если в одиночку нереально, и нужно нанимать программистов) Сколько железа (серверов) ? Заранее спасибо за ответы. Добавлено через 14 часов 1 минуту На том форуме кто нить разбирается в этом? 0

@VTsaregorodtsev 2619 / 1630 / 266 Регистрация: 19.02.2010 Сообщений: 4,327
	14.02.2016, 22:15
	Четвёртая глава в книге Тоби Сегарана. 1

@poss Заблокирован
	18.02.2016, 06:46
	Среднего уровня поисковик можно написать на php+databases+html+css+javascript+linux servers. 0

@blecklight 0 / 0 / 0 Регистрация: 13.02.2016 Сообщений: 7
	18.02.2016, 11:17 [ТС]
	Спасибо за ответ! А где можно найти пошагово как это сделать? Где найти инфу как написать своего поискового робота? (мини) 0

@blecklight 0 / 0 / 0 Регистрация: 13.02.2016 Сообщений: 7
	18.02.2016, 17:37 [ТС]
	А разве что бы сделать поисковик, в начале, ведь нужно создать робота который будет бегать по сайтам, и добавлять их в "базу" по которой и будет работать наш "поисковик" То есть создать БОТа это разве не ШАГ №1 ? Может где то есть с открытым кодом что то? 0

@Shamil1 Модератор 3132 / 2279 / 469 Регистрация: 26.03.2015 Сообщений: 8,870
	18.02.2016, 19:01
	Я не знаю, какой смысл Вы вкладываете в слово "поисковик". Вам нужно: 1. Получить список документов для индексации. 2. Проиндексировать эти документы. 3. Создать интерфейс, который будет по запросу искать документы. Технически, все три этапа выполнить не сложно, но работать это будет, мягко говоря, отвратительно. 1. Результатов обычно огромное количество (особенно, если поисковый запрос короткий). Нужно каким-то образом ранжировать документы. 2. Индексированные страницы нужно предварительно обрабатывать (убирать служебную информацию, рекламу, всякие меню и т.п.). Полнотекстовый поиск нужно настраивать... причём, отдельно для каждого языка... желательно, с учётом профессиональных жаргонов... Основная сложность - омонимы, которых очень много. Чтобы получить возможность точной настройки, вероятно, придётся писать свой движок. 3. Поисковый запрос нужно предварительно обрабатывать (например, убрать предлоги... и при этом оставить "с", если это название языка). Нужно настраивать и алгоритм вычисления релевантности. И для решения данных задач не существует готовых формальных алгоритмов. Требуется ручная настройка. Видишь "косяк" в результатах поиска, что-нибудь "подкручиваешь", чтобы от него избавиться, и надеешься, что твои исправления не добавят новые "косяки" в другом месте. з.ы. Пример полнотекстового поиска с открытым исходным кодом: http://sphinxsearch.com/ 1

@arhpost 0 / 0 / 0 Регистрация: 29.06.2016 Сообщений: 1
	03.07.2016, 10:55
	Я создал такой поисковик на sphinxsearch. На сегодня почти 6000000 страниц в индексе. 130000 доменов втрогого уровня. Crawler и spider самописные. вот мой поисковик https://arhpost.ru/ Релевантность невелика. пример поискового запроса: https://arhpost.ru/?search=Поисковая+Система Все работает на одном компьютере. Добавлено через 9 минут вверху ссылка на пример поиска неверна, не в той кодировке приходит, вот пример поиска https://arhpost.ru/?search=%D0... 0%BC%D0%B0 Добавлено через 3 минуты Вот ещё, все страницы в индексе этого сайта https://arhpost.ru/?search=@host+cyberforum.ru 0

@alexbu 0 / 0 / 0 Регистрация: 18.08.2016 Сообщений: 1
	18.08.2016, 09:01
	Здравствуйте! Я посмотрел ваш сайт и мне понравилось! Если у Вас будет свободное время не могли бы Выложить подробное руководство или что то подобное, чтобы я смог это повторить не беспокоя Вас и почувствовать то что почувствовали Вы когда завершили ваш проект https://arhpost.ru/ ! с уважением молодой начинающий программист! 0