Как создать свой поисковик?

@blecklight · Регистрация: 13.02.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте.

В интернете не много информации на эту тему дня "новичков"

Можете подсказать как создать поисковик похожий на ГУГЛ (по функционалу) хотя бы версии 1999 года

На каком языке нужно писать поисковик?
Сколько нужно денег на это? (если в одиночку нереально, и нужно нанимать программистов)
Сколько железа (серверов) ?

Заранее спасибо за ответы.

Добавлено через 14 часов 1 минуту
На том форуме кто нить разбирается в этом?

@VTsaregorodtsev · 14.02.2016, 22:15

Четвёртая глава в книге Тоби Сегарана.

@poss · 18.02.2016, 06:46

Среднего уровня поисковик можно написать на php+databases+html+css+javascript+linux servers.

@blecklight · 18.02.2016, 11:17 **[ТС]**

Спасибо за ответ!
А где можно найти пошагово как это сделать?
Где найти инфу как написать своего поискового робота? (мини)

@Shamil1 · 18.02.2016, 16:44

Написать поисковик не сложно. Сложно его настроить, чтобы он искал более-менее адекватно.

Сообщение от blecklight

Где найти инфу как написать своего поискового робота?

Вы имеете ввиду бота, который будет лазить по интернету и собирать ссылки для индексации?

@blecklight · 18.02.2016, 17:37 **[ТС]**

А разве что бы сделать поисковик, в начале, ведь нужно создать робота который будет бегать по сайтам, и добавлять их в "базу" по которой и будет работать наш "поисковик"

То есть создать БОТа это разве не ШАГ №1 ?

Может где то есть с открытым кодом что то?

@Shamil1 · 18.02.2016, 19:01

Я не знаю, какой смысл Вы вкладываете в слово "поисковик".

Вам нужно:
1. Получить список документов для индексации.
2. Проиндексировать эти документы.
3. Создать интерфейс, который будет по запросу искать документы.

Технически, все три этапа выполнить не сложно, но работать это будет, мягко говоря, отвратительно.

1. Результатов обычно огромное количество (особенно, если поисковый запрос короткий). Нужно каким-то образом ранжировать документы.
2. Индексированные страницы нужно предварительно обрабатывать (убирать служебную информацию, рекламу, всякие меню и т.п.). Полнотекстовый поиск нужно настраивать... причём, отдельно для каждого языка... желательно, с учётом профессиональных жаргонов... Основная сложность - омонимы, которых очень много. Чтобы получить возможность точной настройки, вероятно, придётся писать свой движок.
3. Поисковый запрос нужно предварительно обрабатывать (например, убрать предлоги... и при этом оставить "с", если это название языка). Нужно настраивать и алгоритм вычисления релевантности.

И для решения данных задач не существует готовых формальных алгоритмов. Требуется ручная настройка. Видишь "косяк" в результатах поиска, что-нибудь "подкручиваешь", чтобы от него избавиться, и надеешься, что твои исправления не добавят новые "косяки" в другом месте.

з.ы. Пример полнотекстового поиска с открытым исходным кодом:
http://sphinxsearch.com/

@arhpost · 03.07.2016, 10:55

Я создал такой поисковик на sphinxsearch. На сегодня почти 6000000 страниц в индексе. 130000 доменов втрогого уровня. Crawler и spider самописные.
вот мой поисковик https://arhpost.ru/
Релевантность невелика.

пример поискового запроса: https://arhpost.ru/?search=Поисковая+Система

Все работает на одном компьютере.

Добавлено через 9 минут
вверху ссылка на пример поиска неверна, не в той кодировке приходит, вот пример поиска https://arhpost.ru/?search=%D0... 0%BC%D0%B0

Добавлено через 3 минуты
Вот ещё, все страницы в индексе этого сайта
https://arhpost.ru/?search=@host+cyberforum.ru

@alexbu · 18.08.2016, 09:01

Здравствуйте!
Я посмотрел ваш сайт и мне понравилось!

Если у Вас будет свободное время не могли бы Выложить подробное руководство или что то
подобное, чтобы я смог это повторить не беспокоя Вас и почувствовать то что почувствовали
Вы когда завершили ваш проект https://arhpost.ru/ !
с уважением молодой начинающий программист!

Новые блоги и статьи Все статьи Все блоги /
WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Old Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .	Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .

@blecklight 0 / 0 / 0 Регистрация: 13.02.2016 Сообщений: 7

	Как создать свой поисковик? 14.02.2016, 13:06. Показов 10854. Ответов 8 Метки google, yandex, гугл, поисковик, яндекс (Все метки) Здравствуйте. В интернете не много информации на эту тему дня "новичков" Можете подсказать как создать поисковик похожий на ГУГЛ (по функционалу) хотя бы версии 1999 года На каком языке нужно писать поисковик? Сколько нужно денег на это? (если в одиночку нереально, и нужно нанимать программистов) Сколько железа (серверов) ? Заранее спасибо за ответы. Добавлено через 14 часов 1 минуту На том форуме кто нить разбирается в этом? 0

@VTsaregorodtsev 2623 / 1634 / 266 Регистрация: 19.02.2010 Сообщений: 4,343
	14.02.2016, 22:15
	Четвёртая глава в книге Тоби Сегарана. 1

@poss Заблокирован
	18.02.2016, 06:46
	Среднего уровня поисковик можно написать на php+databases+html+css+javascript+linux servers. 0

@blecklight 0 / 0 / 0 Регистрация: 13.02.2016 Сообщений: 7
	18.02.2016, 11:17 [ТС]
	Спасибо за ответ! А где можно найти пошагово как это сделать? Где найти инфу как написать своего поискового робота? (мини) 0

@blecklight 0 / 0 / 0 Регистрация: 13.02.2016 Сообщений: 7
	18.02.2016, 17:37 [ТС]
	А разве что бы сделать поисковик, в начале, ведь нужно создать робота который будет бегать по сайтам, и добавлять их в "базу" по которой и будет работать наш "поисковик" То есть создать БОТа это разве не ШАГ №1 ? Может где то есть с открытым кодом что то? 0

@Shamil1 Модератор 3133 / 2280 / 469 Регистрация: 26.03.2015 Сообщений: 8,876
	18.02.2016, 19:01
	Я не знаю, какой смысл Вы вкладываете в слово "поисковик". Вам нужно: 1. Получить список документов для индексации. 2. Проиндексировать эти документы. 3. Создать интерфейс, который будет по запросу искать документы. Технически, все три этапа выполнить не сложно, но работать это будет, мягко говоря, отвратительно. 1. Результатов обычно огромное количество (особенно, если поисковый запрос короткий). Нужно каким-то образом ранжировать документы. 2. Индексированные страницы нужно предварительно обрабатывать (убирать служебную информацию, рекламу, всякие меню и т.п.). Полнотекстовый поиск нужно настраивать... причём, отдельно для каждого языка... желательно, с учётом профессиональных жаргонов... Основная сложность - омонимы, которых очень много. Чтобы получить возможность точной настройки, вероятно, придётся писать свой движок. 3. Поисковый запрос нужно предварительно обрабатывать (например, убрать предлоги... и при этом оставить "с", если это название языка). Нужно настраивать и алгоритм вычисления релевантности. И для решения данных задач не существует готовых формальных алгоритмов. Требуется ручная настройка. Видишь "косяк" в результатах поиска, что-нибудь "подкручиваешь", чтобы от него избавиться, и надеешься, что твои исправления не добавят новые "косяки" в другом месте. з.ы. Пример полнотекстового поиска с открытым исходным кодом: http://sphinxsearch.com/ 1

@arhpost 0 / 0 / 0 Регистрация: 29.06.2016 Сообщений: 1
	03.07.2016, 10:55
	Я создал такой поисковик на sphinxsearch. На сегодня почти 6000000 страниц в индексе. 130000 доменов втрогого уровня. Crawler и spider самописные. вот мой поисковик https://arhpost.ru/ Релевантность невелика. пример поискового запроса: https://arhpost.ru/?search=Поисковая+Система Все работает на одном компьютере. Добавлено через 9 минут вверху ссылка на пример поиска неверна, не в той кодировке приходит, вот пример поиска https://arhpost.ru/?search=%D0... 0%BC%D0%B0 Добавлено через 3 минуты Вот ещё, все страницы в индексе этого сайта https://arhpost.ru/?search=@host+cyberforum.ru 0

@alexbu 0 / 0 / 0 Регистрация: 18.08.2016 Сообщений: 1
	18.08.2016, 09:01
	Здравствуйте! Я посмотрел ваш сайт и мне понравилось! Если у Вас будет свободное время не могли бы Выложить подробное руководство или что то подобное, чтобы я смог это повторить не беспокоя Вас и почувствовать то что почувствовали Вы когда завершили ваш проект https://arhpost.ru/ ! с уважением молодой начинающий программист! 0