Принцип работы поисковой системы

Кто-то знает в чем заключается принцип работы поисковой системы(таких как апорт, рамблер). А вот решил написать, а с чего начать не знаю. Если есть какието идеи или статьи, то подскажите пожалуйста.
Заранее спасибо

0

ну, тут можно только философствовать! Исходных кодоп и описания я во всяком случае не видел. но есть догадки!
1. Пишешь базу данных, в которых содержится урлы сайтов. Раз в месяц запускается скрипт, который сдерает весь штмл код с известных урлов. Как потом искатьдумаю понял!
2. Хорощо бы тоже самое, только чтобы ещё отлавливались все ссылки в документе, тоесть скрипт заходил на каждую из них. Наверно это будет занимать много времени!
Это мои догадки!

0

Теоретически все просто: поисковый робот (программа) регулярно посещает известные ему сайты и заносит в свою базу снимок текстовго содержания всех страниц сайта. В самом простом случае достаточно удалять все html теги оставляя только текст и заносить результат в базу. Из html кода берутся все ссылки и процесс повторяется для них, пока не будут проиндексированы все страницы. Хороший работ должен также следовать правилам описанным в файле robots.txt.

В реальности все будет сложнее в зависимости от задач которые ставятся перед поисковиком. Яндекс, например, выполняет поиск с учетом морфологии русского языка. Кроме этого поисковые системы кроме собственно поиска борятся с теми кто пытается их обманывать ('поисковый спам'). Конкретные алгоритмы работы ведущих поисковых систем врядли можно найти. Это коммерческая тайна.

Еще можно добавить выполняя индексацию робот не должен сильно нагружать сайт своими запросами, чтобы не мешать работе посетителей сайта.

Я бы посоветовал посетить форум того же Яндекса - http://guest.yandex.ru/yandex/questions.xhtml. Там можно получить более квалифицированные ответы о поисковых системах.

0