Универсальный обходчик веб страниц (парсинг simple_html_dom)

Это тема моей курсовой работы. Задача получить на выходе инструмент, при помощи которого можно будет собирать данные с интересующих нас сайтов. Предполагается что те кто будут использовать инструмент не имеют представления о верстке. Отсюда задача усложняется тем что мы заведомо не знаем(не видим, ну или видим но нам от этого ни тепло, ни холодно) код верстки, а пытаемся найти нужный нам блок или элемент по каким либо ключевым словам (допустим если это курс доллара на странице то указываем такие ключевые слова как [курс,доллар,$] и на первом этапе получаем все блоки или элементы в которых упоминаются данные слова), затем на следующем этапе фильтруем и оставляем только интересующую нас информацию и помещаем ее в БД(работа с sqlite). Далее настроив скрипт запускать его допустим каждый день на протяжении месяца и делаем с имеющимися данными что угодно. Инструмент будет представлять собой 2 файла: сам скрипт и рядом конфигурационный файл с которым и будет работать человек. В нем допустим в 1 строке url интересующей страницы, во второй ключевые слова, в третьей конкретизация того какие элементы нужно оставить для помещения в БД.

При реализации возникла трудность. Работаю с библиотекой simple_html_dom и там по всей видимости не организован поиск по ключевому слову(обращаться по class, id мы не можем, таково ограничение по заданию. можем только по тому что видим на экране в браузере). Подскажите как в полученном html коде страницы организовать таковой поиск и чтобы данная функция возвращала еще и элемент страницы в котором упоминается ключевое слово, для того чтобы затем можно было к ним обратиться для использования допустим plaintext'a. Слышал что можно с использованием jquery, но с ним у меня туго. Интересно выслушать ваши идеи по поводу реализации!

0

Шикарная работа... Только очень сложная
Мне кажется вам нужно копать в эту сторону - http://ru.wikipedia.org/wiki/Data_mining

Будут результаты - пишите. Лично мне эта тема давно интересна, но до реализации (более того, даже до обдумывания) дело на доходит

0