Обучаемый парсер сайтов на Delphi?

@VictorMBH · Регистрация: 23.06.2010

Author24 — интернет-сервис помощи студентам

Обучаемый парсер сайтов на Delphi -- кто-нибудь что-то подобное делал?

Смысл задачи: нужно выбирать об'явления по недвижимости с произвольных сайтов.

Пользователь в программe, написанной на Delphi, заходит на сайт, проходит по страницам, выбирает текст объявления и нажимает кнопку запомнить. Программа запоминает все действия пользователя и далее обрабатывает данный сайт со всеми переходами по страницам по запомненному щаблону, выдавая на выходе txt'файл с об'явлениями.
Соответственно, сохранив несколько подобных шаблонов обработки, обрабатываем массив сайтов за период с прошлой обработки.

Если что-то подобное делали -- поделитесь как сделать...

@Alex_pac · 05.11.2012, 20:58

Пользователь в программe, написанной на Delphi, заходит на сайт, проходит по страницам, выбирает текст объявления и нажимает кнопку запомнить. Программа запоминает все действия пользователя и далее обрабатывает данный сайт со всеми переходами по страницам по запомненному щаблону, выдавая на выходе txt'файл с об'явлениями.

я так пониманию действовать будет оно через TWebbrowser или TEmbeddedWB

ибо indy может внезапно застрять при переходе + него нету JavaScript что в некоторых случаях очень критично

выбирает текст объявления и нажимает кнопку запомнить

Алгортим выбора области тоже очень инетресно. Ибо эта область выбрана не в HTML коде, а самой структуре DOM что сразу отметает использование INDY для данной задачи

@VictorMBH 0 / 0 / 0 Регистрация: 23.06.2010 Сообщений: 18
		1
	Обучаемый парсер сайтов на Delphi? 05.11.2012, 20:42. Показов 1350. Ответов 1 Метки нет (Все метки) Обучаемый парсер сайтов на Delphi -- кто-нибудь что-то подобное делал? Смысл задачи: нужно выбирать об'явления по недвижимости с произвольных сайтов. Пользователь в программe, написанной на Delphi, заходит на сайт, проходит по страницам, выбирает текст объявления и нажимает кнопку запомнить. Программа запоминает все действия пользователя и далее обрабатывает данный сайт со всеми переходами по страницам по запомненному щаблону, выдавая на выходе txt'файл с об'явлениями. Соответственно, сохранив несколько подобных шаблонов обработки, обрабатываем массив сайтов за период с прошлой обработки. Если что-то подобное делали -- поделитесь как сделать... 0

@Alex_pac 1302 / 708 / 107 Регистрация: 25.05.2011 Сообщений: 2,158 Записей в блоге: 51
	05.11.2012, 20:58	2
	Пользователь в программe, написанной на Delphi, заходит на сайт, проходит по страницам, выбирает текст объявления и нажимает кнопку запомнить. Программа запоминает все действия пользователя и далее обрабатывает данный сайт со всеми переходами по страницам по запомненному щаблону, выдавая на выходе txt'файл с об'явлениями. я так пониманию действовать будет оно через TWebbrowser или TEmbeddedWB ибо indy может внезапно застрять при переходе + него нету JavaScript что в некоторых случаях очень критично выбирает текст объявления и нажимает кнопку запомнить Алгортим выбора области тоже очень инетресно. Ибо эта область выбрана не в HTML коде, а самой структуре DOM что сразу отметает использование INDY для данной задачи 0