Написание своего web-робота на PHP.

@Toller · Регистрация: 18.06.2009

Author24 — интернет-сервис помощи студентам

Я знаю каким образом формируются ссылки на одном сайте. Их там порядка полутора миллиона. Но мне нужно закачать из них только некоторые. Я думаю их будет порядка 200 тыс.
Вопрос: как написать на PHP скрипт, который будет заходить по ссылке, АНАЛИЗИРОВАТЬ КОНТЕНТ и брать или не брать страничку.

@bazile · 20.04.2011, 13:04

В чем именно проблема?
В цикле качаешь содержимое ссылки в строку с помощью fopen или curl, анализируешь полученный html и решаешь что с ним делать дальше. Раз ссылок так много, то запускать такой скрипт лучше из командной строки, а не из браузера.

@myxus · 20.04.2011, 13:52

А в чём разница? и как запустить пхп из командной строки?

@Toller · 20.04.2011, 14:30 **[ТС]**

спасибо. я попробую

@bazile · 20.04.2011, 14:33

> А в чём разница?
В том что при запуске через браузер на скрипт распространяется лимит времени исполнения. Я знаю, что его можно увеличить через set_time_limit и ignore_user_abort, но это не подходяший случай для них, по моему.

> и как запустить пхп из командной строки?
php.exe имя_файла

@Toller 0 / 0 / 0 Регистрация: 18.06.2009 Сообщений: 171
		1
	Написание своего web-робота на PHP. 20.04.2011, 12:44. Показов 3654. Ответов 4 Метки нет (Все метки) Я знаю каким образом формируются ссылки на одном сайте. Их там порядка полутора миллиона. Но мне нужно закачать из них только некоторые. Я думаю их будет порядка 200 тыс. Вопрос: как написать на PHP скрипт, который будет заходить по ссылке, АНАЛИЗИРОВАТЬ КОНТЕНТ и брать или не брать страничку. 0

@bazile 85 / 61 / 69 Регистрация: 15.03.2007 Сообщений: 6,906
	20.04.2011, 13:04	2
	В чем именно проблема? В цикле качаешь содержимое ссылки в строку с помощью fopen или curl, анализируешь полученный html и решаешь что с ним делать дальше. Раз ссылок так много, то запускать такой скрипт лучше из командной строки, а не из браузера. 0

@myxus 0 / 0 / 0 Регистрация: 19.02.2010 Сообщений: 9
	20.04.2011, 13:52	3
	А в чём разница? и как запустить пхп из командной строки? 0

@Toller 0 / 0 / 0 Регистрация: 18.06.2009 Сообщений: 171
	20.04.2011, 14:30 [ТС]	4
	спасибо. я попробую 0

@bazile 85 / 61 / 69 Регистрация: 15.03.2007 Сообщений: 6,906
	20.04.2011, 14:33	5
	> А в чём разница? В том что при запуске через браузер на скрипт распространяется лимит времени исполнения. Я знаю, что его можно увеличить через set_time_limit и ignore_user_abort, но это не подходяший случай для них, по моему. > и как запустить пхп из командной строки? php.exe имя_файла 0

Опции темы