Написание своего web-робота на PHP.

@Toller · Регистрация: 18.06.2009

Студворк — интернет-сервис помощи студентам

Я знаю каким образом формируются ссылки на одном сайте. Их там порядка полутора миллиона. Но мне нужно закачать из них только некоторые. Я думаю их будет порядка 200 тыс.
Вопрос: как написать на PHP скрипт, который будет заходить по ссылке, АНАЛИЗИРОВАТЬ КОНТЕНТ и брать или не брать страничку.

@bazile · 20.04.2011, 13:04

В чем именно проблема?
В цикле качаешь содержимое ссылки в строку с помощью fopen или curl, анализируешь полученный html и решаешь что с ним делать дальше. Раз ссылок так много, то запускать такой скрипт лучше из командной строки, а не из браузера.

@myxus · 20.04.2011, 13:52

А в чём разница? и как запустить пхп из командной строки?

@Toller · 20.04.2011, 14:30 **[ТС]**

спасибо. я попробую

@bazile · 20.04.2011, 14:33

> А в чём разница?
В том что при запуске через браузер на скрипт распространяется лимит времени исполнения. Я знаю, что его можно увеличить через set_time_limit и ignore_user_abort, но это не подходяший случай для них, по моему.

> и как запустить пхп из командной строки?
php.exe имя_файла

Новые блоги и статьи Все статьи Все блоги /
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Programma_Boinc 01.01.2026 Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .

@Toller 0 / 0 / 0 Регистрация: 18.06.2009 Сообщений: 171

	Написание своего web-робота на PHP. 20.04.2011, 12:44. Показов 3844. Ответов 4 Метки нет (Все метки) Я знаю каким образом формируются ссылки на одном сайте. Их там порядка полутора миллиона. Но мне нужно закачать из них только некоторые. Я думаю их будет порядка 200 тыс. Вопрос: как написать на PHP скрипт, который будет заходить по ссылке, АНАЛИЗИРОВАТЬ КОНТЕНТ и брать или не брать страничку. 0

@bazile 86 / 62 / 69 Регистрация: 15.03.2007 Сообщений: 6,903
	20.04.2011, 13:04
	В чем именно проблема? В цикле качаешь содержимое ссылки в строку с помощью fopen или curl, анализируешь полученный html и решаешь что с ним делать дальше. Раз ссылок так много, то запускать такой скрипт лучше из командной строки, а не из браузера. 0

@myxus 0 / 0 / 0 Регистрация: 19.02.2010 Сообщений: 9
	20.04.2011, 13:52
	А в чём разница? и как запустить пхп из командной строки? 0

@Toller 0 / 0 / 0 Регистрация: 18.06.2009 Сообщений: 171
	20.04.2011, 14:30 [ТС]
	спасибо. я попробую 0

@bazile 86 / 62 / 69 Регистрация: 15.03.2007 Сообщений: 6,903
	20.04.2011, 14:33
	> А в чём разница? В том что при запуске через браузер на скрипт распространяется лимит времени исполнения. Я знаю, что его можно увеличить через set_time_limit и ignore_user_abort, но это не подходяший случай для них, по моему. > и как запустить пхп из командной строки? php.exe имя_файла 0