0 / 0 / 0
Регистрация: 18.06.2009
Сообщений: 171
|
|
1 | |
Написание своего web-робота на PHP.20.04.2011, 12:44. Показов 3654. Ответов 4
Метки нет (Все метки)
Я знаю каким образом формируются ссылки на одном сайте. Их там порядка полутора миллиона. Но мне нужно закачать из них только некоторые. Я думаю их будет порядка 200 тыс.
Вопрос: как написать на PHP скрипт, который будет заходить по ссылке, АНАЛИЗИРОВАТЬ КОНТЕНТ и брать или не брать страничку.
0
|
20.04.2011, 12:44 | |
Ответы с готовыми решениями:
4
Написание своего робота для торговли на биржах криптовалют Написание своего движка Написание своего форума Написание своего компонента? |
85 / 61 / 69
Регистрация: 15.03.2007
Сообщений: 6,906
|
|
20.04.2011, 13:04 | 2 |
В чем именно проблема?
В цикле качаешь содержимое ссылки в строку с помощью fopen или curl, анализируешь полученный html и решаешь что с ним делать дальше. Раз ссылок так много, то запускать такой скрипт лучше из командной строки, а не из браузера.
0
|
0 / 0 / 0
Регистрация: 19.02.2010
Сообщений: 9
|
|
20.04.2011, 13:52 | 3 |
А в чём разница? и как запустить пхп из командной строки?
0
|
0 / 0 / 0
Регистрация: 18.06.2009
Сообщений: 171
|
|
20.04.2011, 14:30 [ТС] | 4 |
спасибо. я попробую
0
|
85 / 61 / 69
Регистрация: 15.03.2007
Сообщений: 6,906
|
|
20.04.2011, 14:33 | 5 |
> А в чём разница?
В том что при запуске через браузер на скрипт распространяется лимит времени исполнения. Я знаю, что его можно увеличить через set_time_limit и ignore_user_abort, но это не подходяший случай для них, по моему. > и как запустить пхп из командной строки? php.exe имя_файла
0
|
20.04.2011, 14:33 | |
20.04.2011, 14:33 | |
Помогаю со студенческими работами здесь
5
Написание своего клиента VK Написание своего jQuery плагина Написание своего регулярного выражения Написание своего ПО для смарт-часов Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |