Парсинг в цикле. Curl с ограничением

@lion-art · Регистрация: 19.08.2013

Author24 — интернет-сервис помощи студентам

Доброго времени суток уважаемые коллеги и форумчане. Прошу помощи с решением задачи:
Есть небольшой сайт, парсинг которого необходимо периодически осуществлять. Парсить приходится 2500 страниц. В следствии чего сайт (парсинг которого я осуществляю) падает

Вопрос следующий как делать паузу между запросами curl

, Скажем секунд 15 учитывая что парсер в цикле.

PHP

for ($i=0;$i<total;$i++)
{
$ch=curl_init();
curl_setopt($ch, CURLOPT_URL, $link.$a[$i]);
curl_setopt($ch, CURLOPT_USERAGENT, $agents);
curl_setopt($ch, CURLOPT_TIMEOUT, 100);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$text=curl_exec($ch);
curl_close($ch);
}

Ткните пальцем в мануал если не сложно.

@ads · 10.09.2014, 08:59

PHP

1	sleep(15);

@pav1uxa · 10.09.2014, 11:00

Сообщение от lion-art

В следствии чего сайт (парсинг которого я осуществляю) падает

или (скорее) банит Ваш ip на определенное время

@lion-art · 10.09.2014, 11:36 **[ТС]**

Сообщение от pav1uxa

или (скорее) банит Ваш ip на определенное время

по этому при входе с разных ip на экране сообщение что-то типа we're down ... we'll be back coming soon
P.S. с английским тяжко, не пинайте

Добавлено через 3 минуты

Сообщение от ads

PHP

1	sleep(15);

Примного благодарен, про само исполнение цикла даже и не подумал... Искал ответ в основном в curl

@Блеф · 10.09.2014, 18:34

Не думаю что вы обычным curl'ом сможете просто так положить сайт. Попробуйте через проки

@lion-art · 10.09.2014, 19:01 **[ТС]**

Сообщение от bleef159

Не думаю что вы обычным curl'ом сможете просто так положить сайт. Попробуйте через проки

Уже вставил sleep. Все отлично работает сайт больше не падает (во всяком случае теперь этой фразы we're down ... we'll be back coming soon нету) единственное выставил sleep не 15 а 5. Прокси явно не для этого случая.

@Camaro396 · 11.09.2014, 10:11

Сообщение от bleef159

Не думаю что вы обычным curl'ом сможете просто так положить сайт. Попробуйте через проки

Смотря как сайт сделан и где лежит.

@pav1uxa 1943 / 1768 / 825 Регистрация: 23.01.2014 Сообщений: 6,230
	10.09.2014, 11:00	3
	Сообщение от lion-art В следствии чего сайт (парсинг которого я осуществляю) падает или (скорее) банит Ваш ip на определенное время 0

@Блеф > /dev/null 286 / 119 / 86 Регистрация: 14.05.2014 Сообщений: 767
	10.09.2014, 18:34	5
	Не думаю что вы обычным curl'ом сможете просто так положить сайт. Попробуйте через проки 0

@lion-art 0 / 0 / 0 Регистрация: 19.08.2013 Сообщений: 28
	10.09.2014, 19:01 [ТС]	6
	Сообщение от bleef159 Не думаю что вы обычным curl'ом сможете просто так положить сайт. Попробуйте через проки Уже вставил sleep. Все отлично работает сайт больше не падает (во всяком случае теперь этой фразы we're down ... we'll be back coming soon нету) единственное выставил sleep не 15 а 5. Прокси явно не для этого случая. 0

@Camaro396 38 / 38 / 13 Регистрация: 22.07.2013 Сообщений: 197
	11.09.2014, 10:11	7
	Сообщение от bleef159 Не думаю что вы обычным curl'ом сможете просто так положить сайт. Попробуйте через проки Смотря как сайт сделан и где лежит. 0

Парсинг в цикле. Curl с ограничением

Решение