Как обойти защиту от парсинга при использовании curl?

@Q18 · Регистрация: 31.03.2018

Студворк — интернет-сервис помощи студентам

При php парсинге через curl появляется оишбка: "Сработал HTTP фильтр. Access Denied, так как возможно вы используете VPN или TOR IP adress". Как обойти защиту от парсинга при использовании curl? Вот скрипт, только url изменен. Вроде cookies подключены, useragent тоже есть, реферрер имеется. Может что-то еще добавить или изменить? Может что-то поменять среди параметров curl_setopt?

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// САЙТ
$url = 'https://test.ru';
// НАЧАЛО
$ch = curl_init($url);
 
// ПОДГОТОВКА ЗАГОЛОВКОВ
$uagent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/531.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36";
// ВСЯКИЕ ПАРАМЕТРЫ
curl_setopt($ch, CURLOPT_USERAGENT, $uagent);
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_REFERER, 'https://google.com');
curl_exec($ch);
// ДОБАВЛЯЕМ КУКИ В ПАРАМЕТРЫ
curl_setopt($ch, CURLOPT_COOKIE, "PMBC=96152e8e9a0168a731539c5e52c6b39a; PHPSESSID=jl0i13pn3157qca807jgp0jqa7; ServerName=WoW+Circle+3.3.5a+x5; serverId=1");
 
$html = curl_exec($ch);
// КОНЕЦ
curl_close($ch);
 
var_dump($html);

@Строитель · 30.07.2019, 09:52

Q18, а почему CURLOPT_FOLLOWLOCATION == false?

@Q18 · 30.07.2019, 09:58 **[ТС]**

а почему CURLOPT_FOLLOWLOCATION == false?

Только что попробовал изменить на true, а так же попробовал потом и вовсе удалить данную строку. Не сработало в обеих случаях.

@php10 · 30.07.2019, 10:06

А какой у вас IP? Может быть сайт по geoip закрыт.

@Q18 · 30.07.2019, 10:15 **[ТС]**

Может быть сайт по geoip закрыт.

Получилось! Просто сменил хостинг.

@resident01 · 27.09.2019, 20:07

Дабы не открывать новый топик, спрошу здесь. Пишу парсер сайтов.
Есть какой-либо способ проставить задержки в curl между запросами?
При большом количестве запросов, постоянно приходит 503 ошибка. А некоторые даже банят ip
Есть ли способ как то "остепенить" запросы, что бы они не наваливались разом на сервер?)

@alexsamos33 · 28.09.2019, 15:12

ну слипы ставь, как вариант

@resident01 · 28.09.2019, 23:45

А что делать при ассинхронных запросах? по идее не прокатят там слипы, прийдется последовательно отправлять запросы... Короче надо пробовать конечно, но может кто сталкивался с подобной проблемой

Новые блоги и статьи Все статьи Все блоги /
Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка SDL3 из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»

@Строитель 1084 / 746 / 364 Регистрация: 09.07.2018 Сообщений: 1,760
	30.07.2019, 09:52
	Q18, а почему CURLOPT_FOLLOWLOCATION == false? 0

@php10 146 / 105 / 44 Регистрация: 30.04.2016 Сообщений: 550
	30.07.2019, 10:06
	Сообщение было отмечено Q18 как решение Решение А какой у вас IP? Может быть сайт по geoip закрыт. 0

@resident01 0 / 0 / 0 Регистрация: 08.04.2017 Сообщений: 13
	27.09.2019, 20:07
	Дабы не открывать новый топик, спрошу здесь. Пишу парсер сайтов. Есть какой-либо способ проставить задержки в curl между запросами? При большом количестве запросов, постоянно приходит 503 ошибка. А некоторые даже банят ip Есть ли способ как то "остепенить" запросы, что бы они не наваливались разом на сервер?) 0

@alexsamos33 669 / 640 / 335 Регистрация: 26.04.2014 Сообщений: 2,122
	28.09.2019, 15:12
	ну слипы ставь, как вариант 0

@resident01 0 / 0 / 0 Регистрация: 08.04.2017 Сообщений: 13
	28.09.2019, 23:45
	А что делать при ассинхронных запросах? по идее не прокатят там слипы, прийдется последовательно отправлять запросы... Короче надо пробовать конечно, но может кто сталкивался с подобной проблемой 0

Как обойти защиту от парсинга при использовании curl?

Решение