Curl через прокси

@boomrest · Регистрация: 01.09.2011

Студворк — интернет-сервис помощи студентам

Добрый день.
Возникло желание спарсить страницу с сайта в инете локальным скриптом. Да вот незадача: на локальном компе, где стоит Денвер со скриптом-парсером, интернет через прокси-сервер.
Состряпал вот такой скрипт:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
//сайт
$url='http://yandex.ru/';
 
//Адрес прокси с портом
$proxy='proxyserver.domain.local:8080';
 
//Пользователь
$user="VasilevPS";
 
//Пароль прокси
$pass="mypass";
 
//открываем сеанс
$ch = curl_init();
 
//устанавливаем прокси
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $user.":".$pass);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 
//Сохраняем результат 
$result = curl_exec($ch);
 
//Очищаем память
curl_close($ch);
 
//смотрим что получилось
echo $result;

Вот что выдаёт браузер:

HTML5
1
2
3
4
5
6
7
8
9
10
11
HTTP/1.1 407 Proxy Authentication Required ( Для выполнения запроса компоненту Forefront TMG требуется авторизация. Доступ к фильтру веб-прокси запрещен.  )
Via: 1.1 S702SS-TMG
Proxy-Authenticate: Negotiate
Proxy-Authenticate: Kerberos
Proxy-Authenticate: NTLM
Connection: Keep-Alive
Proxy-Connection: Keep-Alive
Pragma: no-cache
Cache-Control: no-cache
Content-Type: text/html
Content-Length: 4952

Неужели нет возможности забрать данные в моей ситуации?

@JxF-TEAM · 30.10.2013, 16:08

а как это понять инет через прокси сервер?

тоесть весь трафик идет на прокси? или это HTTP прокси

Добавлено через 34 секунды
когда вы просматривает страницу в браузере вы настраиваете его ( браузер ) под прокси или проста открываете и все?

@boomrest · 30.10.2013, 16:15 **[ТС]**

Есть доменная локальная сеть и у компов этой сети инет через прокси-сервер, т.е. стоит какой-то отдельный комп (программа или устройство) с выходом в инет и все выходят через него. В настройках браузера стоит адрес прокси, пользователь и пароль - их-то я и ввожу в скрипт.

@JxF-TEAM · 30.10.2013, 16:23

а какой там прокси?

socks 4/a/5? или имеено http... ( curl вроде последний толька понимает... хотя если бы не Http ответ был бы другим ответ бы был другим

@boomrest · 30.10.2013, 19:03 **[ТС]**

А можно ли определить какой там прокси программным путём со стороны клиента? Другого способа нет.

@JxF-TEAM · 30.10.2013, 19:13

в настройках браузера.. там где прокси попробуйте выбрать разные типы socks 4/5 http в каком будет работать такой у вас и прокси...

@boomrest · 01.11.2013, 13:19 **[ТС]**

Проверил, работает только http. Почему тогда не работает cURL, есть ещё идеи?
php 5.3.13, cURL 7.24.0

@tlittle · 01.11.2013, 13:37

Code
1
curl_setopt($ch, CURLOPT_PROXYAUTH, CURLAUTH_NTLM);

@boomrest · 07.11.2013, 11:47 **[ТС]**

Добавил

PHP
1
curl_setopt($ch, CURLOPT_PROXYAUTH, CURLAUTH_NTLM);

получилось:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
//сайт
$url='http://yandex.ru/';
 
//Адрес прокси с портом
$proxy='proxyserver.domain.local:8080';
 
//Пользователь
$user="VasilevPS";
 
//Пароль прокси
$pass="mypass";
 
//открываем сеанс
$ch = curl_init();
 
//устанавливаем прокси
curl_setopt($ch, CURLOPT_PROXYAUTH, CURLAUTH_NTLM);
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $user.":".$pass);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 
//Сохраняем результат 
$result = curl_exec($ch);
 
//Очищаем память
curl_close($ch);
 
//смотрим что получилось
echo $result;

Всё заработало, как надо, спасибо большое tlittle +1
Правда, толкового описания этих методов так и не нашёл...

@tlittle · 07.11.2013, 13:01

Сообщение от boomrest

Правда, толкового описания этих методов так и не нашёл...

Как не нашел?

http://php.net/manual/ru/function.curl-setopt.php
А по поводу авторизации, у тебя же было четко написано в ответе прокси-сервера:
Proxy-Authenticate: NTLM

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Programma_Boinc 01.01.2026 Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .

@JxF-TEAM 122 / 122 / 27 Регистрация: 22.10.2013 Сообщений: 425
	30.10.2013, 16:08
	а как это понять инет через прокси сервер? тоесть весь трафик идет на прокси? или это HTTP прокси Добавлено через 34 секунды когда вы просматривает страницу в браузере вы настраиваете его ( браузер ) под прокси или проста открываете и все? 0

@boomrest 10 / 10 / 3 Регистрация: 01.09.2011 Сообщений: 92
	30.10.2013, 16:15 [ТС]
	Есть доменная локальная сеть и у компов этой сети инет через прокси-сервер, т.е. стоит какой-то отдельный комп (программа или устройство) с выходом в инет и все выходят через него. В настройках браузера стоит адрес прокси, пользователь и пароль - их-то я и ввожу в скрипт. 0

@JxF-TEAM 122 / 122 / 27 Регистрация: 22.10.2013 Сообщений: 425
	30.10.2013, 16:23
	а какой там прокси? socks 4/a/5? или имеено http... ( curl вроде последний толька понимает... хотя если бы не Http ответ был бы другим ответ бы был другим 0

@boomrest 10 / 10 / 3 Регистрация: 01.09.2011 Сообщений: 92
	30.10.2013, 19:03 [ТС]
	А можно ли определить какой там прокси программным путём со стороны клиента? Другого способа нет. 0

@JxF-TEAM 122 / 122 / 27 Регистрация: 22.10.2013 Сообщений: 425
	30.10.2013, 19:13
	в настройках браузера.. там где прокси попробуйте выбрать разные типы socks 4/5 http в каком будет работать такой у вас и прокси... 0

@boomrest 10 / 10 / 3 Регистрация: 01.09.2011 Сообщений: 92
	01.11.2013, 13:19 [ТС]
	Проверил, работает только http. Почему тогда не работает cURL, есть ещё идеи? php 5.3.13, cURL 7.24.0 0