С Новым годом! Форум программистов, компьютерный форум, киберфорум
PHP
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.86/7: Рейтинг темы: голосов - 7, средняя оценка - 4.86
0 / 0 / 0
Регистрация: 25.06.2020
Сообщений: 7

Проблема с парсером php - curl

25.10.2020, 20:13. Показов 1548. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Нашел квот такой код, парсинга информации с сайта. С использованием проксей. Все пашет, если пользую soks5
Если подключаю http прокси, то изза строки юзерагента не пашет. Инфа не скачивается.
Может кто то подскажет в чем может быть дело.
Если закоментировать строку с юзер агентом то все пашет.
В чем ошибка???

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); 
    curl_setopt($curl, CURLOPT_RETURNTRANSFER,1); 
    curl_setopt($curl, CURLOPT_USERAGENT, $useragent); 
    curl_setopt($curl, CURLOPT_TIMEOUT, 15); 
    curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 30); 
    curl_setopt($curl, CURLOPT_HTTPPROXYTUNNEL, 1);
    curl_setopt($curl, CURLOPT_REFERER, $referer);
    if ($type=="socks5"){
    curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5); //Либо CURLPROXY_HTTP (по умолчанию), либо CURLPROXY_SOCKS4, CURLPROXY_SOCKS5
    } 
    if ($type=="http"){curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);}
    if ($proxy){curl_setopt($curl, CURLOPT_PROXY, $proxy);}
    if ($loginpassw){curl_setopt ($curl, CURLOPT_PROXYUSERPWD, $loginpassw);}
    curl_setopt($curl, CURLOPT_PROXYAUTH, CURLAUTH_NTLM); // Методы авторизации HTTP - CURLAUTH_BASIC и CURLAUTH_NTLM
    curl_setopt($curl, CURLOPT_COOKIEJAR, "cookies.txt"); // cookies storage / here the changes have been made
    curl_setopt($curl, CURLOPT_COOKIEFILE, "cookies.txt");
    curl_setopt($curl, CURLOPT_ENCODING, "gzip"); // the page encoding
    curl_setopt ($curl, CURLOPT_HEADER, 0); //выводить ил не выводить заголовки
    $r = curl_exec($curl); 
    curl_close($curl); 
    return $r;
Добавлено через 1 час 48 минут
В дополнении напишу, что строку юзерагента беру рандомно из файла

PHP
1
2
    $txt = file('function/useragents'); 
    $useragent = $txt[array_rand($txt)];
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
25.10.2020, 20:13
Ответы с готовыми решениями:

Проблема с парсером
Надо написать парсер на php, с яндексом работает нормально, но youtube.com, например не парсит. код: include 'curl_query.php'; ...

Проблема с парсером
В общем проблема в следующем. Есть сайт со списком тв программ. Парсить оттуда список не представляет сложности но список не совсем...

Curl команду превратить в php curl
команда: curl -s -F widget=$WIDGET -F secret=$SECRET -F amouser=$AMOUSER -F amohash=$AMOHASH -F domain=amocrm.ru -F widget=@$file...

2
Невнимательный
 Аватар для ft4l
2840 / 1269 / 358
Регистрация: 08.02.2013
Сообщений: 7,393
Записей в блоге: 2
25.10.2020, 20:32
Лучший ответ Сообщение было отмечено Roman1981 как решение

Решение

Цитата Сообщение от Roman1981 Посмотреть сообщение
$txt = file('function/useragents');
$useragent = $txt[array_rand($txt)];
Не проверял, но возможно из-за переноса строки на конце $useragent
... попробуйте
PHP
1
$txt = file('function/useragents', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES );
0
0 / 0 / 0
Регистрация: 25.06.2020
Сообщений: 7
25.10.2020, 21:15  [ТС]
Вот ведь.... блин. А я голову ломаю в чем дело.
Спасибо, помогло.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
25.10.2020, 21:15
Помогаю со студенческими работами здесь

Проблема с парсером
Пишу парсер данных, так как данных очень много для каждого типа использую свою модель Проблема заключается в том , что когда мне надо...

Проблема с парсером
Здравствуйте, помогите пожалуйста с парсером. Нужно с сайта http://spys.one/free-proxy-list/RU/ спарсить proxy сервера получается...

Чтение xls php-парсером и вставка на страницу скриптом, тегом {col1stolb1}
Подскажите: в задании сказано, что нужно php-парсером прочитать данные с xls, а затем расположить их на странице с помощью скрипта, тегом...

Curl+php
Добрый вечер. Возник вопрос следующего характера. Начал изучать curl с целью парсинга,но столкнулся со следующей проблемой. Передаю постом...

php и curl
привет, где можно найти информацию? 1. с какой версии php по умолчанию стоит curl? 2. статистику по доступности curl на хостингах?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Новый CodeBlocs. Версия 25.03
palva 04.01.2026
Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Programma_Boinc 01.01.2026
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru