Загрузка через cURL

@dmitmedv · Регистрация: 29.12.2012

Студворк — интернет-сервис помощи студентам

Здравствуйте.
Запрашивая страницу через cURL получаю ответ с текстом "Вы используете устаревший браузер, обновите здесь...".

PHP
1
2
3
4
5
6
7
8
9
10
11
<?php
    $curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, 'http://site.ru/');
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($curl, CURLOPT_HEADER, 1);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_USERAGENT, 'Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.7.62 Version/11.01');
    $res = curl_exec($curl);
    curl_close($curl);
  print($res);
?>

При обращении к этому сайту через указываемые в cURL браузеры страница загружается нормально.
Что можно поправить в моем скрипте, чтобы полностью имитировать браузер?

@c4boomb · 29.12.2012, 12:10

А в варианте с более новыми версиями браузера тоже это показывает??

@dmitmedv · 29.12.2012, 12:22 **[ТС]**

Сообщение от c4boomb

А в варианте с более новыми версиями браузера тоже это показывает??

да.

я брал заголовок который отправляет Хром через плагин Live HTTP Headers. Какой бы я не ставил юзер-агент, толку нет. Думаю проверяется еще что-то. Если кому-то нужен адрес этой страницы, сообщу в личку.

@c4boomb · 29.12.2012, 12:36

Пробуйте ещё указывать CURLOPT_REFERER

Добавлено через 2 минуты
как по мне так cUrl достаточно не удобный. По пробуйте PHP SimpleHtmlDOM

PHP
1
2
3
$html = file_get_html('http://www.google.com/');
foreach($html->find('img') as $element) 
       echo $element->src . '<br>';

Всего пару строк и у вас уже ссылки на все картинки с сайта гугл.

@casual_visitor · 29.12.2012, 16:36

Сообщение от c4boomb

По пробуйте PHP SimpleHtmlDOM

cURL (в нашем случае адекватный эмулятор браузера) и...

html парсер - тормознутая текстовая библиотека, уже как полдесятка лет поддерживаемая студентами, которым лень набрать в поисковике html парсинг... это немного две большие разницы... Или это вредные советы от Остера?

@brightman · 29.12.2012, 17:22

ну насколько я знаю PHP SimpleHtmlDOM отправляет только get-запросы, хотя я могу ошибаться.

casual_visitor, зашел в гугл, набрал "парсинг html", ссылка на PHP SimpleHtmlDOM третья по списку. Не понимаю чем плоха эта библиотека?

@casual_visitor · 29.12.2012, 18:59

тем кому это интересно, эта библиотека парсит в разы медленнее, чем любая другая.. первое что приходит на ум phpQuery... но не суть..
c4boomb, предлагает поменять лошадь на телегу... По его словам: cURL не удобный, а текстовый парсер удобный.. В телеге сидеть удобнее, но без лошади она не поедет

Добавлено через 7 минут
Зачем путать соленое с пушистым

@brightman · 29.12.2012, 20:06

casual_visitor, ну если нужно спарсить пару тройку страниц скорость тут особой роли не играет, т.к. речь идет о десятых долях секунды. вот сравнение библиотек для парсинга. результаты приведены в теме

@dmitmedv · 29.12.2012, 20:07 **[ТС]**

приветствую всех еще раз =), я автор данной темы )
помогите пожалуйста с исходным вопросом, он еще не решен.
страница о которой идет речь "egrul.nalog.ru", именно ее содержимое мне нужно получить через cURL в точности такое же, какое получают браузеры. Напомню, через cURL приходит ответ с фразой - "Вы браузер устаревший..."
прошу помощи, подсказок и т.д.
спасибо..

@casual_visitor · 29.12.2012, 20:28

Вот весь код на странице index.php. У меня все работает

PHP
1
2
3
4
5
$url = 'http://egrul.nalog.ru';
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11');
curl_setopt($ch, CURLOPT_URL, $url);
curl_exec($ch);

Получить в точности как ее получают браузеры, так в лоб не получится. Нужно читать стили, картинки и пр.. Вы получите курлом лишь html код..

@dmitmedv · 29.12.2012, 20:46 **[ТС]**

Сообщение от casual_visitor

Вот весь код на странице index.php. У меня все работает

у меня тоже работает почти все. проблема лишь в том, что полученная через курл страница содержит текст, что браузер устаревший, вот выдело красным: http://cs317016.userapi.com/v3... 2tDFxw.jpg

@casual_visitor · 29.12.2012, 21:04

Я ржал, не могу.. Это не в Ваш адрес. Это как российские дуболомы в думе, или еще где-то, пытаются всех нас перемудрить. Данный текст присутствует на родном сайте, просто он скрыт.. скорее всего стилями или яваскриптами. Парится было неохота, но простой поиск текста в исходном коде дал мне результат:

HTML5
1
<div id="bad_ie" class="alert"> Вы используете устаревшую версию браузера. Пожалуйста, обновите ее <br />...

С Вашей стороны все нормально.. Вы получаете верную информацию, а дальше парсинг... ну и см. выше... хотя выше холивар сори за офтоп

Добавлено через 6 минут
кстати код id="bad_ie" предлагает нам прикинуться експлорером.. Но это уже досужие размышления

@dmitmedv · 29.12.2012, 21:32 **[ТС]**

Сообщение от casual_visitor

Данный текст присутствует на родном сайте, просто он скрыт..

три дня!!! на эту дууурь. СПАСИБО, это 8 форум по счету, где мне смогли разъяснить это )))

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114

@c4boomb 198 / 166 / 23 Регистрация: 20.04.2011 Сообщений: 750 Записей в блоге: 1
	29.12.2012, 12:10
	А в варианте с более новыми версиями браузера тоже это показывает?? 0

@brightman 12 / 12 / 0 Регистрация: 23.07.2012 Сообщений: 76
	29.12.2012, 17:22
	ну насколько я знаю PHP SimpleHtmlDOM отправляет только get-запросы, хотя я могу ошибаться. casual_visitor, зашел в гугл, набрал "парсинг html", ссылка на PHP SimpleHtmlDOM третья по списку. Не понимаю чем плоха эта библиотека? 0

@casual_visitor 87 / 87 / 8 Регистрация: 02.09.2012 Сообщений: 510
	29.12.2012, 18:59
	тем кому это интересно, эта библиотека парсит в разы медленнее, чем любая другая.. первое что приходит на ум phpQuery... но не суть.. c4boomb, предлагает поменять лошадь на телегу... По его словам: cURL не удобный, а текстовый парсер удобный.. В телеге сидеть удобнее, но без лошади она не поедет Добавлено через 7 минут Зачем путать соленое с пушистым 0

@brightman 12 / 12 / 0 Регистрация: 23.07.2012 Сообщений: 76
	29.12.2012, 20:06
	casual_visitor, ну если нужно спарсить пару тройку страниц скорость тут особой роли не играет, т.к. речь идет о десятых долях секунды. вот сравнение библиотек для парсинга. результаты приведены в теме 0

@dmitmedv 0 / 0 / 0 Регистрация: 29.12.2012 Сообщений: 11
	29.12.2012, 20:07 [ТС]
	приветствую всех еще раз =), я автор данной темы ) помогите пожалуйста с исходным вопросом, он еще не решен. страница о которой идет речь "egrul.nalog.ru", именно ее содержимое мне нужно получить через cURL в точности такое же, какое получают браузеры. Напомню, через cURL приходит ответ с фразой - "Вы браузер устаревший..." прошу помощи, подсказок и т.д. спасибо.. 0