Curl не выводит ничего

@lagrei66 · Регистрация: 28.11.2012

Author24 — интернет-сервис помощи студентам

всем привет нужна ваша помощь,, пытаюсь вывести страницу авито , выдаёт пустую страницу не знаю чего и делать

PHP

<?php 
  // Иницализация библиотеки curl 
$ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, 'http://www.avito.ru/'); 
    curl_setopt($ch, CURLOPT_HEADER, false); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($ch, CURLOPT_USERAGENT, 'PHP Bot'); 
    $data = curl_exec($ch); 
    echo $data; 
    curl_close($ch); 
?>

пробовал пройти авторизацию тоже чёто не то всё пусто, что я делаю не так??

PHP

<?php  
  // HTTP авторизация  
  $url = "https://www.avito.ru/profile/login?next=%2Fprofile";  
  $ch = curl_init();      
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   
  curl_setopt($ch, CURLOPT_URL, $url);   
  curl_setopt($ch, CURLOPT_USERPWD, "wrfrwef@wf.ru:lagrei666");   
  $result = curl_exec($ch);   
  curl_close($ch);   
  echo $result;  
?>

кароч не чё не работае и не чё не показывает, кто чё подскжет

@c_k_rim · 20.03.2014, 16:05

lagrei66, первый скрипт у меня отработал, вывел главную страницу avito. Смотри, что у тебя в настройках сервера, если точно не выводит. Может, какая ошибка, которая не отображается.. Могу предположить, что curl, например, не подключен как библиотека к php =D

PHP

1 2	error_reporting(E_ALL); ini_set('display_errors', 1);

стоит?

@lagrei66 · 20.03.2014, 16:08 **[ТС]**

Сообщение от c_k_rim

error_reporting(E_ALL);
ini_set('display_errors', 1);

никакого результата так же пустая страница

@c_k_rim · 20.03.2014, 16:42

PHP

<?
if (!extension_loaded('curl')) {
    echo 'CURL`а нема';
    die();
}
?>

@~~Танкья~~ · 20.03.2014, 16:45

lagrei66, а у меня выводит в браузер Ваш вариант получения этой страницы.
Я недавно сталкивалась с этой проблемой в похожей теме. Может так у Вас получится?

PHP

<?php
 error_reporting(E_ALL & ~E_WARNING);
$opts = array(
    'socket' => array(
        'bindto' => '80.76.156.73:7000',
    ),
);
 
$context = stream_context_create($opts);
 
$get = file_get_contents('http://www.avito.ru/', false, $context);
echo  $get;  
?>

@lagrei66 · 20.03.2014, 16:58 **[ТС]**

Сообщение от c_k_rim

<?
if (!extension_loaded('curl')) {
* * echo 'CURL`а нема';
* * die();
}
?>

Сообщение от Танкья

<?php
*error_reporting(E_ALL & ~E_WARNING);
$opts = array(
* * 'socket' => array(
* * * * 'bindto' => '80.76.156.73:7000',
* * ),
);
$context = stream_context_create($opts);
$get = file_get_contents('http://www.avito.ru/', false, $context);
echo *$get; *
?>

оба варианта ничего не вывели, так же пустая страница

@~~Танкья~~ · 20.03.2014, 17:15

Так уже точно выведет. Я использовала прокси-сервер и проверила)

PHP

<?php
  // Иницализация библиотеки curl
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, 'http://www.avito.ru/');
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    //curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0');
    curl_setopt($ch, CURLOPT_PROXY, '176.215.1.224:3128');
    $data = curl_exec($ch);
    echo $data;
    curl_close($ch);
?>

Вероятно проблемы с айпи-адресом. Потому что, как я уже говорила и Ваш код у меня выводил страницу.

@lagrei66 · 20.03.2014, 17:41 **[ТС]**

да ваш скрипт заработал, спасибо

Сообщение от Танкья

Вероятно проблемы с айпи-адресом

а что может быть с айпишником

@~~Танкья~~ · 20.03.2014, 17:52

Сообщение от lagrei66

а что может быть с айпишником

Даже не знаю. На моем айпи выводилась страница в браузер с Вашим кодом. Пробовала на разных прокси-серверах и на некоторых, как Вы говорили, отображалась пустая страница.

@lagrei66 · 21.03.2014, 18:21 **[ТС]**

всё равно ни чего не получается
нашол такой скрипт авторизации и снова выводит пустую страницу

PHP

error_reporting(E_ALL);
ini_set('display_errors', 1);
 
$url = 'http://www.avito.ru';                        // Куда зайти
$urlTo = 'https://www.avito.ru/profile/login';    // Куда данные послать
$login = 'wrfrwef@wf.ru';                          // Логин
$password = 'lagrei666';                            // Пароль  
$post = 'login=' . $login . '&password=' . $password. '&submit';    // POST данные
 $ch = curl_init();                              // Инициализация сеанса
curl_setopt($ch, CURLOPT_URL, $url);            // Заходим на сайт
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // Приказываем вернуть страницу в переменную
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_PROXY, '212.220.110.238:8080');
 
$html = curl_exec($ch); 
 
curl_setopt($ch, CURLOPT_URL, $urlTo);              // Куда шлем POST данные
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');  // Записываем cookie
curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt'); // Читаем cookies
curl_setopt($ch, CURLOPT_POST, true);               // Указываем метод отправки
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);        // POST данные
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);     // Говорим скрипту, чтобы он следовал за редиректами которые происходят во время авторизации
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_PROXY, '212.220.110.238:8080');
$html = curl_exec($ch); // Забираем страницу
curl_close($ch);        // Завершаем сеанс
echo $html;             // Оказываемся в вашем аккаунте

Добавлено через 2 минуты
поменял прокси тоже не фурычит

Добавлено через 11 минут
кстати там используется enctype="multipart/form-data" это может как то влиять??

Добавлено через 13 часов 6 минут
чего делать то

Добавлено через 7 часов 30 минут
может я ip не так как то поставил

@Andruhin · 21.03.2014, 18:54

Стоит обрабатывать ошибки, и error_reporting(E_ALL) вам не поможет в данном случае:

PHP

$page = array();
$page['html'] = curl_exec($ch);
$page['err'] = curl_errno($ch);
$page['errmsg'] = curl_error($ch);
$page['header'] = curl_getinfo($ch);
if (($page['header']['http_code'] == 200) and $page['html'] != ''){
    echo $page['html'];
} else {
    echo " Ошибка получения страницы: {$page['err']}. HTTP CODE {$page['header']['http_code']}</br>";
    echo " {$page['errmsg']}</br>";
    echo " Url: {$page['header']['url']}</br>";
    echo " Время скачивания: {$page['header']['total_time']}</br>";
}

@lagrei66 · 21.03.2014, 19:31 **[ТС]**

вышло вот что
Ошибка получения страницы: 7. HTTP CODE 0
couldn't connect to host
Url: https://www.avito.ru/profile/login
Время скачивания: 0.06014

что за ошибка 7 и не могли подключиться

@Andruhin · 21.03.2014, 19:41

Сообщение от lagrei66

что за ошибка 7 и не могли подключиться

7 - couldn't connect to host

Вариантов много:

либо IP прокси заблокировали на стороне avito, потому что не вы один желаете их парсить, а лишняя нагрузка и без того нагруженному сервису не нужна.
либо прокси не рабочая уже
либо еще что-то

@lagrei66 · 21.03.2014, 22:27 **[ТС]**

а что вот это означает

Ошибка получения страницы: 0. HTTP CODE 403

Url: https://www.avito.ru/profile/login
Время скачивания: 0.238594

@Andruhin · 21.03.2014, 22:41

Сообщение от lagrei66

HTTP CODE 403

Список кодов состояния HTTP

@lagrei66 · 21.03.2014, 23:25 **[ТС]**

ну а что тогда мне сделать чтобы всё заработало

Добавлено через 2 минуты
без post , если просто вывести главную страницу он выводит, а если с postом авторизации, то нет couldn't connect to host,, ip не заблокирован всё рабочее может в скрипте всётаки дело

@MVS76 · 22.03.2014, 06:47

Держите, у меня отрабатывает отлично

PHP

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" lang="ru" xml:lang="ru">
<head>
<meta http-equiv="Content-type" content="text/html; charset=UTF-8" />
 
<?php
$urlOut = 'https://www.avito.ru/profile';      // Куда данные послать
$urlTo = 'https://www.avito.ru/profile/login?next=%2Fprofile';      // Куда данные послать
$login = 'wr***ef@w*.ru';                          // Логин
$password = 'lag***66';                            // Пароль  
$auth = 'login='.$login.'&password='.$password;    // POST данные
$ch = curl_init();                                 // Инициализация сеанса
curl_setopt($ch, CURLOPT_URL, $urlTo);
curl_setopt($ch, CURLOPT_HEADER, 1);    // получать заголовки
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,30);
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36');
curl_setopt($ch, CURLOPT_REFERER, 'http://www.avito.ru');
curl_setopt($ch, CURLOPT_POST,1);
curl_setopt($ch, CURLOPT_COOKIEJAR,$_SERVER['DOCUMENT_ROOT'].'/cookiefile.txt');
curl_setopt($ch, CURLOPT_POSTFIELDS, $auth);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);     // Говорим скрипту, чтобы он следовал за редиректами которые происходят во время авторизации
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
curl_setopt ($ch, CURLOPT_HTTPHEADER, array('Expect:')); // это необходимо, чтобы cURL не высылал заголовок на ожидание
$result = curl_exec($ch);
 
curl_setopt($ch, CURLOPT_URL, $urlOut);
curl_setopt($ch, CURLOPT_HEADER, 0);    // получать заголовки
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,30);
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36');
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_COOKIEFILE,$_SERVER['DOCUMENT_ROOT'].'/cookiefile.txt');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);     // Говорим скрипту, чтобы он следовал за редиректами которые происходят во время авторизации
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
$result = curl_exec($ch); // Забираем страницу
 
curl_close($ch);         // Завершаем сеанс
?>
 
</head>
<body>
 
<?php echo $result;  // Оказываемся в вашем аккаунте ?>
 
</body>
</html>

@lagrei66 · 22.03.2014, 16:04 **[ТС]**

а почему не выводит картинку капчи получается квадрат

PHP

<?php
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, 'https://www.avito.ru/registration');
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,30);
    curl_setopt($ch, CURLOPT_COOKIEFILE,$_SERVER['DOCUMENT_ROOT'].'cookiefile.txt');
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36');
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
    curl_setopt($ch, CURLOPT_REFERER, 'http://www.avito.ru');
    curl_setopt($ch, CURLOPT_PROXY, '217.8.95.168:8080');
    $data = curl_exec($ch);
    echo $data;
    curl_close($ch);
?>

@lagrei66 · 22.03.2014, 20:02 **[ТС]**

как её вывести или загрузить для обработки???

Добавлено через 1 час 39 минут
я так понил вычитал что нужно и страницу и капчу как то одним запросом забирать

Добавлено через 2 минуты
а не хотя наоборот так никак не получется

Добавлено через 1 час 25 минут
в файле с куками сохраняется номер ссылки
Set-Cookie: v=1395500723;

в исходном это так
src="/captcha?1395500723"

может как то выводить

Добавлено через 37 минут
кароче сделал вот так
один чёрт квадрат вместо картинки, что может быть не так ссылка правильная почему картинку не показывает???

PHP

<?php
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, 'https://www.avito.ru/registration');
    curl_setopt($ch, CURLOPT_HEADER, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,15);
    curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');  // Записываем cookie
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);
    curl_setopt($ch, CURLOPT_USERAGENT,'Opera 20.0');
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
    curl_setopt($ch, CURLOPT_PROXY, '217.8.95.168:8080');
    $data = curl_exec($ch);
 
    curl_setopt($ch, CURLOPT_URL, 'https://www.avito.ru/registration');
    curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt'); // Читаем куки
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,15);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);
    curl_setopt($ch, CURLOPT_USERAGENT,'Opera 20.0');
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
    curl_setopt($ch, CURLOPT_PROXY, '217.8.95.168:8080');
    $data = curl_exec($ch);
    
  $offset = strpos($data, '/captcha?');
  $sid = substr($data, $offset+9, 10);    // sid получен
  echo "<img src=https://www.avito.ru/captcha?".$sid.">";
    curl_close($ch);
?>

Добавлено через 11 минут
кароч пипец взрыв мозга,не знаю чё делать

@MVS76 · 22.03.2014, 22:17

Взять картинку некак, при попытке обращения к ней, выдает ошибку 403, это говорит о защите.
Одним словом, получить доступ со стороннего ресурса невозможно!

Curl не выводит ничего

Решение

Решение

@lagrei66 8 / 8 / 5 Регистрация: 28.11.2012 Сообщений: 99
	20.03.2014, 16:08 [ТС]	3
	Сообщение от c_k_rim error_reporting(E_ALL); ini_set('display_errors', 1); никакого результата так же пустая страница 0

@lagrei66 8 / 8 / 5 Регистрация: 28.11.2012 Сообщений: 99
	20.03.2014, 16:58 [ТС]	6
	Сообщение от c_k_rim <? if (!extension_loaded('curl')) { * * echo 'CURL`а нема'; * * die(); } ?> Сообщение от Танкья <?php error_reporting(E_ALL & ~E_WARNING); $opts = array( * 'socket' => array( * * * * 'bindto' => '80.76.156.73:7000', * * ), ); $context = stream_context_create($opts); $get = file_get_contents('http://www.avito.ru/', false, $context); echo $get; ?> оба варианта ничего не вывели, так же пустая страница 0

@lagrei66 8 / 8 / 5 Регистрация: 28.11.2012 Сообщений: 99
	20.03.2014, 17:41 [ТС]	8
	да ваш скрипт заработал, спасибо Сообщение от Танкья Вероятно проблемы с айпи-адресом а что может быть с айпишником 0

@~~Танкья~~ Заблокирован
	20.03.2014, 17:52	9
	Сообщение от lagrei66 а что может быть с айпишником Даже не знаю. На моем айпи выводилась страница в браузер с Вашим кодом. Пробовала на разных прокси-серверах и на некоторых, как Вы говорили, отображалась пустая страница. 1

@lagrei66 8 / 8 / 5 Регистрация: 28.11.2012 Сообщений: 99
	21.03.2014, 19:31 [ТС]	12
	вышло вот что Ошибка получения страницы: 7. HTTP CODE 0 couldn't connect to host Url: https://www.avito.ru/profile/login Время скачивания: 0.06014 что за ошибка 7 и не могли подключиться 0

@Andruhin 142 / 142 / 27 Регистрация: 19.12.2011 Сообщений: 250
	21.03.2014, 19:41	13
	Сообщение от lagrei66 что за ошибка 7 и не могли подключиться 7 - couldn't connect to host Вариантов много: либо IP прокси заблокировали на стороне avito, потому что не вы один желаете их парсить, а лишняя нагрузка и без того нагруженному сервису не нужна. либо прокси не рабочая уже либо еще что-то 1

@lagrei66 8 / 8 / 5 Регистрация: 28.11.2012 Сообщений: 99
	21.03.2014, 22:27 [ТС]	14
	а что вот это означает Ошибка получения страницы: 0. HTTP CODE 403 Url: https://www.avito.ru/profile/login Время скачивания: 0.238594 0

@Andruhin 142 / 142 / 27 Регистрация: 19.12.2011 Сообщений: 250
	21.03.2014, 22:41	15
	Сообщение от lagrei66 HTTP CODE 403 Список кодов состояния HTTP 1

@lagrei66 8 / 8 / 5 Регистрация: 28.11.2012 Сообщений: 99
	21.03.2014, 23:25 [ТС]	16
	ну а что тогда мне сделать чтобы всё заработало Добавлено через 2 минуты без post , если просто вывести главную страницу он выводит, а если с postом авторизации, то нет couldn't connect to host,, ip не заблокирован всё рабочее может в скрипте всётаки дело 0

@MVS76 Не мoдepaтор 340 / 315 / 94 Регистрация: 07.07.2012 Сообщений: 1,040 Записей в блоге: 7
	22.03.2014, 22:17	20
	Взять картинку некак, при попытке обращения к ней, выдает ошибку 403, это говорит о защите. Одним словом, получить доступ со стороннего ресурса невозможно! 1