Empty reply from server curl

@BIS-10-2 · Регистрация: 02.02.2013

Студворк — интернет-сервис помощи студентам

Привет всем! Curl выдает ошибку "empty reply from server". Пока из объяснений я читал только то, что в url могут быть пробелы лишние, но у меня их нет. Вручную захожу на сайт, все нормально. Инфа от curl-а:
content_type
http_code 0
header_size 0
request_size 126
filetime -1
ssl_verify_result 0
redirect_count 0
total_time 0.125882
namelookup_time 9.5E-5
connect_time 0.061872
pretransfer_time 0.062121
size_upload 0
size_download 0
speed_download 0
speed_upload 0
download_content_length -1
upload_content_length 0
starttransfer_time 0.125829
redirect_time 0
certinfo Array
primary_ip 186.2.161.112
primary_port 80
local_ip 10.0.2.15
local_port 49002
redirect_url
Помогите разобраться, кто знает в чем дело? Заранее спасибо)
Функция по парсингу сайта:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
function get_web_page($url)
    {
      echo strlen($url).'<br>';
      $uagent = "Opera/9.80 (Windows NT 6.1; WOW64) Presto/2.12.388 Version/12.14";  
      $ch = curl_init( $url );   
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);        
      curl_setopt($ch, CURLOPT_USERAGENT, $uagent);  
      curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120); 
      curl_setopt($ch, CURLOPT_TIMEOUT, 120);        
      curl_setopt($ch, CURLOPT_MAXREDIRS, 10);   
      curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
      curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
      curl_setopt($ch, CURLOPT_COOKIEFILE,"d://coo.txt");    
      $content = curl_exec( $ch );
      //echo $content.'<br>';
      $err     = curl_errno( $ch );
      $errmsg  = curl_error( $ch );
      echo $errmsg.'<br>';
      $header  = curl_getinfo( $ch );
      curl_close( $ch );     
      $header['errno']   = $err;
      $header['errmsg']  = $errmsg;
      $header['content'] = $content;
      return $header;
    }

@WhiteMind · 18.02.2016, 13:16

url приведите

@BIS-10-2 · 19.02.2016, 08:18 **[ТС]**

http://abiyev.kz/

Добавлено через 18 часов 8 минут
не уж то ни у кого нет никаких соображений?

@WhiteMind · 24.02.2016, 22:36

и так.
при использование юзер агента "Opera/9.80 (Windows NT 6.1; WOW64) Presto/2.12.388 Version/12.14" сразу банится ип.
в дальнейшем показывается empty reply from server.
исправить - указанием другова юзер агента.
помимо этого при отсутсвие уникального куки выдается код вида

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
<script>
    document.cookie='_ddn_intercept_2_=11d193ea8cf67fd06b34e715a89b3c96; max-age=604800; path=/';
    var nc = function() {return document.cookie.indexOf('_ddn_intercept_2_=11d193ea8cf67fd06b34e715a89b3c96')==-1;};
    var w = function() {document.body.innerHTML = document.getElementsByTagName('noscript')[0].textContent;};
    if (!window.opera) {
        if (!nc()) {window.location.reload(true);}
        var r = function() {if (nc()) w();};
    } else {
        var r = function () {
            if (!nc()) {window.location.reload(true);}
            else {w();}
        }
    }
</script>

иначе говоря должен выполнится js и установится cookie, к счастью js код примитивен и куки можно выцепить регуляркой и принудительно поставить след запросом в курле( а в противном случае только эмуляция браузера )

итого:
примитивный но рабочий код:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
<?php
 
 
function get_web_page($url , $cookie = null) {
        $cookie_path = "sdfasdfasdf____coo.txt";
    
      echo strlen($url).'<br>';
      $uagent = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36";  
      $ch = curl_init( $url );   
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);        
      curl_setopt($ch, CURLOPT_USERAGENT, $uagent);  
      curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120); 
      curl_setopt($ch, CURLOPT_TIMEOUT, 120);        
      curl_setopt($ch, CURLOPT_MAXREDIRS, 10);   
      curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
      curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
      curl_setopt($ch, CURLOPT_COOKIEFILE,$cookie_path);
      curl_setopt($ch, CURLOPT_COOKIEJAR,$cookie_path);
      if ( $cookie !== null ) {
        curl_setopt($ch, CURLOPT_COOKIE, $cookie);
      }
      $content = curl_exec( $ch );
      //echo $content.'<br>';
      $err     = curl_errno( $ch );
      $errmsg  = curl_error( $ch );
      echo $errmsg.'<br>';
      $header  = curl_getinfo( $ch );
      curl_close( $ch );     
      $header['errno']   = $err;
      $header['errmsg']  = $errmsg;
      $header['content'] = $content;
      
      if ( preg_match( '#document\.cookie\=\\\'([^=]*)\=([^;]*)#' , $content , $m ) && $cookie === null ) {
        return get_web_page( $url , $m[1] . '=' . $m[2] );
      }
      return $header;
    }
    
    
    
    
$header = get_web_page( 'http://abiyev.kz/' );
 
print_r( $header );

@BIS-10-2 · 29.02.2016, 08:21 **[ТС]**

спасибо) но не работает, по прежнему empty reply...

@WhiteMind · 29.02.2016, 09:12

Сообщение от BIS-10-2

по прежнему empty reply...

поменяйте ip

@BIS-10-2 · 29.02.2016, 09:24 **[ТС]**

имеешь ввиду с другого сервака запустить парсинг?

Добавлено через 11 минут
Спасибо!!! сам затупил))

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .

@WhiteMind Hello Kitty 690 / 562 / 402 Регистрация: 12.02.2016 Сообщений: 1,436 Записей в блоге: 1
	18.02.2016, 13:16
	url приведите 0

@BIS-10-2 0 / 0 / 0 Регистрация: 02.02.2013 Сообщений: 72
	19.02.2016, 08:18 [ТС]
	http://abiyev.kz/ Добавлено через 18 часов 8 минут не уж то ни у кого нет никаких соображений? 0

@BIS-10-2 0 / 0 / 0 Регистрация: 02.02.2013 Сообщений: 72
	29.02.2016, 08:21 [ТС]
	спасибо) но не работает, по прежнему empty reply... 0

@BIS-10-2 0 / 0 / 0 Регистрация: 02.02.2013 Сообщений: 72
	29.02.2016, 09:24 [ТС]
	имеешь ввиду с другого сервака запустить парсинг? Добавлено через 11 минут Спасибо!!! сам затупил)) 0