Форум программистов, компьютерный форум, киберфорум
Наши страницы
PHP
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.53/38: Рейтинг темы: голосов - 38, средняя оценка - 4.53
Furious
1 / 1 / 0
Регистрация: 14.11.2008
Сообщений: 9
1

Yandex wordstat parser

13.02.2009, 14:32. Просмотров 6865. Ответов 1
Метки нет (Все метки)

Всем привет!
Пишу парсер yandex wordstat. Сначала работал без прокси, но после нескольких попыток, как я понял, яндекс меня забанил. Потом подключил прокси, и снова после нескольких попыток меня забанили. Или не забанили, не знаю... Но курл возвращает пустоту. Вот код:
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
$ch = curl_init($url);
   curl_setopt($ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Widows NT)");
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
   curl_setopt($ch, CURLOPT_REFERER, "http://www.yandex.ru/");
   curl_setopt($ch, CURLOPT_FOLLOWLOCATION , 1);
   curl_setopt($ch, CURLOPT_TIMEOUT, 5);
   curl_setopt($ch, CURLOPT_HEADER, 1);
         
   curl_setopt($ch, CURLOPT_PROXY, "proxyip:port");
   //curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); и с этим и без этого не пашет
         
   $m = curl_exec($ch);
        echo $m;
Я было подумал что ему надо может куки отправить, или еще какие заголовки, но дело в том что он заголовки вообще не посылает, просто приходит пустая строка. Прокси не бесплатные, куплены за деньги, и они работают (проверял на сайте myip .ru), но яндексу видимо все равно что это за прокси. В переменной $url тоже верный адрес, выводил его, копировал в строку браузера, и все нормально запускалось.
Вобщем не знаю что этом может быть. Если кто чего знает - поделитесь пожалста.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
13.02.2009, 14:32
Ответы с готовыми решениями:

Парсинг статистики wordstat.yandex
Здравствуйте! Не получается обычным скриптом с Curl получить данные...

Google parser
Добрый вечер, читателям форума. Оцените "простой" парсер гугла, скажите, что...

Php simple html dom parser
Здравствуйте, дорогие форумчане. Начинаю изучать библиотеку парсинга php...

Библиотека Simple DOM Parser - парсинг
Добрый день. ЕСть страница 4.php: <div id="d1">text-1</div> <div...

PHP Simple HTML DOM Parser
Не подключается библиотека, на страничке написал 1 строчку с подключением...

1
SaM01
0 / 0 / 1
Регистрация: 10.02.2009
Сообщений: 21
17.02.2009, 12:36 2
Цитата Сообщение от Furious Посмотреть сообщение
Всем привет!
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
Может так что получиться:

PHP
1
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
17.02.2009, 12:36

Проблемка с PHP Simple HTML DOM Parser. Парсит, не останавливается на конце тега + кодировка
Собственно проблема, даже две :) 1) Есть кусок кода: .... $com = ' ';...

PHP, CentOS 5.5 и Mystem(от Yandex)
Как не смешно это звучит, но не понимаю, как запустить этот скрипт. <?php...

Как узнать количество страниц в индексе Google & Yandex ?
Как узнать количество страниц в индексе Google & Yandex ? Добавлено через 6...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru