Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.81/21: Рейтинг темы: голосов - 21, средняя оценка - 4.81
0 / 0 / 0
Регистрация: 09.12.2014
Сообщений: 2

Пытаюсь спарсить авито через curl

10.12.2014, 23:19. Показов 4303. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Пытаюсь получить страницу avito.ru но выводит 404 ошибку- нет такой страницы
подскажите, что не правильно!

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
<?php
 
function curl($url){
$ch = curl_init($url);
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt ($ch, CURLOPT_COOKIEFILE, 'cookie.txt');
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, 75);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_HEADER, 1);
curl_setopt ($ch, CURLOPT_REFERER, 'http://www.avito.ru');
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36');
curl_setopt ($ch, CURLOPT_ENCODING, 'utf-8');
curl_setopt ($ch, CURLOPT_POST, 1);
$result = curl_exec($ch);
curl_close($ch);
return $result;
}
$premium_adv = curl('https://www.avito.ru');
echo $premium_adv;
?>
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
10.12.2014, 23:19
Ответы с готовыми решениями:

Пауза в curl. Спарсить страницу после окончательной загрузки
Есть разные задачи когда нужно получить страницу, в которой данные грузятся c помощью ajax. Чаще всего можно отловить ajax запрос и уже...

Не удается полностью спарсить через HtmlAgilityPack
Пытаюсь спарсить все имена на сайте,но почему то парсинг начинается с буквы Д,а не с буквы А namespace ConsoleApplication13 { ...

Спарсить access_token VK через Newtonsoft.Json
JSON.NET System.NullReferenceException WebBrowser wb = new WebBrowser(); ...

2
Почетный модератор
Эксперт HTML/CSSЭксперт PHP
 Аватар для KOPOJI
16844 / 6724 / 880
Регистрация: 12.06.2012
Сообщений: 19,967
10.12.2014, 23:34
Цитата Сообщение от shaman22 Посмотреть сообщение
выводит 404 ошибку- нет такой страницы
Вы уверены, что 404, а не 400 Bad request?
Зачем вы устанавливаете CURLOPT_POST, но не передаете никаких данных? Либо удалите эту строчку (ну или замените 1 на 0), либо передавайте какие-то данные.
З.Ы. Парсинг авито при помощи cURL заранее обеспечен на провал, т.к. основной контент там генерируется с помощью JS. Смотрите в сторону Selenium и т.п.
0
0 / 0 / 0
Регистрация: 09.12.2014
Сообщений: 2
11.12.2014, 10:20  [ТС]
Да именно 404 страница!
а если CURLOPT_POST установить в 0 то ответ приходит HTTP/1.1 403 Forbidden Server
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
11.12.2014, 10:20
Помогаю со студенческими работами здесь

Не получается спарсить ajax через regexpr
Всем привет. Прошу вашей помощи, не получается спарсить названия игр. Ответ приходит такой: {&quot;content&quot;:&quot;\n\n\n ...

Не получается спарсить html страницы через php
Привет друзья, нуждаюсь в вашей помощи! $listtest = file_get_contents('ссылка'); Дело в том, что сайт с которого я хочу спарсить...

Где спарсить матчи или взять в ввиде json, ато спарсить не получается, нужны название. дата и время и коэфициенты
&lt;? include 'simple_html_dom.php'; $maxpost = '5'; // к-во постов $url = 'http://soccer365.ru/'; $ch = curl_init($url); ...

Пытаюсь защитить phpmyadmin через .htpasswd
Делаю по мануалу для Debian 9 https://www.8host.com/blog/ustanovka-i-zashhita-phpmyadmin-v-debian-9/ В папке...

Пытаюсь создать пользователя через IBExpert
Приветствую! Использую Delphi XE5 и IB Expert версии 2017.12.13.1, СУБД Firebird 2.0. Пытаюсь добавить пользователя, помимо SYSDBA на...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит токи на L и напряжения на C в установ. режимах до и. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru