Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.82/11: Рейтинг темы: голосов - 11, средняя оценка - 4.82
16 / 14 / 16
Регистрация: 07.02.2017
Сообщений: 292

File_get_contents и curl не парсят сайт

17.06.2017, 10:18. Показов 2168. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
file_get_contents и curl не парсят сайт! Как я понял блокирует сайт, выдает какой то левый html! как можно это обойти? вот ссылка которую я хочу спарсить
https://www.copart.co.uk/saleL... ion&page=2

Добавлено через 21 час 34 минуты
понятно( никто не зннает
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
17.06.2017, 10:18
Ответы с готовыми решениями:

file_get_contents and cUrl
<?php $curl_handle=curl_init(); curl_setopt($curl_handle, CURLOPT_URL,'http://mak.lutsk.ua/MoveOnMap?level=1&nodeid=1'); ...

Curl и file_get_contents
если использую curl то выводит bool(false) $ku=curl_init(); ...

Зависимость: сокеты, curl и file_get_contents()
Добрый день форумчани, вопрос немного странный, работаю часто с чужими сайтами, с которых мне бывает нужно отправить инфу на свой сервер. ...

3
313 / 312 / 221
Регистрация: 11.07.2015
Сообщений: 1,107
18.06.2017, 09:29
PHP
1
2
3
4
5
<?php
require 'curl.php';
$url = 'https://www.copart.co.uk/saleListResult/404/2017-06-16/A?location=Westbury&saleDate=1497610800000&liveAuction=false&from=todaysAuction&page=2';
$m = nget($url);
echo $m;
[РЕЦЕПТ] Как написать парсер
0
16 / 14 / 16
Регистрация: 07.02.2017
Сообщений: 292
18.06.2017, 11:18  [ТС]
контент на сайте подгружается динамически, уже после загрузки навигационной части страницы. Такое содержимое не захватить так просто. Ваш подход не работает! Сам делал что то похожее. По моему нужно в f12, смотреть лог запросов во вкладке сеть и воссоздавать то же самое
0
313 / 312 / 221
Регистрация: 11.07.2015
Сообщений: 1,107
18.06.2017, 11:39
После загрузки страницы выполняется POST запрос к URL https://www.copart.co.uk/public/lots/search
Передаются десятки параметров
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
18.06.2017, 11:39
Помогаю со студенческими работами здесь

Сервер не может получить страницу (Curl, file_get_contents.)
Вообщем написал некий скрипт, работать работает и сейчас на локалке тоже, и работал на сервере, но в один прекрасный момент перестал...

Скачка изображения - copy(), file_get_contents(), curl() не работают
Вот конкретная картинка http://cdni.rt.com/russian/images/2018.03/original/5ab3ab7e183561ab028b45d3.jpg доступная через браузер,...

Сервер не может получить страницу (Curl, file_get_contents)
привет. &lt;? $unvan_smert=&quot;http://google.com&quot;; $curl_smert = curl_init(); curl_setopt($curl_smert, CURLOPT_URL, $unvan_smert); ...

Подскажите curl или file_get_contents ? Для ограничения запросов по времени
Добрый день. Получаю данные со стороннего сервиса через их API (json) У сервиса есть ограничения по количеству запросов в секунду. ...

cURL и file_get_contents перестали работать failed to open stream: Connection timed out
Всем доброй ночи. Подскажите такой момент. Перестал работать curl и file_get_contents Вчера всё ещё работало прекрасно. Никаких...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru