Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 16.08.2013
Сообщений: 4

CUrl - неадекватный парсинг

11.09.2015, 21:07. Показов 887. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет. Собственно, задача скрипта: парсить страницы магазина и находить количество товара. Ступор на получении html-кода страницы.
Вот код скрипта (пока хотя бы пытаюсь html-код получить):
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<?php
set_time_limit(600);
$link = 'http://steam-grand.ru/goods/info/1';
$ch = curl_init (); // инициализация
curl_setopt ($ch , CURLOPT_URL , $link); // адрес страницы для скачивания
curl_setopt ($ch , CURLOPT_USERAGENT , "Mozilla/5.0 (Windows NT 6.1; rv:40.0) Gecko/20100101 Firefox/40.0"); // каким браузером будем прикидываться
curl_setopt($ch, CURLOPT_TIMEOUT, 3);   //TIMEOUT
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  //Переходим по редиректам
curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 ); // нам нужно вывести загруженную страницу в переменную
$content = curl_exec($ch); // скачиваем страницу
curl_close($ch); // закрываем соединение
 
$fl=fopen('check.txt','w');
fwrite($fl,$content);
fclose($fl);
?>
Вот, что получаю в файл check.txt:
HTML5
1
<html><body><script>var ws=new Date();ws.setMinutes(14400+ws.getMinutes());document.cookie="atm=ef03da377169b4dc4aa0fbd453640287; expires="+ ws.toGMTString();document.location.href="http://steam-grand.ru/goods/info/1";//141.8.192.100</script></body></html>
Собственно, вопрос: как получать html-код самой страницы, а не эту ересь?

Немного информации, которая может быть полезна:
Ошибок не выдается (код ошибки: 0);
Скрипт запускаю на хостинге sprinthost.ru;
Пытался вместо CURLOPT_FOLLOWLOCATION юзать найденную на просторах инета функцию curl_redir_exec($ch) - результат тот же;
file_get_contents($link) не выдает ничего вообще. Если убрать CURLOPT_USERAGENT - не выдает ничего вообще
Для данной задачи cUrl необязателен. Для получения html-кода страницы можно юзать все, что угодно. Лишь бы это поддерживал мой хостинг.

Заранее благодарю человека, который подкинет решение проблемы (бонусом поблагодарю еще раз, когда увижу решение).
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
11.09.2015, 21:07
Ответы с готовыми решениями:

Curl и парсинг CSV
Приветствую. Сильно не бейте, вопрос будет возможно глупый. Есть csv файл в котором более 1000 позиций товара. Вот одна строка...

Парсинг сайта с curl , не получается
&lt;?php $useragent = &quot;Opera/9.80 (J2ME/MIDP; Opera Mini/4.2.14912/870; U; id) Presto/2.4.15&quot;; $ch = curl_init (&quot;&quot;); curl_setopt...

Парсинг fl.ru with curl выдает ошибку 403 Forbidden
Здравствуйте! Где-то год назад создавал парсер fl.ru, но потом появилась постоянная работа, и я им перестал пользоваться. Сейчас опять...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
11.09.2015, 21:07
Помогаю со студенческими работами здесь

Парсинг гугл-переводчика: simple HTML DOM и/или cURL?
Привет всем сторожилам и просто забредшим форумчанам. собственно хочу реализовать такую вещь: в форму кидается кусок текста к примеру на...

Парсинг в цикле. Curl с ограничением
Доброго времени суток уважаемые коллеги и форумчане. Прошу помощи с решением задачи: Есть небольшой сайт, парсинг которого необходимо...

Авторизация и парсинг PHP (CURL)
Доброе время суток форумчане, Столкнулся с нуждою спарсить контент контент из закрытой части сайта https://lk.cinemapark.ru/ мне...

Curl и парсинг, танцы с бубном
Доброго вечера, форумчане. Для себя и, возможно, друзей-знакомых, решил написать простенький проектик. Суть в том, чтобы с часто...

Curl парсинг страницы и подмена ссылок
Как мне в полученной странице пройтись по всем ссылкам и привести к такому виду. что имеем /directory/ что нужно ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Символьное дифференцирование
igorrr37 13.02.2026
/ * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru