Парсинг сайта без явного указания города

@Parallelogram · Регистрация: 17.01.2011

Студворк — интернет-сервис помощи студентам

Здравствуйте! Я тут решил парсить сайт technopoint.ru, но не пойму как заставить код понять какой город мне нужен. В адресе явно не указан город, как на многих сайтах (или отдельная папка или поддомен), тут город выбирается с помощью ява-скрипта и возможно хранится в куках. Помогите, пожалуйста.

@WebProgrammer1 · 02.08.2015, 10:56

Похоже там отправляется запрос на technopoint.ru/setCity при выборе города. Можно попробовать исследовать этот запрос, узнать, какие параметры передаются и выполнять точно такой же, но например через CURL

@Ilya_st · 02.08.2015, 15:00

В Запросе браузер передает поле "Cookie", там два значения: __CITY__ и city_id, нужно просто выбрать нужный вам город и посмотреть какой запрос отправляется.

Вот я выбрал Ростов

Code
1
2
3
4
5
6
7
8
tp_session=miahquas1r19vfokgee6i34o27;
showcase_category_id=2152;
YII_CSRF_TOKEN=406c84ca6ce1a9d609a6263fbf9a028a75b617ec;
_ga=GA1.2.880199705.1438516476;
_gat=1;
_ym_visorc_22425643=w;
__CITY__=35;
city_id=923c7ab81fe6beaf84613d58f0b23314a7b11902s%3A2%3A%2235%22%3B

@Parallelogram · 02.08.2015, 16:54 **[ТС]**

На данном этапе я определил какие куки передаются, но появилась другая проблема.

PHP
1
2
$site = file_get_contents('http://technopoint.ru');
echo $site;

Выводит ошибку в логах: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found

Что я делаю не так?

Добавлено через 10 минут
Т.е. failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found.

Не то скопировал)

@pav1uxa · 02.08.2015, 22:31

Сообщение от Parallelogram

Что я делаю не так?

Может сайт добавил Вас в бан?

KOPOJI · 03.08.2015, 15:32

Используйте cURL. Там требуется передать юзерагента

PHP
1
2
3
4
5
6
7
8
9
10
$ch = curl_init();
 
curl_setopt_array($ch, array(
    CURLOPT_URL => 'http://technopoint.ru',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HEADER => false,
    CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.9) Gecko/20061206 Firefox/1.5.0.9',
));
echo curl_exec($ch);
curl_close($ch);

@alexsamos33 · 06.08.2015, 19:06

Сообщение от KOPOJI

Используйте cURL. Там требуется передать юзерагента

Через контекст его тоже можно передавать.

KOPOJI · 07.08.2015, 18:21

alexsamos33, можно и так. Если, конечно, включено allow_url_fopen.

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

@Parallelogram 0 / 0 / 2 Регистрация: 17.01.2011 Сообщений: 103

	Парсинг сайта без явного указания города 02.08.2015, 05:42. Показов 2316. Ответов 7 Метки нет (Все метки) Здравствуйте! Я тут решил парсить сайт technopoint.ru, но не пойму как заставить код понять какой город мне нужен. В адресе явно не указан город, как на многих сайтах (или отдельная папка или поддомен), тут город выбирается с помощью ява-скрипта и возможно хранится в куках. Помогите, пожалуйста. 0

@WebProgrammer1 16 / 16 / 10 Регистрация: 24.01.2014 Сообщений: 187
	02.08.2015, 10:56
	Похоже там отправляется запрос на technopoint.ru/setCity при выборе города. Можно попробовать исследовать этот запрос, узнать, какие параметры передаются и выполнять точно такой же, но например через CURL 0

KOPOJI Почетный модератор 16844 / 6724 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	07.08.2015, 18:21
	alexsamos33, можно и так. Если, конечно, включено allow_url_fopen. 0

Парсинг сайта без явного указания города

Решение