Парсинг сайта без явного указания города

@Parallelogram · Регистрация: 17.01.2011

Студворк — интернет-сервис помощи студентам

Здравствуйте! Я тут решил парсить сайт technopoint.ru, но не пойму как заставить код понять какой город мне нужен. В адресе явно не указан город, как на многих сайтах (или отдельная папка или поддомен), тут город выбирается с помощью ява-скрипта и возможно хранится в куках. Помогите, пожалуйста.

@WebProgrammer1 · 02.08.2015, 10:56

Похоже там отправляется запрос на technopoint.ru/setCity при выборе города. Можно попробовать исследовать этот запрос, узнать, какие параметры передаются и выполнять точно такой же, но например через CURL

@Ilya_st · 02.08.2015, 15:00

В Запросе браузер передает поле "Cookie", там два значения: __CITY__ и city_id, нужно просто выбрать нужный вам город и посмотреть какой запрос отправляется.

Вот я выбрал Ростов

Code
1
2
3
4
5
6
7
8
tp_session=miahquas1r19vfokgee6i34o27;
showcase_category_id=2152;
YII_CSRF_TOKEN=406c84ca6ce1a9d609a6263fbf9a028a75b617ec;
_ga=GA1.2.880199705.1438516476;
_gat=1;
_ym_visorc_22425643=w;
__CITY__=35;
city_id=923c7ab81fe6beaf84613d58f0b23314a7b11902s%3A2%3A%2235%22%3B

@Parallelogram · 02.08.2015, 16:54 **[ТС]**

На данном этапе я определил какие куки передаются, но появилась другая проблема.

PHP
1
2
$site = file_get_contents('http://technopoint.ru');
echo $site;

Выводит ошибку в логах: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found

Что я делаю не так?

Добавлено через 10 минут
Т.е. failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found.

Не то скопировал)

@pav1uxa · 02.08.2015, 22:31

Сообщение от Parallelogram

Что я делаю не так?

Может сайт добавил Вас в бан?

KOPOJI · 03.08.2015, 15:32

Используйте cURL. Там требуется передать юзерагента

PHP
1
2
3
4
5
6
7
8
9
10
$ch = curl_init();
 
curl_setopt_array($ch, array(
    CURLOPT_URL => 'http://technopoint.ru',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HEADER => false,
    CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.9) Gecko/20061206 Firefox/1.5.0.9',
));
echo curl_exec($ch);
curl_close($ch);

@alexsamos33 · 06.08.2015, 19:06

Сообщение от KOPOJI

Используйте cURL. Там требуется передать юзерагента

Через контекст его тоже можно передавать.

KOPOJI · 07.08.2015, 18:21

alexsamos33, можно и так. Если, конечно, включено allow_url_fopen.

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@Parallelogram 0 / 0 / 2 Регистрация: 17.01.2011 Сообщений: 103

	Парсинг сайта без явного указания города 02.08.2015, 05:42. Показов 2294. Ответов 7 Метки нет (Все метки) Здравствуйте! Я тут решил парсить сайт technopoint.ru, но не пойму как заставить код понять какой город мне нужен. В адресе явно не указан город, как на многих сайтах (или отдельная папка или поддомен), тут город выбирается с помощью ява-скрипта и возможно хранится в куках. Помогите, пожалуйста. 0

@WebProgrammer1 16 / 16 / 10 Регистрация: 24.01.2014 Сообщений: 187
	02.08.2015, 10:56
	Похоже там отправляется запрос на technopoint.ru/setCity при выборе города. Можно попробовать исследовать этот запрос, узнать, какие параметры передаются и выполнять точно такой же, но например через CURL 0

KOPOJI Почетный модератор 16844 / 6724 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	07.08.2015, 18:21
	alexsamos33, можно и так. Если, конечно, включено allow_url_fopen. 0

Парсинг сайта без явного указания города

Решение