Как обойти защиту OLX?

@Vanconts · Регистрация: 08.08.2019

Студворк — интернет-сервис помощи студентам

Делаю get запрос на olx и получаю ошибку что с моего IP была зафиксирована подозрительная активность и тд хотя если открыть страницу через браузер то все работает,я так понимаю у ОLX стоит защита,как ее обойти?

Добавлено через 41 минуту
Вот была похожая проблема - Как обойти защиту сайта OLX? только меня интересует можно ли как-то это сделать без использования различных программ?

@obivan · 11.09.2019, 14:59

Vanconts, вам просто так скорее не дадут пользоватmся их api нужен токен или что то подобное обычно, а за это просят денежку, когда у меня была похожая задача делал через qt, по сути загружал страницу и весь js, выполнял страницу и потом парсил это по сути то что вам и предлагают.В qt для этого можно использовать qwebengine или qwebkit,но немного не понятно ваше без использования различных программ, если заинтересованы свяжитесь с создателями сайта и возможно за какую то плату они дадут вам доступ к api это самый легкий способ

@Vanconts · 11.09.2019, 15:20 **[ТС]**

obivan, каким образом тогда работает wget?

@Renji · 11.09.2019, 16:20

Сообщение от Vanconts

Делаю get запрос на olx и получаю ошибку что с моего IP была зафиксирована подозрительная активность и тд хотя если открыть страницу через браузер то все работает,я так понимаю у ОLX стоит защита,как ее обойти?

Вероятно, плохо get делаете. Идите куда ни будь на whatismybrowser.com и выписывайте какие HTTP заголовки он у вас показывает. Допиливайте ваш get чтобы он отправлял точно такие же (в зависимости от реализации, он вообще может по умолчанию честно отсылать строчку "это бот"). Ну и поддержку куков включайте. Без понятия как это делается в вашем фреймворке, тут уж сами разбирайтесь.

@Vanconts · 11.09.2019, 17:36 **[ТС]**

Renji, спасибо большое)

Добавлено через 35 минут
Renji, окей,сдвиг есть,теперь выбивает что страница moved permanently 301

Добавлено через 4 минуты
Renji,

C++
1
2
3
4
5
6
7
8
9
10
ss << "GET /nieruchomosci.html" 
       << " HTTP/1.0\r\n"
       << "ACCEPT: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n" 
       << "ACCEPT_ENCODING: gzip, deflate, br\r\n"
       << "ACCEPT_LANGUAGE: en-US,en;q=0.5\r\n"
       << "Host: www.olx.pl\r\n"
       << "TE: trailers\r\n"
       << "UPGRADE_INSECURE_REQUESTS: 1\r\n"
       << "USER_AGENT: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:69.0) Gecko/20100101 Firefox/69.0"
       << "\r\n\r\n";

вот такой запрос

@Renji · 11.09.2019, 17:43

Сообщение от Vanconts

Renji, окей,сдвиг есть,теперь выбивает что страница moved permanently 301

301 - редирект. В ответе сервера должен быть Location заголовок показывающий куда вас перенаправляют. По "HTTP/1.0" могу предположить что вас принудительно перекидывают на HTTPS-версию сайта.

@Vanconts · 11.09.2019, 17:47 **[ТС]**

Renji, ну да ,ссылка https

Location: [url]https://www.olx.pl/nieruchomosci.html

как сделать так чтобы либо не перекидывало либо скачать страницу с https версии сайта?

@Renji · 11.09.2019, 17:53

Сообщение от Vanconts

как сделать так чтобы либо не перекидывало либо скачать страницу с https версии сайта?

Искать фреймворк умеющий HTTPS. Какой - хз. Я для целей парсинга страниц просто делаю скрипт на Перле, там все из коробки работает (модуль LWP если что).

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@Vanconts 4 / 3 / 1 Регистрация: 08.08.2019 Сообщений: 238

	Как обойти защиту OLX? 11.09.2019, 14:37. Показов 3607. Ответов 7 Метки нет (Все метки) Делаю get запрос на olx и получаю ошибку что с моего IP была зафиксирована подозрительная активность и тд хотя если открыть страницу через браузер то все работает,я так понимаю у ОLX стоит защита,как ее обойти? Добавлено через 41 минуту Вот была похожая проблема - Как обойти защиту сайта OLX? только меня интересует можно ли как-то это сделать без использования различных программ? 0

@obivan Падаван С++ 447 / 261 / 89 Регистрация: 11.11.2014 Сообщений: 916
	11.09.2019, 14:59
	Vanconts, вам просто так скорее не дадут пользоватmся их api нужен токен или что то подобное обычно, а за это просят денежку, когда у меня была похожая задача делал через qt, по сути загружал страницу и весь js, выполнял страницу и потом парсил это по сути то что вам и предлагают.В qt для этого можно использовать qwebengine или qwebkit,но немного не понятно ваше без использования различных программ, если заинтересованы свяжитесь с создателями сайта и возможно за какую то плату они дадут вам доступ к api это самый легкий способ 0

@Vanconts 4 / 3 / 1 Регистрация: 08.08.2019 Сообщений: 238
	11.09.2019, 15:20 [ТС]
	obivan, каким образом тогда работает wget? 0

Как обойти защиту OLX?

Решение