Как обойти защиту сайта OLX?

@DxWork · Регистрация: 21.07.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте учусь парсить сайты с помощью HtmlAgilityPack, но вот проблема при попытке загрузить сайт выдает вот такое:

" Что-то пошло не так

Была зафиксирована подозрительная активность с вашего IP-адреса.

Возможно, произошла ошибка, поэтому рекомендуем вам попроовать войти на сервис через 10 минут.
Если это всё ещё будет невозможно, пожалуйста, свяжитесь с нами, заполнив форму:"

Код:

C#
1
2
3
4
5
6
   string str = web.DownloadString("https://www.olx.ua/nedvizhimost/");
            HtmlAgilityPack.HtmlDocument doc = new HtmlDocument();                                              
            doc.LoadHtml(str);                                                                      
            HtmlAgilityPack.HtmlNode node = doc.DocumentNode.SelectSingleNode("//*[@id='body - container']/div[3]/div/div[1]/table[1]/tbody/tr[1]/td/div/h2");
            if(node != null)Console.WriteLine(node.InnerText);
            else Console.WriteLine("Null");

Как обойти ?

@insite2012 · 21.07.2018, 18:21

Сообщение от DxWork

Как обойти ?

Загрузить страницу через Selenium, а потом парсить. Я так работал с поисковиками Yandex/Google.

@DxWork · 21.07.2018, 18:39 **[ТС]**

insite2012, как можно подключиться уже к открытому браузеру через HtmlAgilityPack ?

@insite2012 · 21.07.2018, 18:43

Сообщение от DxWork

как можно подключиться уже к открытому браузеру через HtmlAgilityPack ?

Зачем???

Сообщение от insite2012

Загрузить страницу через Selenium

Он сам все откроет и получит страницу, вам потом только взять ее и парсить.

@DxWork · 21.07.2018, 19:00 **[ТС]**

insite2012, Спасибо работает !

Может кому то понадобится, вот код:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 var driver = new ChromeDriver();
            driver.Navigate().GoToUrl("https://www.olx.ua/nedvizhimost/");
            var pageSource = driver.PageSource;
 
 
 
            var htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(pageSource);
 
 
 
            HtmlAgilityPack.HtmlNode node = htmlDoc.DocumentNode.SelectSingleNode("//*[@id='body-container']/div[3]/div/div[1]/table[1]/tbody/tr[1]/td/div/h2");
          
 
            if (node != null)Console.WriteLine(node.InnerText);
            else Console.WriteLine("Null");

@Mr_Asdshka · 18.08.2020, 07:55

Извините, а не подскажете, как парсить номера с этого же сайта? Там для получения номера нужно нажать на кнопку. Плюс мне кажется нужно юзать прокси, иногда не открывается номер

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .

@DxWork 0 / 0 / 0 Регистрация: 21.07.2018 Сообщений: 3
	21.07.2018, 18:39 [ТС]
	insite2012, как можно подключиться уже к открытому браузеру через HtmlAgilityPack ? 0

@Mr_Asdshka 9 / 8 / 5 Регистрация: 13.05.2015 Сообщений: 253
	18.08.2020, 07:55
	Извините, а не подскажете, как парсить номера с этого же сайта? Там для получения номера нужно нажать на кнопку. Плюс мне кажется нужно юзать прокси, иногда не открывается номер 0

Как обойти защиту сайта OLX?

Решение