Парсер OLX, идеи реализации

@rastaffari · Регистрация: 18.01.2019

Студворк — интернет-сервис помощи студентам

Народ, подскажите пожалуйста подход к парсингу olx и похожих сайтов.
Сайт все запросы отвергает, может кто-то знает , поделитесь).

@m0nte-cr1st0 · 28.03.2019, 00:13

rastaffari,

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from bs4 import BeautifulSoup
import requests
 
url = "https://www.olx.ua/rabota/roznichnaya-torgovlya-prodazhi-zakupki/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:61.0) Gecko/20100101 Firefox/61.0'}
def request(url):
  return requests.get(url, headers=headers)
 
 
def get_html (request):
  return BeautifulSoup(request.content, 'html.parser')
 
 
 
 
if __name__ == '__main__':
  r = request(url)
  html = get_html(r)
  print(html)

@rastaffari · 28.03.2019, 00:15 **[ТС]**

Та не все так просто . Попробуй номер вытащить)

@m0nte-cr1st0 · 28.03.2019, 00:33

Сообщение от rastaffari

Та не все так просто . Попробуй номер вытащить)

Селениум для этой цели нужен (если номер не указан в описании объявления).

@rastaffari · 28.03.2019, 01:21 **[ТС]**

Через раз блокирует

@m0nte-cr1st0 · 28.03.2019, 02:08

rastaffari, код в студию.

@SergeyDe · 30.03.2019, 13:34

Сообщение от m0nte-cr1st0

Селениум для этой цели нужен

100% Не нужен.

Сообщение от rastaffari

Через раз блокирует

Вы наверное заголовки HTTP не устанавливаете нужные. Частые запросы делаете. Прокси не используете.
Для начала Fiddlerom траффик исследуйте - что браузер передает сайту, что сайт в ответ передает браузеру.

Сообщение от rastaffari

Та не все так просто . Попробуй номер вытащить)

Элементарно. Нужно сделать AJAX запрос с нужными параметрами и номер телефона придет в открытом виде в jSON формате.
Эти параметры можно найти в HTML коде кнопки

@m0nte-cr1st0 · 30.03.2019, 13:47

rastaffari, код в студию.

Сообщение от SergeyDe

Нужно сделать AJAX запрос с нужными параметрами

bs так умеет?

@SergeyDe · 30.03.2019, 15:05

Сообщение от m0nte-cr1st0

bs так умеет?

Если мы имеем ввиду один и тот же BS, то он умеет только извлекать данные с загруженной страницы.

Параметры для AJAX запроса можно получить через XPATH

Code
1
2
3
//div[@data-rel='phone']/@*
 
//script[contains(text(), 'phoneToken')]/text()

остается только правильно сформировать запрос.

А запросы делаются другими средствами. Например requests или еще как-то.

@m0nte-cr1st0 · 30.03.2019, 16:24

SergeyDe, мне просто интересно, как вы получить json с помощью того же requests, например. Я с таким не сталкивался просто ещё..

@Resistanse · 30.03.2019, 17:01

Сообщение от m0nte-cr1st0

мне просто интересно, как вы получить json с помощью того же requests, например. Я с таким не сталкивался просто ещё..

Так можно и без requests, можно стандартной либой для веб запросов. Главное знать куда уходит запрос, а узнать это не так уж и сложно

@SergeyDe · 30.03.2019, 19:28

Сообщение от m0nte-cr1st0

мне просто интересно, как вы получить json с помощью того же requests, например

Например так (конечно же, если полученные данные в правильном JSON формате)

Python
1
2
3
4
import requests
 
response = requests.get(url, headers)
jo = response.json()

Сообщение от Resistanse

Главное знать куда уходит запрос

на самом деле, это не главное.
Главное что бы запрос был правильно сформирован - заголовки, куки....

@m0nte-cr1st0 · 31.03.2019, 03:15

Сообщение от SergeyDe

Главное что бы запрос был правильно сформирован - заголовки, куки....

как раз таки эта часть меня больше всего и интересует, хоть ТС уже и забил на это, наверное.
Всё же мне интересно, как выбудете вытаскивать номер. Если не хотите здесь публиковать код, можете в лс отписать..

@Garry Galler · 01.04.2019, 13:18

Да. Все элементарно.

Сообщение от m0nte-cr1st0

как выбудете вытаскивать номер

А что за номер? В каждой table объявы есть атрибут data-id="587575856". Проблем его взять никаких.

Добавлено через 5 минут
А понял - номер телефона уже на странице объявы.

Request URL: https://www.olx.ua/ajax/misc/contact/phone/DvfLv/?pt=какое_то_длинное_значение
Request Method: GET

В ответ получаем это:

Code
1
{"value":"096 805 7933"}

Требуется только вычислить значение параметра pt.

@SergeyDe · 01.04.2019, 14:32

Сообщение от Garry Galler

Требуется только вычислить значение параметра pt.

оно на странице. Как его получить я написал выше

@Garry Galler · 01.04.2019, 21:16

Сообщение от SergeyDe

оно на странице

Я видел. Но этот токен не совпал с тем что отсылает браузер. Кроме того там есть еще один токен

HTML5
1
<input type="hidden" id="token" name="contact[token]" value="e32e58fal0SbveS/GxErUozoqKyHlu1lfFEfqGI0O9uoFpxGWW8="

который также не совпал. Поэтому, предположил, что его нужно как-то обработать.
Но не проверял.

@SergeyDe · 02.04.2019, 08:44

Сообщение от Garry Galler

Но этот токен не совпал с тем что отсылает браузер. Кроме того там есть еще один токен

странно, у меня совпал. Я смотрел как JS вычисляет ссылку.

Второй токен - для отправки сообщений.
Но помимо всего там нужно засылать куки и запрос должен быть(скорее всего) XHR.

@Tau2019 · 02.11.2019, 22:55

апну тему, ну и как сгенерировать pt?

пробовал var phoneToken, не совпадает, а при повторной отправке правильного запроса без куков в ответ приходят одни нули

@__ALPHA__ · 03.11.2019, 11:05

Все таки pt совпадает с phoneToken, но проблема в другом. Что бы получить номер телефона, в куках должен быть параметр _abck, который устанавливается после успешного POST-запроса по адресу https://www.olx.ua/resources/xxx а там передается параметр sensor_data который не понятно как получить.

@jYAMall · 25.01.2020, 16:02

Так никто и не смог номер вытащить?

Новые блоги и статьи Все статьи Все блоги /
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25

	Парсер OLX, идеи реализации 27.03.2019, 23:42. Показов 18081. Ответов 34 Метки нет (Все метки) Народ, подскажите пожалуйста подход к парсингу olx и похожих сайтов. Сайт все запросы отвергает, может кто-то знает , поделитесь). 0

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25
	28.03.2019, 00:15 [ТС]
	Та не все так просто . Попробуй номер вытащить) 0

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25
	28.03.2019, 01:21 [ТС]
	Через раз блокирует 0

@m0nte-cr1st0 1043 / 578 / 242 Регистрация: 15.01.2019 Сообщений: 2,178 Записей в блоге: 1
	28.03.2019, 02:08
	rastaffari, код в студию. 0

@m0nte-cr1st0 1043 / 578 / 242 Регистрация: 15.01.2019 Сообщений: 2,178 Записей в блоге: 1
	30.03.2019, 16:24
	SergeyDe, мне просто интересно, как вы получить json с помощью того же requests, например. Я с таким не сталкивался просто ещё.. 0

@Tau2019 0 / 0 / 0 Регистрация: 02.11.2019 Сообщений: 2
	02.11.2019, 22:55
	апну тему, ну и как сгенерировать pt? пробовал var phoneToken, не совпадает, а при повторной отправке правильного запроса без куков в ответ приходят одни нули 0

@__ALPHA__ 302 / 160 / 87 Регистрация: 16.04.2018 Сообщений: 239
	03.11.2019, 11:05
	Все таки pt совпадает с phoneToken, но проблема в другом. Что бы получить номер телефона, в куках должен быть параметр _abck, который устанавливается после успешного POST-запроса по адресу https://www.olx.ua/resources/xxx а там передается параметр sensor_data который не понятно как получить. 0

@jYAMall 0 / 0 / 0 Регистрация: 25.01.2020 Сообщений: 1
	25.01.2020, 16:02
	Так никто и не смог номер вытащить? 0