Парсер OLX, идеи реализации

@rastaffari · Регистрация: 18.01.2019

Студворк — интернет-сервис помощи студентам

Народ, подскажите пожалуйста подход к парсингу olx и похожих сайтов.
Сайт все запросы отвергает, может кто-то знает , поделитесь).

@m0nte-cr1st0 · 28.03.2019, 00:13

rastaffari,

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from bs4 import BeautifulSoup
import requests
 
url = "https://www.olx.ua/rabota/roznichnaya-torgovlya-prodazhi-zakupki/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:61.0) Gecko/20100101 Firefox/61.0'}
def request(url):
  return requests.get(url, headers=headers)
 
 
def get_html (request):
  return BeautifulSoup(request.content, 'html.parser')
 
 
 
 
if __name__ == '__main__':
  r = request(url)
  html = get_html(r)
  print(html)

@rastaffari · 28.03.2019, 00:15 **[ТС]**

Та не все так просто . Попробуй номер вытащить)

@m0nte-cr1st0 · 28.03.2019, 00:33

Сообщение от rastaffari

Та не все так просто . Попробуй номер вытащить)

Селениум для этой цели нужен (если номер не указан в описании объявления).

@rastaffari · 28.03.2019, 01:21 **[ТС]**

Через раз блокирует

@m0nte-cr1st0 · 28.03.2019, 02:08

rastaffari, код в студию.

@SergeyDe · 30.03.2019, 13:34

Сообщение от m0nte-cr1st0

Селениум для этой цели нужен

100% Не нужен.

Сообщение от rastaffari

Через раз блокирует

Вы наверное заголовки HTTP не устанавливаете нужные. Частые запросы делаете. Прокси не используете.
Для начала Fiddlerom траффик исследуйте - что браузер передает сайту, что сайт в ответ передает браузеру.

Сообщение от rastaffari

Та не все так просто . Попробуй номер вытащить)

Элементарно. Нужно сделать AJAX запрос с нужными параметрами и номер телефона придет в открытом виде в jSON формате.
Эти параметры можно найти в HTML коде кнопки

@m0nte-cr1st0 · 30.03.2019, 13:47

rastaffari, код в студию.

Сообщение от SergeyDe

Нужно сделать AJAX запрос с нужными параметрами

bs так умеет?

@SergeyDe · 30.03.2019, 15:05

Сообщение от m0nte-cr1st0

bs так умеет?

Если мы имеем ввиду один и тот же BS, то он умеет только извлекать данные с загруженной страницы.

Параметры для AJAX запроса можно получить через XPATH

Code
1
2
3
//div[@data-rel='phone']/@*
 
//script[contains(text(), 'phoneToken')]/text()

остается только правильно сформировать запрос.

А запросы делаются другими средствами. Например requests или еще как-то.

@m0nte-cr1st0 · 30.03.2019, 16:24

SergeyDe, мне просто интересно, как вы получить json с помощью того же requests, например. Я с таким не сталкивался просто ещё..

@Resistanse · 30.03.2019, 17:01

Сообщение от m0nte-cr1st0

мне просто интересно, как вы получить json с помощью того же requests, например. Я с таким не сталкивался просто ещё..

Так можно и без requests, можно стандартной либой для веб запросов. Главное знать куда уходит запрос, а узнать это не так уж и сложно

@SergeyDe · 30.03.2019, 19:28

Сообщение от m0nte-cr1st0

мне просто интересно, как вы получить json с помощью того же requests, например

Например так (конечно же, если полученные данные в правильном JSON формате)

Python
1
2
3
4
import requests
 
response = requests.get(url, headers)
jo = response.json()

Сообщение от Resistanse

Главное знать куда уходит запрос

на самом деле, это не главное.
Главное что бы запрос был правильно сформирован - заголовки, куки....

@m0nte-cr1st0 · 31.03.2019, 03:15

Сообщение от SergeyDe

Главное что бы запрос был правильно сформирован - заголовки, куки....

как раз таки эта часть меня больше всего и интересует, хоть ТС уже и забил на это, наверное.
Всё же мне интересно, как выбудете вытаскивать номер. Если не хотите здесь публиковать код, можете в лс отписать..

@Garry Galler · 01.04.2019, 13:18

Да. Все элементарно.

Сообщение от m0nte-cr1st0

как выбудете вытаскивать номер

А что за номер? В каждой table объявы есть атрибут data-id="587575856". Проблем его взять никаких.

Добавлено через 5 минут
А понял - номер телефона уже на странице объявы.

Request URL: https://www.olx.ua/ajax/misc/contact/phone/DvfLv/?pt=какое_то_длинное_значение
Request Method: GET

В ответ получаем это:

Code
1
{"value":"096 805 7933"}

Требуется только вычислить значение параметра pt.

@SergeyDe · 01.04.2019, 14:32

Сообщение от Garry Galler

Требуется только вычислить значение параметра pt.

оно на странице. Как его получить я написал выше

@Garry Galler · 01.04.2019, 21:16

Сообщение от SergeyDe

оно на странице

Я видел. Но этот токен не совпал с тем что отсылает браузер. Кроме того там есть еще один токен

HTML5
1
<input type="hidden" id="token" name="contact[token]" value="e32e58fal0SbveS/GxErUozoqKyHlu1lfFEfqGI0O9uoFpxGWW8="

который также не совпал. Поэтому, предположил, что его нужно как-то обработать.
Но не проверял.

@SergeyDe · 02.04.2019, 08:44

Сообщение от Garry Galler

Но этот токен не совпал с тем что отсылает браузер. Кроме того там есть еще один токен

странно, у меня совпал. Я смотрел как JS вычисляет ссылку.

Второй токен - для отправки сообщений.
Но помимо всего там нужно засылать куки и запрос должен быть(скорее всего) XHR.

@Tau2019 · 02.11.2019, 22:55

апну тему, ну и как сгенерировать pt?

пробовал var phoneToken, не совпадает, а при повторной отправке правильного запроса без куков в ответ приходят одни нули

@__ALPHA__ · 03.11.2019, 11:05

Все таки pt совпадает с phoneToken, но проблема в другом. Что бы получить номер телефона, в куках должен быть параметр _abck, который устанавливается после успешного POST-запроса по адресу https://www.olx.ua/resources/xxx а там передается параметр sensor_data который не понятно как получить.

@jYAMall · 25.01.2020, 16:02

Так никто и не смог номер вытащить?

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25

	Парсер OLX, идеи реализации 27.03.2019, 23:42. Показов 18141. Ответов 34 Метки нет (Все метки) Народ, подскажите пожалуйста подход к парсингу olx и похожих сайтов. Сайт все запросы отвергает, может кто-то знает , поделитесь). 0

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25
	28.03.2019, 00:15 [ТС]
	Та не все так просто . Попробуй номер вытащить) 0

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25
	28.03.2019, 01:21 [ТС]
	Через раз блокирует 0

@m0nte-cr1st0 1043 / 578 / 242 Регистрация: 15.01.2019 Сообщений: 2,178 Записей в блоге: 1
	28.03.2019, 02:08
	rastaffari, код в студию. 0

@m0nte-cr1st0 1043 / 578 / 242 Регистрация: 15.01.2019 Сообщений: 2,178 Записей в блоге: 1
	30.03.2019, 16:24
	SergeyDe, мне просто интересно, как вы получить json с помощью того же requests, например. Я с таким не сталкивался просто ещё.. 0

@Tau2019 0 / 0 / 0 Регистрация: 02.11.2019 Сообщений: 2
	02.11.2019, 22:55
	апну тему, ну и как сгенерировать pt? пробовал var phoneToken, не совпадает, а при повторной отправке правильного запроса без куков в ответ приходят одни нули 0

@__ALPHA__ 302 / 160 / 87 Регистрация: 16.04.2018 Сообщений: 239
	03.11.2019, 11:05
	Все таки pt совпадает с phoneToken, но проблема в другом. Что бы получить номер телефона, в куках должен быть параметр _abck, который устанавливается после успешного POST-запроса по адресу https://www.olx.ua/resources/xxx а там передается параметр sensor_data который не понятно как получить. 0

@jYAMall 0 / 0 / 0 Регистрация: 25.01.2020 Сообщений: 1
	25.01.2020, 16:02
	Так никто и не смог номер вытащить? 0