Парсинг olx.ua Python+requests+bs4

@Nikita_SL · Регистрация: 10.06.2019

Студворк — интернет-сервис помощи студентам

Пытаясь сделать парсер мобильных телефонов на сайте olx.ua столкнулся с проблемой:при отправке ajax запроса мне выдает вместо корректного номера телефона "000 000 000",хотелось бы узнать у знающих людей в чем собственно говоря проблема и как её пофиксить.Желательно в рамках языка программирования Python(без JS и PHP)
Вот код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import requests
from bs4 import BeautifulSoup
url = "https://www.olx.ua/obyavlenie/vaz-2109-IDEcaGq.html"
ajaxUrl = "https://www.olx.ua/ajax/misc/contact/phone/"+ "EcaGq/"
r = requests.get(url)
c = str(r.content)
soup = BeautifulSoup(c,features="lxml")
a = 1
for i in soup.findAll("script"):
    a+=1
    if a == 24:
        token = i.text[36:164]
        break  
r2 = requests.get(ajaxUrl + token)    
print(r2.content)

@m0nte-cr1st0 · 11.06.2019, 14:07

Nikita_SL, была такая тема, ищите

@Nikita_SL · 12.06.2019, 00:58 **[ТС]**

Нашёл и даже читал,именно из-за этого и создал эту тему,потому что прошлые на данный момент уже актуальны

Добавлено через 7 минут
уже не актуальны*

Рыжий Лис · 12.06.2019, 12:44

http-заголовки, куки…

@gresaggr · 19.06.2019, 12:53

Можно добавить заголовки

Python
1
2
3
4
5
6
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    'Referer': 'https://www.olx.ua'
}
 
r = requests.get(url, headers=headers)

и тогда можно получить верный phoneToken, но все равно это не даст верный результат:
там pt считается по какой-то хитрой формуле в зависимости от токена.

@SergeyDe · 30.06.2019, 00:18

Сообщение от Nikita_SL

Нашёл и даже читал,именно из-за этого и создал эту тему,потому что прошлые на данный момент уже актуальны

Эту тему смотрели?

Там в общем то рассказано как получить номер телефона.

@Nikita_SL · 01.07.2019, 14:41 **[ТС]**

Смотрел,тема неактуальна

@SergeyDe · 01.07.2019, 17:31

Сообщение от Nikita_SL

Смотрел,тема неактуальна

Все актуально. Все работает ка было описано в той теме.

@Nikita_SL · 03.07.2019, 02:24 **[ТС]**

Хорошо,тогда подскажите ,пожалуйста, почему при использовании моего кода это не работает

Новые блоги и статьи Все статьи Все блоги /
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .	Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .

@m0nte-cr1st0 1043 / 578 / 242 Регистрация: 15.01.2019 Сообщений: 2,178 Записей в блоге: 1
	11.06.2019, 14:07
	Nikita_SL, была такая тема, ищите 0

@Nikita_SL 0 / 0 / 0 Регистрация: 10.06.2019 Сообщений: 4
	12.06.2019, 00:58 [ТС]
	Нашёл и даже читал,именно из-за этого и создал эту тему,потому что прошлые на данный момент уже актуальны Добавлено через 7 минут уже не актуальны* 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	12.06.2019, 12:44
	http-заголовки, куки… 0

@Nikita_SL 0 / 0 / 0 Регистрация: 10.06.2019 Сообщений: 4
	01.07.2019, 14:41 [ТС]
	Смотрел,тема неактуальна 0

@Nikita_SL 0 / 0 / 0 Регистрация: 10.06.2019 Сообщений: 4
	03.07.2019, 02:24 [ТС]
	Хорошо,тогда подскажите ,пожалуйста, почему при использовании моего кода это не работает 0