Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 22.05.2020
Сообщений: 11

Парсинг сайта python playwright

06.02.2026, 15:39. Показов 596. Ответов 0

Студворк — интернет-сервис помощи студентам
Использую python и библиотеку playwright, стоит задача парсить Авито, но там часто вылезает капча, захожу по ссылке: https://m.avito.ru/api/3/items... infgjgfjir (пример страницы) меняется только ID (эти цифры 7391741805). При достижении лимита вылезает капча.

по нажатию на кнопку срабатывает скрипт и делает запрос на https://gcaptcha4.geetest.com/... b&lang=rus и вылезает капча geetest v4 с этим запросом отправляются на сервер следующие данные: скиншот №4, это параметры, которые отправляются для запроса капчи, их я вытаскиваю для сервиса CapMonster Cloud, который эти капчи решает, также на скине 3 есть данные ответа от сервера, которые приходят

запрос на сервис решения капч такой: "task":{ "websiteURL": page_url, # "gt": data["captchaId"], 'gt': '2d9c743cf7d63dbc9db578a608196bcd', "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36", "version": "4", "type": "GeeTestTask" } сервис все решает и отправляет ответ с такими параметрами:
{'captcha': '', 'captcha_id': '2d9c743cf7d63dbc9db578a608196bcd', 'captcha_output': 'ZncHcXk1NHXuN8T7kiuhl2quiEWTxXLOO6GLQX0 z-u6pzMKVKi6rnewvM0xTQX9VuZ0B4NZvS5Okn0HES mjxxq1a1akK8kY61liq67l8QdQwMTQ0W4C-LFRpkfjVR..._305DctsqfwZRleotPLyP04AdJZT QduT231yc8-TqZlTajXHEaIwesI9EtLYkpm1Gakg7qDwKH_D2C2 wKL6KNK5HexbRsCqBAjFxWExX1AI9SrcsjA9UfbY t7uUh5v', 'gen_time': '1770372600', 'hCaptchaResponse': '', 'lot_number': '1fb29eebfe4d46b28d7d0fe06d2207e1', 'pass_token': '2a476590dfaf83bfb22a47685c7bbb3f27642e0 165f04def3ba629b9f0d99d77'}

по сути эти параметры можно было бы отправить сайту, но если посмотреть какой ответ отправляется если решить капчу, то это выгляди вот так: https://gcaptcha4.geetest.com/verify?....дальше в адресной строке идут параметры на пятом скриншоте ниже

части параметров нет, да и не понятно мне что делать с callback и другими отсутствующими, где его брать, пробовал запросом делать с моими параметрами, но выдает ошибку: b'geetest_1770371912604({"status":"error ","code":"-50301","msg":"not proof","desc":{"type":"defined error"}})' Я знаю что у меня где то ошибка, но я до конца не понимаю как это реализовать, основной вопрос как и что передавать чтобы капча срабатывала, заранее спасибо за помощь.
Миниатюры
Парсинг сайта python playwright   Парсинг сайта python playwright   Парсинг сайта python playwright  

Парсинг сайта python playwright   Парсинг сайта python playwright  
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
06.02.2026, 15:39
Ответы с готовыми решениями:

Python и Playwright
Добрый день, столкнулся с проблемой, вроде всё максимально просто, но вроде и не совсем. Много...

Автоматизация действий Python + Playwright, ошибка Search error: 'NoneType' object is not subscriptable
Эта часть кода, отвечающая за поведение, запускает профиль, печатает запрос в поисковой системе,...

Python 3,парсинг сайта
Вот получил данные,но не знаю как склеить в 1 строку.Само число не могу вытащить

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
06.02.2026, 15:39
Помогаю со студенческими работами здесь

Парсинг генерируемого массива данных с сайта в Excel на Python
Не могу сообразить как сделать, чтобы запись переменных с каждой итерацией переносилась на новую...

Парсинг сайта на Python
1. Python 3.9 2. ОС Windows 10 x64 3. Версии используемых библиотек C:\Users\Artur>pip list...

Парсинг на Python динамического элемента из POST запроса сайта
import requests from bs4 import BeautifulSoup songsNameList = url =...

Парсинг данных с сайта с авторизацией на Python
Здравствуйте! Я новичок, пишу курсовую и пытаюсь сделать парсер на Python для сайта на котором...

Парсинг сайта по вакансиям на python
Всем привет, пробую себя в парсинге впервые, до определенного момента все шло хорошо, но когда...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
Уведомление о неверно выбранном значении справочника
Maks 06.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt
8Observer8 05.04.2026
Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru