Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/8: Рейтинг темы: голосов - 8, средняя оценка - 4.50
0 / 0 / 0
Регистрация: 26.03.2022
Сообщений: 1

Парсинг сайта 'auto.ru'

26.03.2022, 08:38. Показов 1844. Ответов 1

Студворк — интернет-сервис помощи студентам
Всем здорово,я только начинаю свой путь к парсингу сайтов и я бы хотел сделать парсер,который будет отлеживать цены на автомобили на сайте 'auto.ru',делаю я это,основываясь на видеоролик 'https://www.youtube.com/watch?v=rEMNf1wmyJ8&t=420s'.Шло у меня всё идеально,но только до тех пор,пока не пришла пора записать json в json файл,там у меня полезли вот такие ошибки:
Traceback (most recent call last):
File "C:\Users\PC\PycharmProjects\Parsing\ven v\lib\site-packages\requests\models.py", line 910, in json
return complexjson.loads(self.text, **kwargs)
File "C:\Users\PC\AppData\Local\Programs\Pyth on\Python39\lib\json\__init__.py", line 346, in loads
return _default_decoder.decode(s)
File "C:\Users\PC\AppData\Local\Programs\Pyth on\Python39\lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Users\AppData\Local\Programs\Python\ Python39\lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "C:\Users\PC\PycharmProjects\Parsing\mai n.py", line 27, in <module>
main()
File "C:\Users\PC\PycharmProjects\Parsing\mai n.py", line 23, in main
get_json(url='https://auto.ru/-/ajax/desktop/listing/')
File "C:\Users\PC\PycharmProjects\Parsing\mai n.py", line 19, in get_json
json.dump(response.json(),file,indent=4, ensure_ascii=True)
File "C:\Users\PC\PycharmProjects\Parsing\ven v\lib\site-packages\requests\models.py", line 917, in json
raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)
requests.exceptions.JSONDecodeError: [Errno Expecting value] <!doctype html><html prefix="og: http://ogp.me/ns#"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1"><title data-react-helmet="true">Ой!</title><meta data-react-helmet="true" property="og:title" content="Яндекс"><meta data-react-helmet="true" property="og:description" content="Найдётся всё"><meta data-react-helmet="true" property="og:image" content="https://yastatic.net/s3/home/logos/share/share-logo-ru.png"><link rel="stylesheet" href="/captcha_smart.min.css?k=1632998364813">< div id="root"><div class="Theme Theme_color_yandex-default Theme_root_default"><div class="Container"><div class="Spacer" style="padding-bottom:40px"><a href="https://www.yandex.ru" title="Яндекс" class="Link Link_view_default LogoLink"><svg width="86" height="36" viewBox="0 0 86 36"><path d="M45.983 28.888H44.385L44.377 11.578H35.027V13.274C35.027 18.556 34.835 24.67 32.997 28.888H31.758V35.313H34.555V31.41H43.186 V35.313H45.983V28.888ZM58.798 27.758C57.999 28.309 56.601 29.098 54.842 29.098C52.365 29.098 51.086 26.732 51.086 22.238H59.477V20.544C59.477 13.804 57.28 11.32 53.923 11.32C49.648 11.32 47.85 15.971 47.85 22.357C47.85 28.467 50.407 31.739 54.563 31.739C56.561 31.739 58.239 31.108 59.517 30.122L58.798 27.757V27.758ZM26.765 11.572V20.052H22.13V11.572H19.013V31.44H 22.13V22.478H26.765V31.44H29.841V11.573H 26.765V11.572ZM71.123 31.435H74.519L68.805 20.91L73.8 11.568H70.643L65.808 20.752V11.57H62.692V31.437H65.808V21.543 L71.123 31.437V31.435ZM86.02 30.19L85.3 27.904C84.581 28.534 83.423 29.126 81.904 29.126C79.387 29.126 78.188 26.288 78.188 21.321C78.188 16.315 79.786 13.831 82.024 13.831C83.303 13.831 84.501 14.501 85.341 15.211L85.781 12.294C84.901 11.742 83.862 11.269 82.064 11.269C77.349 11.269 74.912 15.251 74.912 21.479C74.912 28.259 77.509 31.689 81.824 31.689C83.662 31.689 84.941 31.097 86.02 30.19ZM41.304 28.991H35.95C37.628 24.773 37.828 18.664 37.828 14.485V14.13H41.304V28.991ZM53.931 13.894C55.729 13.894 56.289 16.377 56.289 19.767H51.134C51.334 16.22 52.014 13.894 53.931 13.894Z" fill="black"></path><path d="M11.892 20.85V31.375H14.969V3.52698H10.374C5.858 02 3.52698 2.06202 6.42198 2.06202 12.335C2.06202 16.553 3.74002 18.839 6.25802 20.1L0.903015 31.375H4.46002L9.33502 20.849H11.892V20.85ZM11.898 18.393H10.26C7.58302 18.393 5.38502 16.935 5.38502 12.402C5.38502 7.71098 7.78302 6.09498 10.26 6.09498H11.898V18.393Z" fill="#FF0000"></path></svg></a></div><div class="Spacer" style="padding-bottom:16px"><span class="Text Text_weight_medium Text_typography_headline-s">Подтвердите, что запросы отправляли вы, а не робот</span></div><span class="Text Text_weight_regular Text_typography_body-long-m">Нам очень жаль, но запросы с вашего устройства похожи на автоматические. <a href="https://yandex.ru/support/smart-captcha" class="Link Link_view_default">Почему это могло произойти?</a></span><div class="Spacer Spacer_auto-gap_bottom" style="padding-top:40px;padding-bottom:40px"><div class="CheckboxCaptcha" data-testid="checkbox-captcha"><form method="POST" action="/checkcaptcha?key=43c1f97-85dac080-131213d8-518ef26a_2%2F1648271853%2Fcdf0aefc54def9 7c91eaf84951326320_42942de8733607f6d7f6d 92ebf117db8&retpath=https%3A%2F%2Fauto.r u%2F-%2Fajax%2Fdesktop%2Flisting%3F_14979d115 1a239a8966c0b500170dbde&u=9251345-36db361-56dfc820-4e3ca40e" class="CheckboxCaptcha-Form"><div class="CheckboxCaptcha-Inner"><div class="CheckboxCaptcha-Anchor"><input type="submit" class="CheckboxCaptcha-Button"><div class="CheckboxCaptcha-Checkbox" aria-checked="false"><svg class="SvgIcon" width="24" height="24" viewBox="0 0 24 25" fill="none"><path d="M4 12.5L9.5 18.5L20 6.5" stroke="#000" stroke-width="3" stroke-linecap="round" stroke-linejoin="round"></path></svg></div></div><div class="CheckboxCaptcha-Label"><span class="Text Text_weight_regular Text_typography_control-xxl CheckboxCaptcha-LabelText">Я не робот</span><span class="Text Text_color_control-secondary Text_weight_regular Text_typography_control-l">Нажмите, чтобы продолжить</span></div></div><input hidden name="key" value="43c1f97-85dac080-131213d8-518ef26a_2/1648271853/cdf0aefc54def97c91eaf84951326320_42942de 8733607f6d7f6d92ebf117db8"><input hidden name="rdata"><input hidden name="d" value="E/pl6loTCieeTMkyb+940L51Ec1c2sifmjcCCqBaUZ I="><input hidden name="k" value="1_1648271853_928892703470001060_1 ab802c2e39b5cda46dc362a2ee00ba3"></form></div></div><span class="Text Text_color_ghost Text_weight_regular Text_typography_control-xs">Если у вас возникли проблемы, пожалуйста, воспользуйтесь <a href="https://yandex.ru/support/smart-captcha/#help" class="Link Link_view_default">формой обратной связи</a></span></div></div></div><script>window.__SSR_DATA__={url:"/ru/checkbox",reqId:"1648271853944783-4696084174777008121",invalid:"no",formAc tion:"/checkcaptcha?key=43c1f97-85dac080-131213d8-518ef26a_2%2F1648271853%2Fcdf0aefc54def9 7c91eaf84951326320_42942de8733607f6d7f6d 92ebf117db8&retpath=https%3A%2F%2Fauto.r u%2F-%2Fajax%2Fdesktop%2Flisting%3F_14979d115 1a239a8966c0b500170dbde&u=9251345-36db361-56dfc820-4e3ca40e",captchaKey:"43c1f97-85dac080-131213d8-518ef26a_2/1648271853/cdf0aefc54def97c91eaf84951326320_42942de 8733607f6d7f6d92ebf117db8",imageSrc:"",v oiceSrc:"",introSrc:"",aesKey:"E/pl6loTCieeTMkyb+940L51Ec1c2sifmjcCCqBaUZ I=",aesSign:"1_1648271853_92889270347000 1060_1ab802c2e39b5cda46dc362a2ee00ba3"}</script><script src="/captcha_smart_error.min.js?k=16329983648 13" crossorigin=""></script><script src="https://yastatic.net/react/16.8.4/react-with-dom-and-polyfills.min.js" crossorigin=""></script><script src="/captcha_smart.min.js?k=1632998364813" crossorigin=""></script><script>!function(e,t,n,a,c){e.ym =e.ym||function(){(e.ym.a=e.ym.a||[]).push(arguments)},e.ym.l=+new Date,a=t.createElement(n),c=t.getElement sByTagName(n)[0],a.async=1,a.src="https://mc.yandex.ru/metrika/tag.js",c.parentNode.insertBefore(a,c)}( window,document,"script"),ym(10630330,"i nit",{clickmap:!0,trackLinks:!0,accurate TrackBounce:!0,webvisor:!0,ut:"noindex", params:{req_id:"1648271853944783-4696084174777008121"}})</script><noscript><div><img src="https://mc.yandex.ru/watch/10630330?ut=noindex" style="position:absolute;left:-9999px" alt=""></div></noscript><div><img src="https://adfstat.yandex.ru/captcha?req_id=1648271853944783-4696084174777008121" style="position:absolute;left:-9999px" alt=""></div>: 0
Сам код на фото.
Заранее благодарю за любую помощь.
Миниатюры
Парсинг сайта 'auto.ru'  
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
26.03.2022, 08:38
Ответы с готовыми решениями:

Некорректно работают функции Auto-Tone, Auto contrast, Auto color
Не корректно работают функции Auto-Tone, Auto contrast, Auto color. Вот пример (как на картинке). То есть оно какбы что-то делает и,...

Парсинг Auto.ru (Блокирует буквально со второго запроса)
Пытаюсь с кукиз поработать, но если честно, это в первый раз, поэтому возможно туплю Собственно пример вызова авито, при втором...

Создание карты сайта и парсинг определенного раздела сайта
Здравствуйте! Мне необходимо пропарсить раздел сайта, предварительно создав карту сайта и извлечь некоторую информацию. Т.е. мне надо...

1
243 / 178 / 73
Регистрация: 17.10.2018
Сообщений: 749
26.03.2022, 11:37
Вот слов уже нету. Вы блин прежде чем браться за парсинги, боты и прочее, изучите сначала основы программирования и фундамент используемого языка, а потом пишите свои суперсервисы. Аж бесит реально.

Смотри что у тебя в requests.get() приходит, что получится в результат response.json() и что dump скушает.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
26.03.2022, 11:37
Помогаю со студенческими работами здесь

Парсинг данных с сайта или страницы сайта
Здравствуйте, добрые люди! Есть задача спарсить данные с страницы соц сети. Или просто со страницы с помощью js. На пхп не предлагать....

CSS-grid критерии выбора auto-fill и auto-fit
Здравствуйте. Изучаю CSS-grid. В каких случаях для построения сетки используется auto-fill, а в каких auto-fit?

Парсинг сайта
Есть один сайт, из которого мне нужно выгрузить таблицу в csv или json объект. Как это делается?

Парсинг сайта
Доброго времени суток. Простите если не в тот топик, запутался. Вобщем-то так... Я не спец в программировании. Есть сайт, на нем список...

Парсинг с сайта
Пишу программу которая будет загружатьhtml код страницы 10-ти минутной почты, но на мой запрос он выдает ошибку. Сам код: procedure...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
Уведомление о неверно выбранном значении справочника
Maks 06.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt
8Observer8 05.04.2026
Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
Отображение реквизитов в документе по условию и контроль их заполнения
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II
kumehtar 04.04.2026
Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .
Программный контроль заполнения реквизитов табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru