парсинг сайта Доступ ограничен: проблема с IP

@Anna_Silchenko · Регистрация: 15.08.2020

Студворк — интернет-сервис помощи студентам

Доброго дня, формучане! Задалась целью спарсить объявление на авито:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import requests
from bs4 import BeautifulSoup
import fake_useragent
 
url='https://www.avito.ru/ekaterinburg/kommercheskaya_nedvizhimost/ofis_32.9_m_2580514860?utm_campaign=native&utm_medium=item_page_android&utm_source=soc_sharing'
ua = fake_useragent.UserAgent().random
 
header = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
    'Connection': 'keep-alive',
    'Cookie': 'u=2tj6380a.1nckzem.1lheqk6rort00; sx=H4sIAAAAAAACA4uOBQApu0wNAgAAAA%3D%3D; luri=ekaterinburg; _gcl_au=1.1.1994611931.1665742404; _ga_M29JC28873=GS1.1.1665764144.3.0.1665764144.60.0.0; _ga=GA1.2.292835287.1665742405; _ga_9E363E7BES=GS1.1.1665764144.3.0.1665764144.60.0.0; _ym_uid=1665742405429382080; _ym_d=1665742405; _ym_isad=2; cto_bundle=qweZXl9Yb282Sk12U0xNMkdQQk1QMUtIJTJCZTRKNkhHUUVwRk01VWNXazI4RXhhNEpHWk1GbjZObVklMkJ1Unczd2pNRnJPZHE4VXkxeTM5em0lMkY2cGt4blA2RldwdmRjcnREc3d4Y0RWNWFjOHM0VDRsNGZMM2U2dUlCcCUyRkRkczh2M2x1T2xK; tmr_reqNum=20; tmr_lvid=2dbbbca2716520ca616bc32f5c723278; tmr_lvidTS=1665742407200; _gid=GA1.2.1042000669.1665742407; adrdel=1; adrcid=ArWdebtYQastRMa29rWPRDw; tmr_detect=0%7C1665764148721; f=5.0c4f4b6d233fb90636b4dd61b04726f102b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c0df103df0c26013a7b0d53c7afc06d0b2ebf3cb6fd35a0ac7b0d53c7afc06d0b8b1472fe2f9ba6b978e38434be2a23fac7b9c4258fe3658d831064c92d93c390fa5be3b03511ce6d04dbcad294c152cb0df103df0c26013a20f3d16ad0b1c546268a7bf63aa148d22da10fb74cac1eab3c02ea8f64acc0bdf0c77052689da50d2da10fb74cac1eab2da10fb74cac1eab2da10fb74cac1eab2da10fb74cac1eab91e52da22a560f5503c77801b122405cb892c6c84ad16848a9b4102d42ade879dcb5a55b9498f64247eddc0ba4bcb9ec7f6d0c638cf3d4ff72d5d938a62138b67ec92593838cd9f565019b20d24bbadb6a656df680207067e40ccae8c592790efb0fb526bb39450a46b8ae4e81acb9fa46b8ae4e81acb9fadc0d86d9e44006d805d28c79bf66d4377ecb0ae95c12544c2da10fb74cac1eab2da10fb74cac1eab6b266ed8fc540d19dc4b17cc97de1e1fe83dcf9ffe804579; ft="Zfx15oT4ZA5a4nCsKJTZDJaWBWnlnvkPDbiZcXduxxZ2p/iNz71GDI+VXAchRx8ZUJ4SbAW77QnmH4MWW8O7sgTTXiX5oqJYa/dkMIT6l4YcCkwScWy+kwQOxMRENKYp4gUmd8vKyXhbQgWYZQklDGZ0KZeAOf6u8drmmvjglSckQ5HlOCQYzvQuZSUvu2DQ"; v=1665757293; abp=0; dfp_group=28',
    'Host': 'www.avito.ru',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-User': '?1',
    'TE': 'trailers',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': ua
}
 
response = requests.get(url, headers = header)
soup = BeautifulSoup(response.text, "html.parser")
 
 
my_file = open("avito.html", "w")
print(soup, file=my_file)
my_file.close()

авито возвращает страницу в ошибкой "Доступ ограничен: проблема с IP".
При том, что в браузере эта страница отображается корректно. Подскажите пожалуйста в чем проблема?

Новые блоги и статьи Все статьи Все блоги /
Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере нетипового документа выдачи шин для спецтехники с табличной частью, разработанного в конфигурации КА2. Данные берутся из. . .