парсинг сайта Доступ ограничен: проблема с IP

@Anna_Silchenko · Регистрация: 15.08.2020

Студворк — интернет-сервис помощи студентам

Доброго дня, формучане! Задалась целью спарсить объявление на авито:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import requests
from bs4 import BeautifulSoup
import fake_useragent
 
url='https://www.avito.ru/ekaterinburg/kommercheskaya_nedvizhimost/ofis_32.9_m_2580514860?utm_campaign=native&utm_medium=item_page_android&utm_source=soc_sharing'
ua = fake_useragent.UserAgent().random
 
header = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
    'Connection': 'keep-alive',
    'Cookie': 'u=2tj6380a.1nckzem.1lheqk6rort00; sx=H4sIAAAAAAACA4uOBQApu0wNAgAAAA%3D%3D; luri=ekaterinburg; _gcl_au=1.1.1994611931.1665742404; _ga_M29JC28873=GS1.1.1665764144.3.0.1665764144.60.0.0; _ga=GA1.2.292835287.1665742405; _ga_9E363E7BES=GS1.1.1665764144.3.0.1665764144.60.0.0; _ym_uid=1665742405429382080; _ym_d=1665742405; _ym_isad=2; cto_bundle=qweZXl9Yb282Sk12U0xNMkdQQk1QMUtIJTJCZTRKNkhHUUVwRk01VWNXazI4RXhhNEpHWk1GbjZObVklMkJ1Unczd2pNRnJPZHE4VXkxeTM5em0lMkY2cGt4blA2RldwdmRjcnREc3d4Y0RWNWFjOHM0VDRsNGZMM2U2dUlCcCUyRkRkczh2M2x1T2xK; tmr_reqNum=20; tmr_lvid=2dbbbca2716520ca616bc32f5c723278; tmr_lvidTS=1665742407200; _gid=GA1.2.1042000669.1665742407; adrdel=1; adrcid=ArWdebtYQastRMa29rWPRDw; tmr_detect=0%7C1665764148721; f=5.0c4f4b6d233fb90636b4dd61b04726f102b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c02b7af2c19f2d05c0df103df0c26013a7b0d53c7afc06d0b2ebf3cb6fd35a0ac7b0d53c7afc06d0b8b1472fe2f9ba6b978e38434be2a23fac7b9c4258fe3658d831064c92d93c390fa5be3b03511ce6d04dbcad294c152cb0df103df0c26013a20f3d16ad0b1c546268a7bf63aa148d22da10fb74cac1eab3c02ea8f64acc0bdf0c77052689da50d2da10fb74cac1eab2da10fb74cac1eab2da10fb74cac1eab2da10fb74cac1eab91e52da22a560f5503c77801b122405cb892c6c84ad16848a9b4102d42ade879dcb5a55b9498f64247eddc0ba4bcb9ec7f6d0c638cf3d4ff72d5d938a62138b67ec92593838cd9f565019b20d24bbadb6a656df680207067e40ccae8c592790efb0fb526bb39450a46b8ae4e81acb9fa46b8ae4e81acb9fadc0d86d9e44006d805d28c79bf66d4377ecb0ae95c12544c2da10fb74cac1eab2da10fb74cac1eab6b266ed8fc540d19dc4b17cc97de1e1fe83dcf9ffe804579; ft="Zfx15oT4ZA5a4nCsKJTZDJaWBWnlnvkPDbiZcXduxxZ2p/iNz71GDI+VXAchRx8ZUJ4SbAW77QnmH4MWW8O7sgTTXiX5oqJYa/dkMIT6l4YcCkwScWy+kwQOxMRENKYp4gUmd8vKyXhbQgWYZQklDGZ0KZeAOf6u8drmmvjglSckQ5HlOCQYzvQuZSUvu2DQ"; v=1665757293; abp=0; dfp_group=28',
    'Host': 'www.avito.ru',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-User': '?1',
    'TE': 'trailers',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': ua
}
 
response = requests.get(url, headers = header)
soup = BeautifulSoup(response.text, "html.parser")
 
 
my_file = open("avito.html", "w")
print(soup, file=my_file)
my_file.close()

авито возвращает страницу в ошибкой "Доступ ограничен: проблема с IP".
При том, что в браузере эта страница отображается корректно. Подскажите пожалуйста в чем проблема?

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .