Как обойти 403 ошибку в urllib?

@nikki4 · Регистрация: 20.07.2010

Студворк — интернет-сервис помощи студентам

Перестал работать парсинг xml странички экспорта товаров.

С компа работает, а с хостинга нет.
Спросил поставщика, может меня забанила автоматом система битрикса? но в ответ, что никакого бана по айпи или по хосту.

Погуглил, может битрикс выявил бота urllib?
Переписал код, добавив юзерагента, но ошибка запуска скрипта с сервера осталась.

Python
1
2
3
4
5
6
url="http://google.com/"
headers={'User-Agent': 'Mozilla/5.0'}
 
import urllib.request
req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
html = urllib.request.urlopen(req).read()

urllib.error.HTTPError: HTTP Error 403: Forbidden

Может нужно еще что-то поменять?

Или использовать другой способ парсинга?
но там надо обработать xml страничку, потому urllib использую

Python
1
2
3
4
with urlopen(req) as f:
#     f = f.read()
#     tree = ET.parse(io.BytesIO(f))
#     root = tree.getroot()

@Welemir1 · 11.06.2021, 17:56

nikki4, можно и requests, просто байты получишь и обработаешь

а вот юзер агента нормально пропиши, возьми из настоящего браузера

@nikki4 · 11.06.2021, 18:13 **[ТС]**

Дополнил юзерагента, таже ошибка. Почему-то сервер блокирует 403 - доступ запрещен.
Ошибка только для конкретного сайта и только при запросе с хостинга.
Локально с компа все работает
А можно ли как-то свой айпи передать? Как еще обойти блокировку?

Python
1
2
3
4
5
6
url="https://google.com/"
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'}
 
import urllib.request
req = urllib.request.Request(url, headers=headers)
html = urllib.request.urlopen(req).read()

Добавлено через 9 минут
пробовал еще так:

Python
1
2
3
4
5
6
import requests
 
url="http://google.com/"
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'}
response = requests.get(url, headers=headers)
print(response)

с компа работает ,с сервера 403

@Welemir1 · 11.06.2021, 21:42

nikki4, ну может сетевые какие то настройки, подключись к серваку и с него пробуй сам кинуть запрос курлом или в браузере.

@Garry Galler · 11.06.2021, 22:19

Сообщение от nikki4

с сервера 403

Потому что на сервере есть.... сервер (Апач или nginx):
1) Может добавлять свои заголовки в запрос (host, server и т.д.), по которым бота вычисляют.
2) IP хостинга может быть в черном списке (для автоматических запросов).
3) ...

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

Как обойти 403 ошибку в urllib?

Решение

Решение

@Welemir1 Автоматизируй это! 7391 / 4818 / 1246 Регистрация: 30.03.2015 Сообщений: 13,693 Записей в блоге: 29
	11.06.2021, 17:56
	nikki4, можно и requests, просто байты получишь и обработаешь а вот юзер агента нормально пропиши, возьми из настоящего браузера 0

@Welemir1 Автоматизируй это! 7391 / 4818 / 1246 Регистрация: 30.03.2015 Сообщений: 13,693 Записей в блоге: 29
	11.06.2021, 21:42
	Сообщение было отмечено nikki4 как решение Решение nikki4, ну может сетевые какие то настройки, подключись к серваку и с него пробуй сам кинуть запрос курлом или в браузере. 1