С Новым годом! Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 Аватар для Luca Brasi
892 / 204 / 55
Регистрация: 06.11.2015
Сообщений: 2,288
Записей в блоге: 2

Получение кода ответа от сайтов

28.03.2022, 21:21. Показов 645. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени, есть перечень клиентов которые хотят осуществлять коммуникацию с сайтами:
  • mail.ru
  • yandex.ru
  • vk.com
Из-за региональных настроек для них это невозможно, но всё что требуется от меня, проверять - доступны ли эти сайты в приниципе. Пробовал через прокси получить ответ HTTP, но постоянно что-то да не так.
Например, есть прокси который через браузер хорошо открывает эти сайты, а вот чthtp requests.get - не получается.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
            url = f"http://yandex.ru"
            proxies = {
                'http': proxy,
                'https': proxy
            }
            headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}  
            try:
                r = requests.get(url, headers=headers, timeout=input_settings.PROXY_CONNECTION_TIMEOUT, proxies=proxies, verify=False)
                if 200 <= r.status_code <= 226:
                    print(f"Got {r.status_code} status code at proxy ip {proxy}")
                    continue
            except (requests.exceptions.ReadTimeout, requests.exceptions.ProxyError, requests.exceptions.ConnectTimeout, requests.exceptions.ConnectionError):
                print(f"Not worked for proxy {proxy}")
                continue
Вот типичный пример несложившегося вывода, с ошибкой 403
403 Forbidden

Processed 1/2 targetsNot worked for proxy http://169.57.1.85:8123
HTTPSConnectionPool(host='api.ipify.org' , port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 403 Forbidden')))
Processed 2/2 targetsNot worked for proxy http://169.57.1.85:8123
HTTPSConnectionPool(host='api.ipify.org' , port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 403 Forbidden')))


Пробовал разные сочетания параметров headers - результат оди и тот же. Вообщем всё что от меня требуется, это проверить рабоатает ли ресурс, на этом всё. Уже думал прикрутить Selenium, но слишком много с ним будет возни, да и для работы в фоне решение не идеальное, хотя бы из-за мерцающих окон.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
28.03.2022, 21:21
Ответы с готовыми решениями:

Получение кода ответа странички
получаю ответ так: ufile = urllib.request.urlopen('url') print(ufile.getcode()) Проблема в том, что отдаётся код 200, даже...

Получение кода страницы TChromium CEF4Delphi для SPA сайтов
Возникла необходимость вытащить код страницы в скрытом режиме (без визуализации сайта). Для многостраничных сайтов такая...

Вызов функции другого потока и получение ответа с наименьшим кол-вом строк кода [QueuedConnection]
В общем, предположим есть два объекта классов GUIBackEnd и Processor, работающих в разных потоках. Допустим, в классе GUIBackEnd есть...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.03.2022, 21:21
Помогаю со студенческими работами здесь

Получение ответа
Всем привет. Целей день просидел и нигде не нашел решение. Проблема в следующем: Программно отправляю пост запрос, а в ответ...

получение ответа от mysql
подскажите. - MySQLResult:=mysqlclient.query('SELECT username FROM bb_users WHERE user_id=2',true,ok); ...

Запрос и получение ответа
Здравствуйте. Вопрос таков. Я делаю веб запрос через webbrowser.Navigate(ссылка), на что я получаю ответ в строке адреса, как мне...

Получение ответа сервера
Отправляю пакет на сервер. В заголовке пакета присутствует строка: Accept-Encoding: gzip, deflate Content-Type:...

Получение ответа по ссылке
Здравствуйте! Не знаю с какой стороны подступиться. смысл следующий: есть адрес &quot;http:\\...&quot; при вводе его в браузер...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru