Аватар для Luca Brasi
892 / 204 / 55
Регистрация: 06.11.2015
Сообщений: 2,288
Записей в блоге: 2

Получение кода ответа от сайтов

28.03.2022, 21:21. Показов 656. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени, есть перечень клиентов которые хотят осуществлять коммуникацию с сайтами:
  • mail.ru
  • yandex.ru
  • vk.com
Из-за региональных настроек для них это невозможно, но всё что требуется от меня, проверять - доступны ли эти сайты в приниципе. Пробовал через прокси получить ответ HTTP, но постоянно что-то да не так.
Например, есть прокси который через браузер хорошо открывает эти сайты, а вот чthtp requests.get - не получается.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
            url = f"http://yandex.ru"
            proxies = {
                'http': proxy,
                'https': proxy
            }
            headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}  
            try:
                r = requests.get(url, headers=headers, timeout=input_settings.PROXY_CONNECTION_TIMEOUT, proxies=proxies, verify=False)
                if 200 <= r.status_code <= 226:
                    print(f"Got {r.status_code} status code at proxy ip {proxy}")
                    continue
            except (requests.exceptions.ReadTimeout, requests.exceptions.ProxyError, requests.exceptions.ConnectTimeout, requests.exceptions.ConnectionError):
                print(f"Not worked for proxy {proxy}")
                continue
Вот типичный пример несложившегося вывода, с ошибкой 403
403 Forbidden

Processed 1/2 targetsNot worked for proxy http://169.57.1.85:8123
HTTPSConnectionPool(host='api.ipify.org' , port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 403 Forbidden')))
Processed 2/2 targetsNot worked for proxy http://169.57.1.85:8123
HTTPSConnectionPool(host='api.ipify.org' , port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 403 Forbidden')))


Пробовал разные сочетания параметров headers - результат оди и тот же. Вообщем всё что от меня требуется, это проверить рабоатает ли ресурс, на этом всё. Уже думал прикрутить Selenium, но слишком много с ним будет возни, да и для работы в фоне решение не идеальное, хотя бы из-за мерцающих окон.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
28.03.2022, 21:21
Ответы с готовыми решениями:

Получение кода ответа странички
получаю ответ так: ufile = urllib.request.urlopen('url') print(ufile.getcode()) Проблема в том, что отдаётся код 200, даже...

Получение кода страницы TChromium CEF4Delphi для SPA сайтов
Возникла необходимость вытащить код страницы в скрытом режиме (без визуализации сайта). Для многостраничных сайтов такая...

Вызов функции другого потока и получение ответа с наименьшим кол-вом строк кода [QueuedConnection]
В общем, предположим есть два объекта классов GUIBackEnd и Processor, работающих в разных потоках. Допустим, в классе GUIBackEnd есть...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.03.2022, 21:21
Помогаю со студенческими работами здесь

Получение ответа
Всем привет. Целей день просидел и нигде не нашел решение. Проблема в следующем: Программно отправляю пост запрос, а в ответ...

получение ответа от mysql
подскажите. - MySQLResult:=mysqlclient.query('SELECT username FROM bb_users WHERE user_id=2',true,ok); ...

Запрос и получение ответа
Здравствуйте. Вопрос таков. Я делаю веб запрос через webbrowser.Navigate(ссылка), на что я получаю ответ в строке адреса, как мне...

Получение ответа сервера
Отправляю пакет на сервер. В заголовке пакета присутствует строка: Accept-Encoding: gzip, deflate Content-Type:...

Получение ответа по ссылке
Здравствуйте! Не знаю с какой стороны подступиться. смысл следующий: есть адрес &quot;http:\\...&quot; при вводе его в браузер...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Опции темы

Новые блоги и статьи
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .
Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование
8Observer8 05.03.2026
Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru