urllib3.connection.HTTPSConnection object at 0x000001CA91BDF050: Failed to establish a new connection: [Errno 11001]

@lochin2 · Регистрация: 20.10.2020

Студворк — интернет-сервис помощи студентам

Решил скачать разного рода документы из сайта Российского Центра Научной Информатики. Отчёты, формы, образцы и т.д. В основном из раздела "Конкурсы". Ввожу код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import re
import time
from urllib.parse import quote, unquote
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry 
import requests
from bs4 import BeautifulSoup
 
def main():
    base_url = 'https://rfbr.ru'
    download_links = set()
    response = requests.get(base_url+'/rffi')
    parse_text = BeautifulSoup(response.text, 'html.parser')
    links = set([x.get('href') for x in parse_text.find_all(href=re.compile('^/rffi/'))])
    for link in links:
        time.sleep(1)
        response = requests.get(base_url+link)
        parse_text = BeautifulSoup(response.text, 'html.parser')
        download_links.update(set([x.get('href') for x in parse_text.find_all(href=re.compile('^/getimage/'))]))
 
    for link in download_links:
        time.sleep(1)
        file_name = unquote(link).split('/')[-1]
        response = requests.get(base_url+quote(link))
        with open(file_name, 'wb') as f:
            f.write(response.content)
 
 
if __name__ == '__main__':
    main()

И сразу же возникает ошибка:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
Traceback (most recent call last):
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connection.py", line 174, in _new_conn
    conn = connection.create_connection(
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\util\connection.py", line 72, in create_connection
    for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\socket.py", line 962, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno 11001] getaddrinfo failed
 
During handling of the above exception, another exception occurred:
 
Traceback (most recent call last):
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 703, in urlopen
    httplib_response = self._make_request(
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 386, in _make_request
    self._validate_conn(conn)
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 1042, in _validate_conn
    conn.connect()
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connection.py", line 363, in connect
    self.sock = conn = self._new_conn()
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connection.py", line 186, in _new_conn
    raise NewConnectionError(
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x0000019854B46E90>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed
 
During handling of the above exception, another exception occurred:
 
Traceback (most recent call last):
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\adapters.py", line 489, in send
    resp = conn.urlopen(
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 787, in urlopen
    retries = retries.increment(
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\util\retry.py", line 592, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='rfbr.ru', port=443): Max retries exceeded with url: /rffi (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x0000019854B46E90>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))
 
During handling of the above exception, another exception occurred:
 
Traceback (most recent call last):
  File "C:\Download\rbfi-parser\main2.py", line 30, in <module>
    main()
  File "C:\Download\rbfi-parser\main2.py", line 12, in main
    response = requests.get(base_url+'/rffi')
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\api.py", line 73, in get
    return request("get", url, params=params, **kwargs)
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\api.py", line 59, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\sessions.py", line 587, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\sessions.py", line 701, in send
    r = adapter.send(request, **kwargs)
  File "C:\Users\Руслан\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\adapters.py", line 565, in send
    raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='rfbr.ru', port=443): Max retries exceeded with url: /rffi (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x0000019854B46E90>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

Как решить эту проблему?

@lochin2 · 12.05.2023, 14:21 **[ТС]**

Проблему решил. Просто добавил перед rbfr.ru www. И всё бы ничего. Вроде.
Но теперь ошибка: не могу скачать.
Поначалу была ошибка, связанная с тем, что файл из-за директории скачать невозможно. Я добавил функции и операторы, но теперь вообще скачиваний нет.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
import re
import time
import twilio
from urllib.parse import quote, unquote
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry 
import requests
import os
from bs4 import BeautifulSoup
 
def main():
    base_url = 'https://www.rfbr.ru'
    download_links = set()
    response = requests.get(base_url+'/rffi')
    parse_text = BeautifulSoup(response.text, 'html.parser')
    links = set([x.get('href') for x in parse_text.find_all(href=re.compile('^/rffi/'))])
    for link in links:
        time.sleep(1)
        response = requests.get(base_url+link)
        parse_text = BeautifulSoup(response.text, 'html.parser')
        download_links.update(set([x.get('href') for x in parse_text.find_all(href=re.compile('^/rffi/getimage/'))]))
 
    for link in download_links:
        if link:
            time.sleep(1)
            file_name = unquote(link).rsplit('/', 1)[-1]
            response = requests.get(base_url+quote(link))
            try:
                response = requests.get(file_name, timeout=20)
            except:
                print(f"err. conn: {file_name}")
                continue
            if response.status_code == 200:
                try:
                    os.makedirs(os.path.dirname(file_name), exist_ok=True)
                except:
                    raise
                try:
                    with open(file_name, 'wb') as f:
                        f.write(response.content)
                except:
                    print(f"Ошибка при создании файла\nТег: {link}")
                    raise
            else:
                print(f"{file_name} no response")
    return base_url
 
 
if __name__ == '__main__':
    main()

Новые блоги и статьи Все статьи Все блоги /
Как украсить новогоднюю елку с Q# и Qiskit EggHead 24.06.2025 Что может быть необычнее, чем применить законы квантовой механики для украшения новогодней елки? Пока другие развешивают обычные гирлянды, я решил объединить свою страсть к квантовым вычислениям с. . .	Системы нулевого доверия на C# UnmanagedCoder 24.06.2025 Традиционная архитектура безопасности работает по принципу средневекового замка: создаём высокие стены вокруг корпоративной сети, укрепляем ворота межсетевыми экранами и системами обнаружения. . .	Снова не мой путь. Циклическое среднее, я обеими руками за проверку условия, в ракурсе данной задачи - циклическое среднее в топку. Hrethgir 24.06.2025 Привет. Такой вопрос - нужно выводить среднее математическое между двумя направлениями, интервал значений которых может лежать в диапазоне одного оборота по кругу. Проблема заключается в том, что. . .	Деплой Flask приложения py-thonny 23.06.2025 За годы работы с Flask я натыкался на одни и те же грабли достаточно часто, чтобы наконец научится их обходить. И сегодня хочу поделится опытом, который сбережет вам немало нервных клеток. Начнем с. . .	WebAssembly и контейнеры в .NET Aspire для оркестрации распределенных архитектур ArchitectMsa 23.06.2025 Я наблюдаю, как WebAssembly (или просто WASM) постепенно выходит за рамки своего первоначального предназначения — исполнения кода на стороне браузера. Теперь эта технология проникает в серверную. . .
Непрерывная интеграция для пакета Python Mr. Docker 22.06.2025 Было 4 часа утра пятницы, когда я выпустил новую версию нашей внутренней библиотеки для обработки данных. Релиз 0. 5. 2 содержал небольшой фикс для обработки дат в ISO формате, что может пойти не так?. . .	Продвинутый ETL на C# из OLTP БД в хранилище stackOverflow 22.06.2025 Работая в сфере корпоративной аналитики, я постоянно сталкиваюсь с одним и тем же - нужны чистые, структурированные и, главное, свежие данные. Без них современные аналитические системы, машинное. . .	Мастер-класс по микросервисам на Node.js Reangularity 21.06.2025 Node. js стал одной из самых популярных платформ для микросервисной архитектуры не случайно. Его неблокирующая однопоточная модель и событийно-ориентированный подход делают его идеальным для. . .	Управление Arduino из WPF приложения Wired 21.06.2025 Зачем вообще связывать Arduino с WPF-приложением? Казалось бы, у Arduino есть собственная среда разработки, своя экосистема, свои способы управления. Однако при создании серьезных проектов. . .	Звёздная пыль kumehtar 20.06.2025 Я просто это себе представляю: как создавался этот мир. Как энергия слипалась в маленькие частички. Как они собирались в первые звёзды, как во вселенной впервые появился Свет. Как эти звёзды. . .

Опции темы