requests timeout с применением proxy

@gadagur · Регистрация: 10.01.2022

Студворк — интернет-сервис помощи студентам

Имеем код по поиску прокси на просторах интернета. Через for лепим ip добавляем порт и через requests стучимся на яндекс. Если ответ получен, то пишем в файл, если нет ответа, то едим дальше.
Код идеально работает в диапазонах где нет ПК. Все достаточно шустро.
Если поиск наткнулся на пк с прокси (не забитым прокси), то тоже все хорошо... ну боле менее с допустимой скоростью все парсится.
Проблемы начинаются когда код натыкается на перегруженный прокси. Ответ приходится ждать целую вечность...

И на последок самый главный прикол...
Передав timeout в requests проблему не снимает от слова совсем. Как я понимаю timeout начинает работать уже после прокси, а проблема на самом прокси...
...Скорее всего просто я нагавнокодил, а может нет.
...Вообщем помогите кто чем может

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
import requests
p1 = 0
p2 = 0
p3 = 0
p4 = 0
p = 0
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.85 YaBrowser/21.11.4.730 Yowser/2.5 Safari/537.36'}
ip = ''
port = ''
string = ''
proxies = {'http': 'http://50.114.128.25:3128'}
broot_port = [80]
her = 0 #
while True:
    # Перебор 255-0. х.х.х
    for n1 in range(182, -1, -1):#223, 222,221,220,219,218
        p1  = n1
        # Перебор х 255-0.х.х
        for n2 in range(255, -1, -1):
            p2 = n2
            # Перебор х. х.255-0.х
            for n3 in range(255, -1, -1):
                p3 = n3
                print((f'{p1}.{p2}.{p3}.xxxx'))
                # Перебор х.х.х.255-0
                for n4 in range(255, -1, -1):
                    p4 = n4
                    ip = (f'{p1}.{p2}.{p3}.{p4}')
                    # Перебор портов
                    for ports in broot_port:
                        port = ports
                        string = (f'{ip}:{port}')
                        proxies['http'] = string
                        
                        try:
                            resul = requests.get('http://yandex.ru',headers=headers, proxies=proxies,timeout=3)
                            if resul.status_code == 200:
                                print(string + ' ОБНАРУЖЕН Proxy\n')
                                with open ('proxy1_200.txt','a') as file:
                                    file.write(string + '\n')
                            else:
                                print(resul.status_code)
                                with open ('proxy1.txt','a') as file:
                                    file.write(string +'\n')
                        except:
                            her +=1            
                        
                           
                            
                        
                        
 
print('Complite')
print (her + ' Запросов')

@gadagur · 18.01.2022, 17:48 **[ТС]**

Вопрос снят.
Если кому интересно, проблема решается созданием 2 потоков. 1 поток сворачивает второй по истечение времени

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
import requests
import threading
p1 = 0 # p1.xxx.xxx.xxx
p2 = 0 # xxx.p2.xxx.xxx
p3 = 0 # xxx.xxx.p3.xxx
p4 = 0 # xxx.xxx.xxx.p4
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.85 YaBrowser/21.11.4.730 Yowser/2.5 Safari/537.36'}
ip = '' # Собираем ip адрес сюда
port = '' # Собираем port адрес сюда
string = ''# Собираем proxy сюда
proxies = {'http': 'http://50.114.128.25:3128'}
broot_port = [80] # Порты для брута
def pars_proxy():
    print(f'{proxies}\n')
    try:        
        resul = requests.get('http://yandex.ru',headers=headers, proxies=proxies) # Делаем запрос на яндекс используя User-Agent и proxy
        if resul.status_code == 200: # Если яндекс ответил 200, делаем принт и запись
            print(string + ' ОБНАРУЖЕН Proxy\n')
            with open ('proxy1_200.txt','a') as file:
                file.write(string + '\n')
        else:
            print(f'{resul.status_code} Ответил {ip}')
            with open ('bead_proxy.txt','a') as file:
                file.write(string +'\n')
    except:
        print('Неудачное подключение\n')       
    
while True:
    # Перебор 255-0. х.х.х
    for n1 in range(223, -1, -1):# С 223 начинается плотный поток ПК
        p1  = n1
        # Перебор х 255-0.х.х
        for n2 in range(255, -1, -1):
            p2 = n2
            # Перебор х. х.255-0.х
            for n3 in range(255, -1, -1):
                p3 = n3
                # Перебор х.х.х.255-0
                for n4 in range(255, -1, -1):
                    p4 = n4
                    ip = (f'{p1}.{p2}.{p3}.{p4}')
                    # Перебор портов
                    for ports in broot_port: # Перебираем порты в цыкле
                        port = ports
                        string = (f'{ip}:{port}')
                        proxies['http'] = string
                        #Запускаем 2 потока
                        thread = threading.Thread(target=pars_proxy)
                        thread.daemon = True #Поток демонический (второй поток закроется при закрытии первого
                        thread.start()
                        thread.join(1) # Остановить все через 1 секунду
                        
 
print('Complite')

@Garry Galler · 18.01.2022, 19:18

Сообщение от gadagur

Скорее всего просто я нагавнокодил,

хуже.

Python
1
2
3
4
5
>>> import ipaddress
>>> ips = [str(ip) for ip in ipaddress.IPv4Network('182.0.0.0/16')]
    
>>> ips[256:512]
['182.0.1.0', '182.0.1.1', '182.0.1.2', '182.0.1.3', '182.0.1.4', '182.0.1.5', '182.0.1.6', '182.0.1.7', '182.0.1.8', '182.0.1.9', '182.0.1.10', '182.0.1.11', '182.0.1.12', '182.0.1.13', '182.0.1.14', '182.0.1.15', '182.0.1.16'....

Сообщение от gadagur

проблема решается созданием 2 потоков.

Проблема решается установкой сокет таймаута. Но без использования request, которая может его перезаписать.

Новые блоги и статьи Все статьи Все блоги /
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ

requests timeout с применением proxy

Решение