Grab фреймворк, 100% нагрузка CPU

@Standard user · Регистрация: 11.01.2013

Студворк — интернет-сервис помощи студентам

Пробую сделать прокси чекер на потоках:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from grab import Grab
import threading
import random
 
def test_proxy(proxy):
    grab = Grab(connect_timeout = 10, proxy = proxy, proxy_type = 'socks5')
    try:
        grab.go('https://wtfismyip.com/json')        
        print(grab.response.unicode_body() + '\n' * 2)
    except : pass        
   
proxyList = Grab().go('http://pastebin.com/raw/RPsKCMKC').unicode_body().split('\r\n')#на данный момент список проксей работающий
for i in range(20):
    threading.Thread(target= test_proxy, args= [random.choice(proxyList)]).start()
   
while threading.active_count() > 1:    
    pass

Все работает, но нагрузка CPU - 100%, даже если создать 2 - 3 потоки. Тестил на разных осях и разных версиях питона. В чем может быть причина?

@alex925 · 27.03.2016, 18:08

Standard user, скорее всего фреемворк не потокобезопасный + на сколько я знаю он сам у себя внутри потоки использует.
Вообще потоками ты добьешься большой производительности, если хочешь максимально загрузить канал тебе нужно использовать асинхронку (asyncio, tornado).

@Standard user · 27.03.2016, 20:08 **[ТС]**

Спасибо

Добавлено через 1 час 12 минут
Глупая ошибка, но питон только третий день изучаю, надо было поставить sleep на 17-ой строке )

Новые блоги и статьи Все статьи Все блоги /
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	27.03.2016, 18:08
	Standard user, скорее всего фреемворк не потокобезопасный + на сколько я знаю он сам у себя внутри потоки использует. Вообще потоками ты добьешься большой производительности, если хочешь максимально загрузить канал тебе нужно использовать асинхронку (asyncio, tornado). 0

@Standard user 8 / 6 / 3 Регистрация: 11.01.2013 Сообщений: 22
	27.03.2016, 20:08 [ТС]
	Спасибо Добавлено через 1 час 12 минут Глупая ошибка, но питон только третий день изучаю, надо было поставить sleep на 17-ой строке ) 0