Блокировка интерфейса pyside (Qt) при реализации многопоточных приложений

@rialbat · Регистрация: 14.09.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте. Реализовал приложение для опроса (пинговки) серверов, при помощи TCP запросов. Отправка запросов и прием ответов осуществляются в многопоточном режиме:

Python
1
2
3
with ThreadPoolExecutor(max_workers=self._threads) as executor:
    for ip in ipPool:
    executor.submit(self.searchForServers, ip)

Программа работает, однако не удается собирать статистику. При выполнении программы, графический интерфейс перестает откликаться. Из-за чего статистические данные не обновляются вплоть до завершения всех потоков. Как я понимаю, это происходит из-за использования технологии GIL в python.
Возможно ли это побороть каким-то образом? Обновление статистических данных также происходит в отдельном потоке (каждую секунду, пока не завершатся основные потоки), однако визуально это происходит единожды, после завершения всех потоков.

@Михалыч · 15.08.2022, 16:56

Сообщение от rialbat

При выполнении программы, графический интерфейс перестает откликаться.

Вы видимо сам ThreadPoolExecutor запускаете в основном потоке GUI.

Добавлено через 21 секунду
Сейчас пример наковыряю)

Добавлено через 10 минут

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
import sys
import time
 
from PyQt5.QtCore import QRunnable, QThreadPool, QTimer, pyqtSlot
from PyQt5.QtWidgets import (
    QApplication,
    QLabel,
    QMainWindow,
    QPushButton,
    QVBoxLayout,
    QWidget,
)
 
 
class Worker(QRunnable):
    @pyqtSlot()
    def run(self):
        print("Thread start, вы что-то делаете в течении 5 секунд, вне основного потока")
        time.sleep(5)
        print("Thread complete, завершили действие")
 
 
 
class MainWindow(QMainWindow):
    def __init__(self):
        super().__init__()
 
        self.threadpool = QThreadPool()
 
        self.counter = 0 # счетчик, который мы обновляем, в основном потоке
 
        layout = QVBoxLayout()
 
        self.l = QLabel("Start")
        b = QPushButton("Нажать")
        b.pressed.connect(self.my_proccess)
 
        layout.addWidget(self.l)
        layout.addWidget(b)
 
        w = QWidget()
        w.setLayout(layout)
 
        self.setCentralWidget(w)
 
        self.show()
 
        self.timer = QTimer()
        self.timer.setInterval(1000)
        self.timer.timeout.connect(self.recurring_timer)
        self.timer.start()
 
 
    def my_proccess(self):
        worker = Worker()
        self.threadpool.start(worker)
 
 
    def recurring_timer(self):
        self.counter += 1
        self.l.setText("Счетчик: %d" % self.counter)
 
 
app = QApplication(sys.argv)
window = MainWindow()
app.exec_()

Добавлено через 2 минуты
rialbat, если запустите этот код и нажмете кнопку, то запустится Worker по времени 5 секунд, но при этом счетчик в основном потоке продолжит обновляется. Мне кажется это то что +/- Вам было нужно.

Добавлено через 1 минуту

Не по теме:

pyside6 у меня нет, но там все так же, возможны незначительные изменения

@rialbat · 15.08.2022, 18:54 **[ТС]**

Буду пробовать, спасибо. Отпишусь, как что-нибудь получится.

Добавлено через 57 минут
Сделал как у Вас, вроде работает, однако не совсем понял, как задать конкретное число потоков в пуле (или может максимальное число потоков).
То есть допустим мне необходимо проверить 1 000 ip адресов, я предполагаю это организовать в 100 потоков, как это можно сделать с QThreadPool?
Я следующим образом описал класс Worker:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
class Worker(QtCore.QRunnable):
    def __init__(self, ip, port, timeout):
        super().__init__()
        self._ip = ip
        self._specificPort = port
        self._specificTimeOut = timeout
 
    @QtCore.Slot()
    def run(self):
        lServerStatus = ServerStatus(self._ip, self._specificPort, self._specificTimeOut)
 
        try:
            serverResponse = lServerStatus.get_status()
        except Exception:
            pass
        else:
            print("Thread Worked")
            return serverResponse

И мне необходимо сделать что-то такое, в 100 потоков:

Python
1
2
3
for ip in ipPool:
    worker = Worker(ip, self._specificPort, self._specificTimeOut)
    self._threadPool.start(worker)

@rialbat · 15.08.2022, 20:21 **[ТС]**

На данный момент реализация выполнения потоков выглядит следующим образом:

Python
1
2
3
self._threadPool.setMaxThreadCount(self._threads)
for ip in ipPool:
    self._threadPool.start(Worker(ip, self._specificPort, self._specificTimeOut))

При запуске выполняет 5 задач.

@Михалыч · 16.08.2022, 08:41

rialbat, я всегда запускал qthreadpool с настройками по умолчанию, не меняя максимальное количество потоков. Но можете посмотреть в документации, там вроде такое можно сделать:

Call maxThreadCount() to query the maximum number of threads to be used. If needed, you can change the limit with setMaxThreadCount() . The default maxThreadCount() is idealThreadCount() . The activeThreadCount() function returns the number of threads currently doing work.

см.тут

Добавлено через 1 час 29 минут

Сообщение от Михалыч

там вроде такое можно сделать

А может и не можно) Я если честно пока читал, совсем запутался.

Добавлено через 13 минут

Сообщение от rialbat

И мне необходимо сделать что-то такое, в 100 потоков:

Может более опытные товарищи подскажут, как такое делается.

Но мне кажется, потоки ограничены возможностью самого компа (например мой запускает 12 шт.), т.е. метод setMaxThreadCount представляет максимальное количество потоков, используемых пулом потоков, но эта штука ограничена idealThreadCount которое возвращает идеальное количество потоков, которые могут быть запущены в системе.

@rialbat · 16.08.2022, 10:06 **[ТС]**

С этим разобрался, спасибо. Вроде работает как надо, правда результат выполнения функции (run) потоком можно вернуть только посредством эмита сигнала, я правильно понимаю? Или есть более грамотные ревеня?

@Михалыч · 16.08.2022, 10:24

rialbat, сам пользуюсь вот такой конструкцией:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
import random
import sys
import time
 
from PyQt5.QtCore import (
    QObject,
    QRunnable,
    QThreadPool,
    QTimer,
    pyqtSignal,
    pyqtSlot,
)
from PyQt5.QtWidgets import (
    QApplication,
    QLabel,
    QMainWindow,
    QPushButton,
    QVBoxLayout,
    QWidget,
)
 
 
class WorkerSignals(QObject):
    finished = pyqtSignal()
    error = pyqtSignal(str)
    result = pyqtSignal(dict)
 
 
 
class Worker(QRunnable):
    def __init__(self, iterations=5):
        super().__init__()
        self.signals = WorkerSignals()  
        self.iterations = iterations
 
    @pyqtSlot()
    def run(self):
        try:
            for n in range(self.iterations):
                time.sleep(0.01)
                v = 5 / (40 - n)
 
        except Exception as e:
            self.signals.error.emit(str(e))
 
        else:
            self.signals.finished.emit()
            self.signals.result.emit({"n": n, "value": v})
 
 
class MainWindow(QMainWindow):
    def __init__(self):
        super().__init__()
 
        self.threadpool = QThreadPool()
        print(
            "Multithreading with maximum %d threads"
            % self.threadpool.maxThreadCount()
        )
 
        self.counter = 0
 
        layout = QVBoxLayout()
 
        self.l = QLabel("Start")
        b = QPushButton("DANGER!")
        b.pressed.connect(self.oh_no)
 
        layout.addWidget(self.l)
        layout.addWidget(b)
 
        w = QWidget()
        w.setLayout(layout)
 
        self.setCentralWidget(w)
 
        self.show()
 
        self.timer = QTimer()
        self.timer.setInterval(1000)
        self.timer.timeout.connect(self.recurring_timer)
        self.timer.start()
 
    def oh_no(self):
        worker = Worker(iterations=random.randint(10, 50))
        worker.signals.result.connect(self.worker_output)
        worker.signals.finished.connect(self.worker_complete)
        worker.signals.error.connect(self.worker_error)
        self.threadpool.start(worker)
 
    def worker_output(self, s):
        print("RESULT", s)
 
    def worker_complete(self):
        print("THREAD COMPLETE!")
 
    def worker_error(self, t):
        print("ERROR: %s" % t)
 
    def recurring_timer(self):
        self.counter += 1
        self.l.setText("Counter: %d" % self.counter)
 
 
app = QApplication(sys.argv)
window = MainWindow()
app.exec_()

Добавлено через 1 минуту

Сообщение от rialbat

С этим разобрался, спасибо.

У Вас получилось сделать 100 потоков?

@rialbat · 16.08.2022, 10:29 **[ТС]**

Понял Вас, тогда тоже через сигнал/слот. систему сделаю. Число потоков регулируется через GUI и устанавливается при помощи (self._threadPool.setMaxThreadCount(self ._threads)). Мне сначала казалось, что решение работает медленнее, чем через питоновские потоки, но вроде как правильно.

@Михалыч · 16.08.2022, 10:40

Сообщение от rialbat

Или есть более грамотные ревеня?

В этой книге есть целая глава с примерами на эту тему, мне лично понравилась)
Как раз есть по pyqt6, может там что-то новое появилось, я читал только по pyqt5.

@rialbat · 16.08.2022, 14:24 **[ТС]**

Спасибо, посмотрю!

Добавлено через 3 часа 38 минут
Организовал работы программы по системе сигнал/слот и наткнулся на одну проблему. Если для каждого из проверяемых ip адресов создать объект класса Worker, а затем подключить его сигналы к слотам основного класса, таким образом:

Python
1
2
3
4
5
6
for ip in ipPool:
    worker = Worker(ip, self._specificPort, self._specificTimeOut)
    worker.signals.result.connect(self.receiveResponse)
    worker.signals.updateStats.connect(self.updateStatsLabels)
    self._threadPool.start(worker)
    self._checked = self._checked + 1

То получаем ограничение окало 1700 адресов. При использовании большего пула программа вылетает с ошибкой. Если не подключать сигналы, то ошибка не возникает и программа работает нормально при любом количестве адресов.
Я пробовал создать пул рабочих, равный количеству потоков в программе. А затем переопределять атрибут ip для каждого из объектов при назначении потоков:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
for _ in range(self._threads):
    worker = Worker('', self._specificPort, self._specificTimeOut)
    worker.signals.result.connect(self.receiveResponse)
    worker.signals.updateStats.connect(self.updateStatsLabels)
    workersPool.append(worker)
 
curIp = 0
self._threadPool.setMaxThreadCount(self._threads)
for ip in ipPool:
    workersPool[curIp].setIp(ip)
    self._threadPool.start(workersPool[curIp])
    if curIp + 1 < self._threads:
        curIp = curIp + 1
    else:
        curIp = 0
    self._checked = self._checked + 1

Но в таком случае программа вылетает при достижении ip, равного количеству потоков в программе...

Новые блоги и статьи Все статьи Все блоги /
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .

@rialbat 2 / 2 / 0 Регистрация: 14.09.2018 Сообщений: 47
	16.08.2022, 10:06 [ТС]
	С этим разобрался, спасибо. Вроде работает как надо, правда результат выполнения функции (run) потоком можно вернуть только посредством эмита сигнала, я правильно понимаю? Или есть более грамотные ревеня? 0

@rialbat 2 / 2 / 0 Регистрация: 14.09.2018 Сообщений: 47
	16.08.2022, 10:29 [ТС]
	Понял Вас, тогда тоже через сигнал/слот. систему сделаю. Число потоков регулируется через GUI и устанавливается при помощи (self._threadPool.setMaxThreadCount(self ._threads)). Мне сначала казалось, что решение работает медленнее, чем через питоновские потоки, но вроде как правильно. 1

Блокировка интерфейса pyside (Qt) при реализации многопоточны­­­­х приложений

Решение

Блокировка интерфейса pyside (Qt) при реализации многопоточных приложений