|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
||||||||||||||||
Устранение узкого места в многопоточной программе06.12.2019, 16:55. Показов 1875. Ответов 3
Доброго времени суток, столкнулся с узким местом при разработке много поточной программы на питоне.
Программа подсчитывает количество вхождений ключевой фразы в текстовом файле, оба параметра (путь к файлу и ключевая фраза) задаются в командной строке. Свой личный опыт программирования на других языках говорит о том, что узкое место связано с разделением данных (объект lines) между потоками - а именно то, что объект lines поддерживаем доступ к данным лишь для одного потока в одно и тоже время. Следовательно была предпринята попытка создать разрезы данных (дополнительные ссылки, в коде отмечено тройным восклицательным знаком после комментария) для каждого потока, но результат не впечатлил. Исходный код и результаты тестов для одного и четырех потоков приведены ниже по тексту. Прошу вашего мнения по методу оптимизации данной программы...
0
|
||||||||||||||||
| 06.12.2019, 16:55 | |
|
Ответы с готовыми решениями:
3
Устранение узкого места в многопроцессной программе Поиск "узкого" места и варианты решения
|
|
|
||
| 06.12.2019, 20:58 | ||
Сообщение было отмечено guarantexcell как решение
Решение
В Python потоки выполняются последовательно. Да. Плохо. Но это жизнь. Почитайте про GIL (кроме Python, те же ограничения и в Ruby, и в Perl и вообще в практически любых интерпретируемых языках, где доступны нативные потоки).
Поэтому для ускорения CPU задач используется мультипроцессность вместо мультипоточности. P.S. Это не значит, что потоки в Python бесполезны. Они используются для IO-задач, где время ожидания данных превышает время работы с ними. Там они дают эффект улучшения производительности. Добавлено через 2 минуты
1
|
||
|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
|
| 06.12.2019, 21:05 [ТС] | |
|
Хорошо, спасибо за информацию - этого я в книжках не вычитал, буду иметь в виду!
0
|
|
|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
|
| 07.12.2019, 19:33 [ТС] | |
|
Переделал свой код в многопроцессный вид, но результат по моему сохранился прежним.
Ссылка на новую тему: Устранение узкого места в многопроцессной программе
0
|
|
| 07.12.2019, 19:33 | |
|
Помогаю со студенческими работами здесь
4
Метод For в многопоточной программе Умножение матриц в многопоточной программе Сигналы и слоты в многопоточной программе. Одновременный инкремент в многопоточной программе Назначение параметров в многопоточной программе Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Символьное дифференцирование
igorrr37 13.02.2026
/ *
Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2).
Унарный минус обозначается как !
*/
#include <iostream>
#include <stack>
#include <cctype>. . .
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|
|
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога
Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
|
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
|