|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
||||||||||||||||
Устранение узкого места в многопоточной программе06.12.2019, 16:55. Показов 1900. Ответов 3
Доброго времени суток, столкнулся с узким местом при разработке много поточной программы на питоне.
Программа подсчитывает количество вхождений ключевой фразы в текстовом файле, оба параметра (путь к файлу и ключевая фраза) задаются в командной строке. Свой личный опыт программирования на других языках говорит о том, что узкое место связано с разделением данных (объект lines) между потоками - а именно то, что объект lines поддерживаем доступ к данным лишь для одного потока в одно и тоже время. Следовательно была предпринята попытка создать разрезы данных (дополнительные ссылки, в коде отмечено тройным восклицательным знаком после комментария) для каждого потока, но результат не впечатлил. Исходный код и результаты тестов для одного и четырех потоков приведены ниже по тексту. Прошу вашего мнения по методу оптимизации данной программы...
0
|
||||||||||||||||
| 06.12.2019, 16:55 | |
|
Ответы с готовыми решениями:
3
Устранение узкого места в многопроцессной программе Поиск "узкого" места и варианты решения
|
|
|
||
| 06.12.2019, 20:58 | ||
Сообщение было отмечено guarantexcell как решение
Решение
В Python потоки выполняются последовательно. Да. Плохо. Но это жизнь. Почитайте про GIL (кроме Python, те же ограничения и в Ruby, и в Perl и вообще в практически любых интерпретируемых языках, где доступны нативные потоки).
Поэтому для ускорения CPU задач используется мультипроцессность вместо мультипоточности. P.S. Это не значит, что потоки в Python бесполезны. Они используются для IO-задач, где время ожидания данных превышает время работы с ними. Там они дают эффект улучшения производительности. Добавлено через 2 минуты
1
|
||
|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
|
| 06.12.2019, 21:05 [ТС] | |
|
Хорошо, спасибо за информацию - этого я в книжках не вычитал, буду иметь в виду!
0
|
|
|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
|
| 07.12.2019, 19:33 [ТС] | |
|
Переделал свой код в многопроцессный вид, но результат по моему сохранился прежним.
Ссылка на новую тему: Устранение узкого места в многопроцессной программе
0
|
|
| 07.12.2019, 19:33 | |
|
Помогаю со студенческими работами здесь
4
Метод For в многопоточной программе Умножение матриц в многопоточной программе Сигналы и слоты в многопоточной программе. Одновременный инкремент в многопоточной программе Назначение параметров в многопоточной программе Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . .
а удачный момент так и не приходит.
|
Фиксация колонок в отчете СКД
Maks 14.04.2026
Фиксация колонок в СКД отчета типа Таблица.
Задача: зафиксировать три левых колонки в отчете.
Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка)
/ / . . .
|
Настройки VS Code
Loafer 13.04.2026
{
"cmake. configureOnOpen": false,
"diffEditor. ignoreTrimWhitespace": true,
"editor. guides. bracketPairs": "active",
"extensions. ignoreRecommendations": true,
. . .
|
Оптимизация кода на разграничение прав доступа к элементам формы
Maks 13.04.2026
Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2.
Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива.
Было так:. . .
|
|
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2.
Задача: реализовать контроль корректности заполнения дат назначения. . .
|
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html
Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
|
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2.
Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
|
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях.
Задача: при копировании документа очищать определенные реквизиты и табличную. . .
|