|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
||||||||||||||||
Устранение узкого места в многопоточной программе06.12.2019, 16:55. Показов 1903. Ответов 3
Доброго времени суток, столкнулся с узким местом при разработке много поточной программы на питоне.
Программа подсчитывает количество вхождений ключевой фразы в текстовом файле, оба параметра (путь к файлу и ключевая фраза) задаются в командной строке. Свой личный опыт программирования на других языках говорит о том, что узкое место связано с разделением данных (объект lines) между потоками - а именно то, что объект lines поддерживаем доступ к данным лишь для одного потока в одно и тоже время. Следовательно была предпринята попытка создать разрезы данных (дополнительные ссылки, в коде отмечено тройным восклицательным знаком после комментария) для каждого потока, но результат не впечатлил. Исходный код и результаты тестов для одного и четырех потоков приведены ниже по тексту. Прошу вашего мнения по методу оптимизации данной программы...
0
|
||||||||||||||||
| 06.12.2019, 16:55 | |
|
Ответы с готовыми решениями:
3
Устранение узкого места в многопроцессной программе Поиск "узкого" места и варианты решения
|
|
|
||
| 06.12.2019, 20:58 | ||
Сообщение было отмечено guarantexcell как решение
Решение
В Python потоки выполняются последовательно. Да. Плохо. Но это жизнь. Почитайте про GIL (кроме Python, те же ограничения и в Ruby, и в Perl и вообще в практически любых интерпретируемых языках, где доступны нативные потоки).
Поэтому для ускорения CPU задач используется мультипроцессность вместо мультипоточности. P.S. Это не значит, что потоки в Python бесполезны. Они используются для IO-задач, где время ожидания данных превышает время работы с ними. Там они дают эффект улучшения производительности. Добавлено через 2 минуты
1
|
||
|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
|
| 06.12.2019, 21:05 [ТС] | |
|
Хорошо, спасибо за информацию - этого я в книжках не вычитал, буду иметь в виду!
0
|
|
|
10 / 6 / 5
Регистрация: 04.04.2017
Сообщений: 14
|
|
| 07.12.2019, 19:33 [ТС] | |
|
Переделал свой код в многопроцессный вид, но результат по моему сохранился прежним.
Ссылка на новую тему: Устранение узкого места в многопроцессной программе
0
|
|
| 07.12.2019, 19:33 | |
|
Помогаю со студенческими работами здесь
4
Метод For в многопоточной программе Умножение матриц в многопоточной программе Сигналы и слоты в многопоточной программе. Одновременный инкремент в многопоточной программе Назначение параметров в многопоточной программе Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
Валидация и контроль данных табличной части документа перед записью
Maks 22.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2.
Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .
|
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2.
Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом.
В. . .
|
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2.
Задача: отобразить спецтехнику, которая на данный момент находится в ремонте.
Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
|
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
|
|
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
|
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут
Суть:
- Группа наркоманов из 10 человек.
- Только один инфицирован ВИЧ.
- Колются одной иглой.
- Колются раз в день.
- Колются последовательно через. . .
|
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
|
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
|