|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|||||||||||
Многопоточное программирование: как распараллелить цикл?12.05.2019, 19:06. Показов 10061. Ответов 45
Здравствуйте, господа. Возможно, я сейчас спрошу глупость, но тем не менее. В интернетах найти ответа не смог.
Допустим, у меня есть цикл do-while, в котором у меня выполняются операции - функции - с большуууууущим вектором, таких функций несколько, причем эти функции принципиально последовательны, результат работы предыдущей функции влияет на выполнение последующей. Но в пределах одной функции, которая работает с вектором поэлементно вполне возможно реализовать параллельные вычисления для ускорения процесса. Вопрос! А как это сделать правильно? В каждой функции есть range-based цикл, который перебирает элементы вектора. Мне пришел в голову (тупой) вариант - просто распилить вектор, допустим, на 4 части и работать с каждой из частей, получилось примерно следующее:
Но я могу засунуть выполнение, допустим, f1(V_1..4) в разные потоки и выполнять это дело параллельно. Мой очень фиговый вариант:
потоков, и в результате вместо выигрыша в скорости от параллельных вычислений я получаю проигрыш в этой самой скорости по сравнению даже со случаем тупого последовательного счета. Я бы хотел (хотел бы я, ага...), чтобы у меня где-то в мэйне открывалось три потока, в которые я бы по мере необходимости закидывал выполнение нужных функций. Но с библиотекой thread такого добиться не получается. Находил в интернетах информацию, что можно использовать библиотеку pthread.h, но я так понял, что она типа устаревшая, я ее в моей VS-2017 даже подключить не могу. Как быть? Заранее благодарю за уделенное внимание)
0
|
|||||||||||
| 12.05.2019, 19:06 | |
|
Ответы с готовыми решениями:
45
Как распараллелить цикл while? Распараллелить цикл Многопоточное программирование |
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|
| 13.05.2019, 22:06 | |
|
0
|
|
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|
| 13.05.2019, 22:29 [ТС] | |
|
0
|
|
|
79 / 60 / 19
Регистрация: 22.11.2015
Сообщений: 193
|
||
| 14.05.2019, 04:42 | ||
|
Для флагов (в Вашем случаи) лучше использовать std::atomic_flag либо std::atomic<bool> либо std::atomic<int> http://www.cplusplus.com/refer... omic_flag/
0
|
||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
||
| 14.05.2019, 10:55 [ТС] | ||
|
0
|
||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
||||||
| 21.05.2019, 13:40 [ТС] | ||||||
|
Господа, не знаю, есть ли кто живой в этой теме.
В первую очередь, большое спасибо всем за помощь и действительно дельные советы. Написал я очередной вариант моего многопоточного расчета с учетом всех замечаний, сейчас это все выглядит следующим образом:
нужного флага, после чего считает (вызывает мою функцию), отправляет сигнал, что она посчитала, ставит флаг СТОП, а затем снова ждет. В мэйне в цикле я в нужный момент времени выставляю флаги, а затем пинаю условные переменные (она у каждого экземпляра класса Els, который и содержит метод Calc_processing, своя, как и мьютекс, значит у каждого потока своя пара переменная-мьютекс). После этого я в мэйне тоже запускаю вычисления с оставшимся вектором типа MyClass (специально создаю вектор векторов размером с число потоков, а потоков открываю на один меньше - один из векторов будет обрабатываться в основном потоке). После того, как в мэйне все посчиталось, опрашиваю каждый поток на предмет окончания вычислений с помощью wait (там уже задействована другая пара условная переменная - мьютекс) + флаг STOP. После все повторяется с другой функцией. Я вижу работу моего кода так. Правда, Студия видит это по-другому. Почему-то в какие-то моменты времени прога виснет или ругается на out-of-range вектора. Все перепроверил, вектора по длинам вроде бы все согласованы. Зависает прога, судя по всему, во время ожидания в теле функции Calc_Processing, при этом мне удалось поймать ошибку, как на скриншоте. Господа, с чем это может быть связано? Какие мысли? Благодарю за уделенное внимание)
0
|
||||||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
||
| 21.05.2019, 13:48 [ТС] | ||
|
(подробности - выше)
0
|
||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|||||||
| 21.05.2019, 15:08 | |||||||
В Thread_function::Сalc_processing то же самое Добавлено через 2 минуты У тебя должен быть один мьютекс и одна condition_variable, общие для всех потоков, посмотри мой код
1
|
|||||||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|||
| 21.05.2019, 16:53 [ТС] | |||
|
Добавлено через 2 минуты к срабатыванию функции wait() в ожидающем потоке?
0
|
|||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|||
| 21.05.2019, 17:24 | |||
|
Добавлено через 18 минут Добавлено через 3 минуты В моём случае, он проверит есть ли ещё необработанные данные, если есть - обработает. Т.е. блоков массива (или массивов) может быть сколько угодно, я гарантирую, что все они будут обработаны Добавлено через 2 минуты В твоём случае - ты последовательно запускаешь все потоки. Соответственно может получится, что первый уже всё сделал и не знает чем заняться, а последний ещё даже не запустился.
0
|
|||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
||||
| 21.05.2019, 17:33 [ТС] | ||||
|
Работает! Спасибо огромное за совет! Осталось только добиться одновременного запуска потоков Добавлено через 2 минуты Ну или я глупенький..
0
|
||||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
||
| 21.05.2019, 17:48 | ||
|
Под блокировкой ждут события, что появились данные для обработки - if (m_i < m_data.size()) или останока - stop == true Вычисляют какой блок им обрабатывать i = m_i; n = m_i = std::min(m_data.size(), m_i + m_block_size); Выставляют признак что заняты - ++m_inuse; Снимают блокировку Обрабатывают данные Под блокировкой снимают признак, что заняты --m_inuse; Добавлено через 5 минут Поток main() в цикле: Под блокировкой заполняет массив Выставляет признак, что есть данные data.m_i = 0; Сообщает потоком, что можно работать data.m_cv.notify_all(); Снимает блокировку Ждёт, пока нет больше данных для обработки data.m_i < data.m_data.size() и все потоки завершили обработку данных data.m_inuse != 0 После выхода из цикла: под блокировкой выставляет data.m_stop = true; и сообщает об этом потокам Снимает блокировку и ждёт пока потоки завершатся thread.join();
1
|
||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|||||||||||
| 23.05.2019, 14:34 [ТС] | |||||||||||
|
oleg-m1973, я вроде разобрался, спасибо огромное за помощь. Во многом воспользовался
Вашим кодом, но немного переделал его "под себя". Все шуршит, все работает, НО... Опять возникла проблемка) Сейчас мой код выглядит так:
элемент - это ячейка сетки.Структура этого класса не так важна. Допустим, в нем есть нестатическое поле int Value, которое хранит число обращений к данной ячейке сетки со стороны векторов MyVect.MyVectors_1...procs, причем КАЖДЫЙ ЭЛЕМЕНТ ВЕКТОРА МОЖЕТ ОБРАТИТЬСЯ К СЕТКЕ НЕ БОЛЕЕ И НЕ МЕНЕЕ ОДНОГО РАЗА, таким образом полное число обращений к сетке (то есть ко всем элементам массива mesh[Size], если просуммировать их поля Value) должно в точности совпадать с СУММАРНЫМ числом элементов во ВСЕХ векторах MyVect.MyVectors_1...procs. Переменная Contr_Sum также отслеживает число "учтенных", "задействованных" элементов векторов MyVect.MyVectors_1...procs. По моей логике, сумма полей Value массива mesh[Size] должна совпадать с контрольной суммой Contr_Sum и с полным числом всех элементов всех векторов. Но у меня все эти три числа РАЗНЫЕ! Количество элементов в векторах самое большое, сумма сумма значений полей Value массива mesh[Size] поменьше (иногда существенно, иногда не очень), а Contr_Sum сильно меньше. Таким образом, я делаю вывод, что мои функции f1 и f2 обрабатывают не все элементы векторов. Как бы не так! Сами функции выглядят примерно так:
не выявлено: всегда четко (Count == V_1..procs.size()) - true. Но по завершению расчетов всеми потоками оказывается, что Contr_Sum сильно отличается от Суммы размеров всех векторов V_1..procs, как и сумма всех полей Value сетки mesh. Причем и между собой сумма (mesh[i].value) и Contr_Sum не равны! Значит, я не могу утверждать, что после отработки всех потоков у меня запишутся ВСЕ необходимые данные. ХОТЯ! в пределах КАЖДОГО потока счетчик итераций Count неизменно совпадает с размерами передаваемого вектора. Тогда почему так криво инкрементируются внешние счетчики??? Блокировка стоит, одновременно потоки попытаться испоганить данные не могут. Добавлено через 40 минут oleg-m1973, в остальном - все отлично работает) спасибо за помощь)
0
|
|||||||||||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|||
| 23.05.2019, 15:18 | |||
|
Добавлено через 33 секунды
0
|
|||
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|||
| 23.05.2019, 15:21 [ТС] | |||
|
0
|
|||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|
| 23.05.2019, 15:23 | |
|
0
|
|
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
||
| 23.05.2019, 15:25 [ТС] | ||
|
Что плохо
0
|
||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|
| 23.05.2019, 15:25 | |
|
У тебя разные потоки обращаются к одно ячейке mesh?
0
|
|
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|||
| 23.05.2019, 15:27 [ТС] | |||
|
Пока что я убедился, скорее, в обратном) Добавлено через 1 минуту
0
|
|||
|
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
|
|
| 23.05.2019, 15:28 | |
|
0
|
|
|
6 / 6 / 0
Регистрация: 27.11.2016
Сообщений: 80
|
|||||||||
| 23.05.2019, 15:34 [ТС] | |||||||||
|
Добавлено через 4 минуты
0
|
|||||||||
| 23.05.2019, 15:34 | |
|
Помогаю со студенческими работами здесь
40
многопоточное программирование на с++ Многопоточное программирование Многопоточное программирование Многопоточное программирование Не получается распараллелить цикл Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога
Финальные проекты на Си и на C++:
hello-sdl3-c. zip
hello-sdl3-cpp. zip
Результат:
|
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога
MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
|
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд.
Даже если у вас. . .
|
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает
монорепозиторий в котором находятся все исходники.
При создании нового решения, мы просто добавляем нужные проекты
и имеем. . .
|
|
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение:
В этой книге («Подход, основанный на вариантах использования») Ивар утверждает,
что архитектура программного обеспечения — это
структуры,. . .
|
Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование
8Observer8 05.03.2026
Содержание блога
Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
|
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога
Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip
На первой гифке отладочные линии отключены, а на второй включены:. . .
|
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога
Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем.
. . .
|