|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
|||||||||||
Многопоточная обработка большого файла04.04.2025, 12:22. Показов 5864. Ответов 33
Всем привет. Передо мной стоит такая задача. Есть очень большой файл с отсортированными по возрастанию числами типа double в тектовом формате, разделенными символом новой строки. Нужно посчитать среднее и стандартное отклонение по этому файлу, обязательно параллельно.
Сначала я написал однопоточную версию, которая использует алгоритм Вэллфорда для подсчета стандартного отклонения:
Подскажите в чем причина, должно ли быть так? Может нужно вообще иначе распраллеливать? Просто я впервые столкнулся с необходимостью многопоточной обработки очень больших файлов.
0
|
|||||||||||
| 04.04.2025, 12:22 | |
|
Ответы с готовыми решениями:
33
Многопоточная обработка блоков данных Обработка большого xml файла в CBuilder6 TCP обработка большого файла |
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
|
| 04.04.2025, 17:56 | |
|
0
|
|
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
|
| 04.04.2025, 18:01 [ТС] | |
|
Мда, я затупил, извиняюсь. Работает, если число потоков кратно трем.
Добавлено через 1 минуту Нет, оказывается правильно) Добавлено через 49 секунд Почему никак? У меня ж вроде получилось.
0
|
|
|
4086 / 2975 / 813
Регистрация: 29.06.2020
Сообщений: 11,000
|
|||
| 04.04.2025, 18:08 | |||
|
Даже если файл имеет строки равной длины, в символах. То делить файл можно только на части кратных этой длине. Иначе вы "порежете" числа.
0
|
|||
|
2737 / 892 / 331
Регистрация: 10.02.2018
Сообщений: 2,136
|
|||
| 04.04.2025, 18:22 | |||
0
|
|||
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
|
| 04.04.2025, 18:26 [ТС] | |
|
0
|
|
|
2737 / 892 / 331
Регистрация: 10.02.2018
Сообщений: 2,136
|
|
| 04.04.2025, 18:39 | |
Сообщение было отмечено MeXaL как решение
Решение
MeXaL, а если посмотреть на результирующее количество чисел по фрагментам, насколько они "плохи", среди них попадаются нолики или все фрагменты содержат хоть сколько-нибудь чисел? Может тут какой-нибудь эффект связанный с сиком по текстовому файлу?
1
|
|
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
||||||||||||||||
| 04.04.2025, 19:17 [ТС] | ||||||||||||||||
|
Ну да, все просто. Почему я сам не посмотрел. В некоторых потоках std::ifstream сразу же фэйлится. И видимо понятно почему. В некоторых местах указатель буффера может попасть на точку, либо символ 'E', либо '+', либо '-' в тектовом представлении числа))) Поэтому писать
Заменил на
Можно более элегантно:
Проблема решилась, спасибо за помощь!
0
|
||||||||||||||||
| 04.04.2025, 19:47 | |
|
0
|
|
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
||
| 04.04.2025, 21:34 [ТС] | ||
|
А почему убийца HDD? Что не так?
Добавлено через 1 час 32 минуты
0
|
||
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
|
| 05.04.2025, 10:10 [ТС] | |
|
0
|
|
|
фрилансер
6501 / 5737 / 1134
Регистрация: 11.10.2019
Сообщений: 15,373
|
|
| 05.04.2025, 10:36 | |
|
MeXaL, HDD, в отличие от SSD, имеет механическую часть. И если в двух потоках с двух удалённых друг от друга частей файла начать читать данные, механика будет бешено двигаться туда-сюда.
0
|
|
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
|
| 05.04.2025, 10:52 [ТС] | |
|
Ясно, а что тогда будет лучше?
0
|
|
|
Нарушитель
6321 / 3047 / 1054
Регистрация: 01.06.2021
Сообщений: 11,645
|
||
| 05.04.2025, 10:57 | ||
|
0
|
||
|
2 / 2 / 0
Регистрация: 10.09.2023
Сообщений: 70
|
|
| 05.04.2025, 11:18 [ТС] | |
|
Спасибо тебе/
0
|
|
| 05.04.2025, 11:18 | |
|
многопоточная программа Многопоточная запись в TRichEdit Многопоточная программа работает через раз. SQLITE и многопоточная работа Реализация класса "Многопоточная очередь" Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала.
Ниже прикреплён. . .
|
Программа опроса у.з. расходомера SLS-720F
Argus19 02.09.2026
Программа опроса у. з. расходомера SLS-720F
Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU.
Опрашиваются регистры. . .
|
Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0.
Maks 31.08.2026
При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка:
Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
|
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм
anaschu 30.08.2026
Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо
Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .
|
|
Оттачиваю умение писать js программы.
russiannick 30.08.2026
Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман.
Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .
|
мат медиц модель 30. презентация проекта
anaschu 27.08.2026
хоп хоп хоп хидахоп, а я кладую))
|
Как у меня протекала болезнь
zorxor 27.08.2026
Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .
|
Нашел вот забавное видео о измерениях. Лучшее что я видел на эту тему
kumehtar 26.08.2026
ILETXiw9bMQ
Основная суть и тезисы по измерениям:
0D (Нулевое измерение): точка, не имеющая длины, ширины, высоты или объема.
Объект не может перемещаться в 0D.
1D (Первое измерение):. . .
|