|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||||||
Чтение/запись в файл с использованием многопоточности06.08.2014, 01:01. Показов 17645. Ответов 38
Метки нет (Все метки)
Доброго времени суток!
Хочу решить следующую задачу: Есть большой бинарный файл (несколько гигабайт к примеру). Нужно разбить этот файл на части и записать в другой файл хэши этих частей, используя многопоточность (многопроцессорность). С ней я никогда не работал. Читал про процессы, потоки и т.д. Но никогда не использовал в программах. Предполагаю сделать так
0
|
||||||
| 06.08.2014, 01:01 | |
|
Ответы с готовыми решениями:
38
Открыть текстовый файл в необходимом режиме (на чтение, на чтение и запись, на добавление) Чтение/запись в файл Чтение и запись в файл |
|
873 / 771 / 173
Регистрация: 11.01.2012
Сообщений: 1,942
|
|
| 06.08.2014, 05:18 | |
|
Скажу что думаю, возможно не прав.
Допустим файл записан на диске. Используем для чтения многопоточность. Работают несколько потоков. первый поток сдвигает головку для чтения в нужный ему сектор диска, читает. Тут второй поток, ему нужно тоже читать в своем секторе. Приостанавливается первый поток, работает второй. Тут вмешивается третий .. потом четвертый и т.д. И так головку дергаем туда-сюда, и какой же тут выигрыш ? Поэтому для чтения многопоточность не нужна.
0
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|||||||
| 06.08.2014, 13:20 [ТС] | |||||||
|
Добавлено через 5 часов 9 минут А можно ли читать файл с помощью read по частям?
0
|
|||||||
|
710 / 283 / 16
Регистрация: 31.03.2013
Сообщений: 1,340
|
|
| 06.08.2014, 13:42 | |
|
Отображай содержание файла в память и с памятью уже затем и работай ( см. memory mapped files )
3
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||||||
| 06.08.2014, 14:59 [ТС] | ||||||
|
Voivoid, много раз про то слышал, но ни разу не видел, как это нормально реализуется. На msdn нашел хорошие примеры на C#, но не C++.
Не подскажите как использовать? Кажется, реализация есть в разных библиотеках? Эта из буста нашел.
0
|
||||||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
|
| 06.08.2014, 15:11 | |
|
2
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 06.08.2014, 17:55 [ТС] | |
|
uglyPinokkio, Спасибо! Сейчас буду пробовать. А если размер файла больше доступной памяти? Мы ведь резервируем пространство, равное размеру файла, нет?
0
|
|
|
710 / 283 / 16
Регистрация: 31.03.2013
Сообщений: 1,340
|
|
| 06.08.2014, 20:39 | |
|
1
|
|
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
|||||||
| 06.08.2014, 21:44 | |||||||
0
|
|||||||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 06.08.2014, 23:03 [ТС] | |
|
uglyPinokkio, Как раз решил попробовать собрать эту программу. Путем докручивания разных библиотек и прибавления TEXT перед путем к файлу. У меня есть электронный учебник Рихтера и там есть TEXT (без этого ругается на несоответствие форматов).
Программа не находит нулевых байтов.... Не знаю в чем проблема.
0
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 06.08.2014, 23:56 [ТС] | |
|
Прошу прощения. Программа работает.
У нас есть спроецированный файл, его делим по блокам. Делаем с блоками что то(например, рассчитываем хэш). Как реализовать тут многопоточность грамотно? И к чему её можно прикрутить?
0
|
|
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
|
| 07.08.2014, 05:33 | |
|
1
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||
| 07.08.2014, 09:23 [ТС] | ||
|
0
|
||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
||
| 07.08.2014, 09:29 | ||
|
Мапишь окно размер_блока*количество ядер в потоках считаешь хеши блоков двигаешь окно дальше.
1
|
||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|||||||
| 07.08.2014, 09:30 [ТС] | |||||||
0
|
|||||||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
||
| 07.08.2014, 09:49 | ||
|
Вот этот цикл распараллеливаем.
1
|
||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||
| 07.08.2014, 11:57 [ТС] | ||
|
Про количество блоков все равно не понял. . Прикрепляю солюшен. В файле crc добавил OMP. А вот с блоками что делать?
0
|
||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
||||||||
| 07.08.2014, 12:25 | ||||||||
|
Мапим часть файла, размером, равным произведению размера блока на количество ядер. Имеем указатель на начало этого участка. Далее пишем цикл, типа:
Или я чего-то не понимаю, или не умею объяснять.
0
|
||||||||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 07.08.2014, 12:32 [ТС] | |
|
0
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||||||||
| 07.08.2014, 12:39 [ТС] | ||||||||
А потом мы добавляем параллельность при расчете хэша. Я правильно её реализовал, кстати?
0
|
||||||||
| 07.08.2014, 12:39 | |
|
Помогаю со студенческими работами здесь
20
Чтение и запись в файл Чтение и запись в файл Запись и чтение в файл Чтение запись в файл Чтение и запись в файл Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git
main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели
8ATzM_2aurI
|
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2.
Задача: запретить редактирование документа, если он открыт у другого пользователя.
/ / . . .
|
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои.
А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
|
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%
kYBz3eJf3jQ
|
|
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
|
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
|
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора
Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если. . .
|
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
|