|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||||||
Чтение/запись в файл с использованием многопоточности06.08.2014, 01:01. Показов 17427. Ответов 38
Метки нет (Все метки)
Доброго времени суток!
Хочу решить следующую задачу: Есть большой бинарный файл (несколько гигабайт к примеру). Нужно разбить этот файл на части и записать в другой файл хэши этих частей, используя многопоточность (многопроцессорность). С ней я никогда не работал. Читал про процессы, потоки и т.д. Но никогда не использовал в программах. Предполагаю сделать так
0
|
||||||
| 06.08.2014, 01:01 | |
|
Ответы с готовыми решениями:
38
Открыть текстовый файл в необходимом режиме (на чтение, на чтение и запись, на добавление) Чтение/запись в файл Чтение и запись в файл |
|
873 / 771 / 173
Регистрация: 11.01.2012
Сообщений: 1,942
|
|
| 06.08.2014, 05:18 | |
|
Скажу что думаю, возможно не прав.
Допустим файл записан на диске. Используем для чтения многопоточность. Работают несколько потоков. первый поток сдвигает головку для чтения в нужный ему сектор диска, читает. Тут второй поток, ему нужно тоже читать в своем секторе. Приостанавливается первый поток, работает второй. Тут вмешивается третий .. потом четвертый и т.д. И так головку дергаем туда-сюда, и какой же тут выигрыш ? Поэтому для чтения многопоточность не нужна.
0
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|||||||
| 06.08.2014, 13:20 [ТС] | |||||||
|
Добавлено через 5 часов 9 минут А можно ли читать файл с помощью read по частям?
0
|
|||||||
|
710 / 283 / 16
Регистрация: 31.03.2013
Сообщений: 1,340
|
|
| 06.08.2014, 13:42 | |
|
Отображай содержание файла в память и с памятью уже затем и работай ( см. memory mapped files )
3
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||||||
| 06.08.2014, 14:59 [ТС] | ||||||
|
Voivoid, много раз про то слышал, но ни разу не видел, как это нормально реализуется. На msdn нашел хорошие примеры на C#, но не C++.
Не подскажите как использовать? Кажется, реализация есть в разных библиотеках? Эта из буста нашел.
0
|
||||||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
|
| 06.08.2014, 15:11 | |
|
2
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 06.08.2014, 17:55 [ТС] | |
|
uglyPinokkio, Спасибо! Сейчас буду пробовать. А если размер файла больше доступной памяти? Мы ведь резервируем пространство, равное размеру файла, нет?
0
|
|
|
710 / 283 / 16
Регистрация: 31.03.2013
Сообщений: 1,340
|
|
| 06.08.2014, 20:39 | |
|
1
|
|
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
|||||||
| 06.08.2014, 21:44 | |||||||
0
|
|||||||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 06.08.2014, 23:03 [ТС] | |
|
uglyPinokkio, Как раз решил попробовать собрать эту программу. Путем докручивания разных библиотек и прибавления TEXT перед путем к файлу. У меня есть электронный учебник Рихтера и там есть TEXT (без этого ругается на несоответствие форматов).
Программа не находит нулевых байтов.... Не знаю в чем проблема.
0
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 06.08.2014, 23:56 [ТС] | |
|
Прошу прощения. Программа работает.
У нас есть спроецированный файл, его делим по блокам. Делаем с блоками что то(например, рассчитываем хэш). Как реализовать тут многопоточность грамотно? И к чему её можно прикрутить?
0
|
|
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
|
| 07.08.2014, 05:33 | |
|
1
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||
| 07.08.2014, 09:23 [ТС] | ||
|
0
|
||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
||
| 07.08.2014, 09:29 | ||
|
Мапишь окно размер_блока*количество ядер в потоках считаешь хеши блоков двигаешь окно дальше.
1
|
||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|||||||
| 07.08.2014, 09:30 [ТС] | |||||||
0
|
|||||||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
||
| 07.08.2014, 09:49 | ||
|
Вот этот цикл распараллеливаем.
1
|
||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||
| 07.08.2014, 11:57 [ТС] | ||
|
Про количество блоков все равно не понял. . Прикрепляю солюшен. В файле crc добавил OMP. А вот с блоками что делать?
0
|
||
|
327 / 230 / 55
Регистрация: 30.05.2014
Сообщений: 682
|
||||||||
| 07.08.2014, 12:25 | ||||||||
|
Мапим часть файла, размером, равным произведению размера блока на количество ядер. Имеем указатель на начало этого участка. Далее пишем цикл, типа:
Или я чего-то не понимаю, или не умею объяснять.
0
|
||||||||
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
|
| 07.08.2014, 12:32 [ТС] | |
|
0
|
|
|
6 / 6 / 1
Регистрация: 27.08.2013
Сообщений: 128
|
||||||||
| 07.08.2014, 12:39 [ТС] | ||||||||
А потом мы добавляем параллельность при расчете хэша. Я правильно её реализовал, кстати?
0
|
||||||||
| 07.08.2014, 12:39 | |
|
Помогаю со студенческими работами здесь
20
Чтение и запись в файл Чтение и запись в файл Запись и чтение в файл Чтение запись в файл Чтение и запись в файл Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение.
И на уровне агентов добавится между грибами или бактериями взаимодействий.
До того я пробовал подход через многомерные массивы,. . .
|
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Programma_Boinc 01.01.2026
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Сочетание глобально распределённой вычислительной мощности и инновационных. . .
|
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Налог на собак: https:/ / **********/ gallery/ V06K53e
Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf
Пост отсюда. . .
|
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop?
Ниже её машинный перевод.
После долгих разбирательств я наконец-то вернула себе. . .
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод
Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод.
Thinkpad X220 Tablet —. . .
|
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|