Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.89/18: Рейтинг темы: голосов - 18, средняя оценка - 4.89
5 / 10 / 3
Регистрация: 05.10.2010
Сообщений: 97

GZipStream - параллельная распаковка файла большого размера

22.03.2012, 16:37. Показов 3501. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет! Проблема отображена в названии темы. С сжатием всё понятно: читаем кусочки файлов отдельным потоком, несколькими потоками эти кусочки сжимаем и отдельным потоком записываем. С распаковкой так сделать не получается, т.к. не известно каких размеров куски нужно читать, что приводит к забавной ошибке: "Неправильное магическое число в заголовке GZip. Передача должна идти в поток GZip." Есть идеи по поводу того, как с этим бороться?
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
22.03.2012, 16:37
Ответы с готовыми решениями:

GZipStream. Сжатие, распаковка файла.
Народ помогите разобраться, вот правильно ли я сжимаю и разжимаю файлы? Просто например WinRar не может распаковать такой сжатый файл, так...

Распаковка с использованием GZipStream
Всем привет. Поставлена задача - используя библиотеку GZipStream, осуществить Multi-Thread упаковку/распаковку. Задача тут описывалась...

Сжатие/распаковка GZipStream (net 3.5) на всех ядрах
Доброго времени суток всем. Недавно начал искать работу джуниором, нашёл вакансию, предложили выполнить тестовое задание. От части...

2
 Аватар для Masia_March
70 / 70 / 12
Регистрация: 09.08.2011
Сообщений: 116
Записей в блоге: 1
22.03.2012, 17:24
Лучший ответ Сообщение было отмечено dmz как решение

Решение

И так сжатие

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
                                    foreach (var storageItemMetadata in itemMetadatas)
                                    {
                                        byte[] bytes = adapterBinary.LoadBinaryObject(storageItemMetadata.ID,
                                                                                      EntityType.Workspace);
                                        string nameWorkspacesSaveFile = Path.ChangeExtension(Path.Combine(storageItemMetadata.Name),
                                                                 "xml");
                                        nameWorkspaces =
                                            Path.ChangeExtension(Path.Combine(folderpatch, storageItemMetadata.Name),
                                                                 "xml");
                                        using (Stream stream = File.Open(nameWorkspaces, FileMode.Create))
                                        {
                                            using (GZipStream gz = new GZipStream(stream, CompressionMode.Compress))
                                            {
                                                (new BinaryFormatter()).Serialize(gz, bytes);
                                                gz.Close();
                                            }
                                            stream.Close();
                                        }                                       
                                    }
                                }
Распаковка:
C#
1
2
3
4
5
6
7
8
9
 using (Stream stream = File.Open(Path.Combine(_readConfiguration,path), FileMode.Open))
                                                                       {
                                                                           using (GZipStream gz = new GZipStream(stream, CompressionMode.Decompress))
                                                                           {
                                                                               bytes = (byte[])(new BinaryFormatter()).Deserialize(gz);
                                                                               gz.Close();
                                                                           }
                                                                           stream.Close();
                                                                       }
Предо мной стояла задача, создать универсальную утилиту которая сохраняла данные БД в xml-формате,при этом сжимала получены файл и обратно из файл в БД.
0
5 / 10 / 3
Регистрация: 05.10.2010
Сообщений: 97
22.03.2012, 17:46  [ТС]
Спасибо, конечно, только непонятно как это связано с сабжем?

Идея такая: файл большой, поэтому читаем кусоки запакованного файла в цикле в отдельном потоке, в других потоках распаковываем каждый из кусков, и в ещё одном потоке рапакованные кусочки сливаем в результирующий файл.
Вопрос: как определить на какие куски бить исходный файл?
Причина появления вопроса: при запаковке можно бить на кусочки произвольного размера - это ни на что влиять не будет, при распаковке же, надо знать где начинается в исходном потоке новый блок.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
22.03.2012, 17:46
Помогаю со студенческими работами здесь

Создать поток сжатия GZipStream, и перенести данные из открытого файла в поток GZipStream
Здравствуйте. Объясните мне пожалуйста следующую вещь: Необходимо открыть файл для чтения. Создать поток сжатия GZipStream, и перенести...

Считывание файла большого размера
Имеется задача, нужно открыть бинарный файл больших размеров, так, чтобы не произошло переполнение оперативной памяти! Подскажите...

Шифрование файла большого размера
Вопрос нубского характера. Как зашифровать алгоритмом AES файл большого размера, основываясь на том факте, что метод cipher.doFinal()...

Открытие файла большого размера
Имеется задача, нужно открыть бинарный файл больших размеров, так, чтобы не произошло переполнение оперативной памяти! Подскажите...

Перезапись файла большого размера
Помогите реализовать запись в тот же файл с которого было произведено чтение через буфер,приходиться работать с файлами больших размеров...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Нашел на реддите интересную статью под названием «Кто-нибудь знает, где получить бесплатный компьютер или. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru