Работа с zip архивами

@testuser2 · Регистрация: 08.02.2017

Студворк — интернет-сервис помощи студентам

Из всего, что попадалось по теме сжатия/распаковки ZIP наиболее интересные были примеры с использованием библиотеки Zlib. Оригинальная zlib использует cdecl экспорт функций, но есть реализация zlibwapi.dll, которую можно использовать в VB. Вот хороший пример использования. Там можно увидеть как сжть/распаковать массив байтов, но вот беда, очень сложно найти пример под VB с более обширным использованием, способной на большее, данной либы, которая не есть простая, там есть функции с использованием множества параметров констант и длинных структур, которые чтобы узнать наверное надо долго копатся в сишных заголочниках. Но HackerVlad в личной беседе говорил, что у него есть исходники с использованием данной библиотеки, поэтому любезно прошу его поделиться данной информацией.

Добавлено через 1 минуту
кстати словосочетание zip-архивами в названии форум блочит почему-то )

Добавлено через 6 минут
На одном форуме есть хороший пример испльзования функций zlib для извлечения/распаковки отдельных файлов, там

Кликните здесь для просмотра всего текста

обсуждался какой-то экзотический ЯП Clarion, но очень наглядно

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
! Источнег: https://forum.clarionlife.net/viewtopic.php?t=2389
! Для добавления в архив PwlZip ваш пароль
ZipHandle = zipOpen(NEW_ZIPPACK, 0)
If EncryptFlag = 1
Res# = zipOpenNewFileInZip3(ZipHandle, PATH_CURZIP, Zinfo, 0, 0, 0, 0, Comment, Z_DEFLATED, CompressionFlag,0,-15,8,0,PwlZip,0)
Else
Res# = zipOpenNewFileInZip(ZipHandle, PATH_CURZIP, Zinfo, 0, 0, 0, 0, Comment, Z_DEFLATED, CompressionFlag)
.
 
!Для чтения из архива
ZipHandle = unzOpen(PATH_INFILE_PACK)
LocRes1=UnzGoToFirstFile(ZipHandle)
If unzGetCurrentFileInfo(ZipHandle,FinFo,PATH_NAMEUPD_TMP,Size(PATH_NAMEUPD_TMP),0,0,Comment,Size(Comment)).
If FinFo.Flag = 3 !признак шифрованного zip по крайней мере так я понял после мыкания с архивами
LocRes2 = unzOpenCurrentFilePassword(ZipHandle,PwlZip)
Else
LocRes2 = UnzOpenCurrentFile(ZipHandle)

Здесь подробное описание функций, структур и констант, однако я не нашел там unzGetCurrentFileInfo и т.п.

@The trick · 17.02.2025, 15:24

Сообщение от HackerVlad

The trick, а ты в семёрке проверял?

Разницы нет хоть в 7ке хоть в XP хоть в 11, хоть в линуксе, виртуальная память работает везде одинаково.

@HackerVlad · 17.02.2025, 15:27

в семёрке может и не показывает taskmgr я хз
но в ProcessHacker'е я действительно нашёл такое понятие как виртуальная память там больше 100 Мб получается, это правда
про диспетчер задач в семёрке тоже правда - ничего не показывает

Добавлено через 2 минуты

Сообщение от The trick

Там либо файл не в ресурсах лежит либо это фейк.

Файл там в ресурсах на 100 мегабайт и это не фейк. Я сам компилировал. У меня вот так вот. У меня пиковый рабочий набор всего 9 Мб. Могу прислать этот EXE если не веришь.

@The trick · 17.02.2025, 15:36

Сообщение от HackerVlad

Файл там в ресурсах на 100 мегабайт и это не фейк. Я сам компилировал. У меня вот так вот. У меня пиковый рабочий набор всего 9 Мб. Могу прислать этот EXE если не веришь.

Не может такого быть. EXE файл парсится и все секции занимают виртуальную память. То что ты там запускаешь у себя - одному тебе известно. Могу предположить (по названию prjSFX) это проект где файл не в ресурсах, а в хвосте.

@HackerVlad · 17.02.2025, 15:45

The trick, ладно пришлю тебе и сам посмотришь, да в ресурсы я вшивал ну что ты я не знаю ну

Добавлено через 6 минут
Не, на 100 Мб вложения форум не потянул. Не получилось.

@The trick · 17.02.2025, 15:53

HackerVlad,

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Option Explicit
 
Private Sub Form_Load()
    Dim c As Collection
    Dim b() As Byte
    Dim n As Long
    
    On Error GoTo exit_
    
    Set c = New Collection
    
    ReDim b(1000000)
    
    Do
    
        c.Add b
        n = n + 1
        
    Loop While True
    
exit_:
    
    MsgBox n
    
End Sub

Вот запусти код у себя и убедись что с ресурсами у тебя пропорционально меньше выделений будет. В моем случае 1926 - 1825 = 101 - как раз на размер ресурсов.

@HackerVlad · 17.02.2025, 16:01

1746 выдало в IDE
1851 в EXE
что эти цифры значат вообще?

Добавлено через 3 минуты
всю оперативку засирать зачем, я не понял этого теста.

@The trick · 17.02.2025, 16:03

HackerVlad, подумай головой.

@HackerVlad · 17.02.2025, 16:18

Вот посмотри на мой проект. Тест будет на 25 Мб, так как больше залить на форум не получается. Откомпилируй EXE запусти диспетчер задач в семёрке и убедись, что я не обманываю. 25 Мб не будет в памяти.

@HackerVlad · 17.02.2025, 16:20

Всё, у меня 8 Мб только в памяти в taskmgr.

@The trick · 17.02.2025, 16:21

При создании 32-битного процесса ему выделяется 2ГБ (можно больше) адресного пространства. В этом пространстве лежат все DLL, EXE, стеки потоков, кучи и любая другая выделяемая процессом память. Частный набор это как раз то что не принадлежит ни одному образу (массивы, строки, стеки и т.п. динамическая память, а также writeable-секции). Все типы памяти занимают адресное пространство (считай виртуальную память) и у тебя просто физически не будет возможности выделить памяти если у тебя EXE файл будет занимать 100МБ столько же сколько ты можешь выделить памяти без такого "жирного" файла. Кладя в ресурсы такие огромные файлы ты просто напросто отжираешь регион памяти который нельзя освободить, такие файлы нужно класть в конец файла (есть еще ньюансы с discardable секциями, но в VB6 никто так заморачиваться не будет).
Вот vmmap как раз и показывает сколько у тебя памяти занято, а сколько доступно. К примеру пустой проект с одной формой при запуске занимает 88МБ виртуальной памяти:

Причем стоит учесть что эта память фрагментирована, так к примеру нельзя выделить кусок целиком в 1ГБ, т.к. такого куска просто нет в памяти, но можно навыделять кучу поменьше вплоть почти до 2ГБ.

Так что твое утверждение:

Сообщение от HackerVlad

Ну я вынужден возразить. Сегодня спецом даже 100 Мб аж целых засунул в ресурсы для проверки, откомпилировал EXE и программа в памяти как занимала мои пару мегабайт так и стала занимать. Ничего не изменилось.

неверно.

@HackerVlad · 17.02.2025, 16:32

The trick, ладно, ну тогда остаётся загадкой почему обманывает мой taskmgr
А если засунуть в секцию .text тоже будет съедать из виртуальной памяти? Или только ресурсы отъедают?

Добавлено через 23 секунды
А если в секцию .data?

@The trick · 17.02.2025, 16:36

HackerVlad, везде в секциях будет отъедать. Не будет отъедать за пределами EXE.

Добавлено через 1 минуту

Сообщение от HackerVlad

The trick, ладно, ну тогда остаётся загадкой почему обманывает мой taskmgr

Ну возможно еще ты эти ресурсы не загружал.

@HackerVlad · 17.02.2025, 16:38

The trick, ты проверил мой проект-тест? у тебя в семёрке что показывает? 25 Мб что ли будет? У меня что глючная винда что ли?

Добавлено через 1 минуту

Сообщение от The trick

еще ты эти ресурсы не загружал

Конечно не загружал, проект с пустой формой считай без кода. Запускаешь EXE проверяешь в памяти в taskmgr ничего не происходит, память не разбухает на 25 Мб.

@The trick · 17.02.2025, 16:43

Сообщение от HackerVlad

Конечно не загружал, проект с пустой формой считай без кода. Запускаешь EXE проверяешь в памяти в taskmgr ничего не происходит, память не разбухает на 25 Мб.

Ну а как ты с ресурсами собрался работать не загружая их? Конечно у тебя частный набор не увеличится, но память все равно отжирается, просто она не в частном наборе, а в маппинге.
Я тебе поэтому и скинул тест где ты выделяешь по 1МБ пока есть память чтобы показать что памяти на 100МБ меньше.

@HackerVlad · 17.02.2025, 16:52

Сообщение от The trick

Ну а как ты с ресурсами собрался работать не загружая их?

Жесть, а ты сразу не мог сказать, что ты имеешь ввиду что нужно загружать ресурсы в коде, блин ну это итак понятно что начнётся жрать оперативка. Я думал просто запустил EXE и всё, ты имеешь ввиду, и сразу память отожралась.

Добавлено через 52 секунды
Если ты будешь загружать из хвоста EXE у себя в коде данные то тоже начнёт отъедаться оперативка, это будет тогда одно и тоже. Вряд ли ты будешь заморачиваться с нарезанием на чанки.

@The trick · 17.02.2025, 16:55

Сообщение от HackerVlad

Я думал просто запустил EXE и всё, ты имеешь ввиду, и сразу память отожралась.

Так и есть, память сразу отжирается. Для кого я это сейчас писал?

Добавлено через 36 секунд

Сообщение от HackerVlad

Если ты будешь загружать из хвоста EXE у себя в коде данные то тоже начнёт отъедаться оперативка, это будет тогда одно и тоже. Вряд ли ты будешь заморачиваться с нарезанием на чанки.

А так не отжирается. Ты загрузил данные, обработал и освободил память.

@HackerVlad · 17.02.2025, 16:59

Сообщение от The trick

Для кого я это сейчас писал?

В taskmgr это не показывается. Только в других программах можно это увидеть. Пока ты не загрузишь ресурсы в коде.

@The trick · 17.02.2025, 17:02

Сообщение от HackerVlad

Только в других программах можно это увидеть.

И что это меняет? Как это опровергает это:

Сообщение от The trick

Секция ресурсов всегда отображается в память и всегда занимает виртуальную память, поэтому почти никогда не делают инсталляторы с данными в ресурсах. Представь 300МБ инсталлятор который при запуске "отжирает" 300 метров, на деле только ехе файл занимает память, а данные в хвосте игнорируются.

@HackerVlad · 17.02.2025, 19:39

The trick, ну ок, я понял, значит отъедает память, ок

Добавлено через 5 минут
The trick, а в vb6 ограничивает размер компилируемого exe в 2Гб?

Добавлено через 42 секунды
Или и того меньше наверное)))) не пробовал прям гигабайтами целыми никогда)

Добавлено через 2 часа 10 минут
Я протестировал работу класса от The Trick, где в хвост EXE записываются файлы, так вот при чтении этих файлов, тоже код класса довольно много отъедает виртуальной памяти, пик даже в три раза превышает размер вложения в EXE (я тестировал на 25 Мб) у меня больше чем 75 Мб пик идёт, пока не понял почему.

Добавлено через 1 минуту
Но зато понравилось что имена файлов в юникоде хранятся, это интересная особенность, по сути можно было бы сделать само-распаковывающийся архив на этой технологии, а буфера файлов распаковывать любым алгоритном, не важно каким, сам список файлов вшивается по технологии The Trick это интересно конечно.

Добавлено через 1 минуту
Не понравилось только то что к EXE прибалвяется около 40 Кб по размеру класса. Если писать SFX своё EXE то плюс 40 Кб это много

Добавлено через 2 минуты
Хотя тогда пришлось бы допиливать этот класс и вшивать ни только имена файлов но и дату время и атрибуты файлов... Короче не подойдёт для SFX exe

Добавлено через 2 минуты
Но суть в том, что эта система точно так же отъедает и виртуальную память и оперативную, в чём разница тогда, в ресурсы зашью, в секцию .text или в хвост EXE

@The trick · 17.02.2025, 19:44

Сообщение от HackerVlad

Но суть в том, что эта система точно так же отъедает и виртуальную память и оперативную, в чём разница тогда, в ресурсы зашью, в секцию .text или в хвост EXE

В том о чем уже не раз писалось. Одно дело когда у тебя 100МБ отъедаются и все и больше ты их не вернешь, а другое дело когда ты загрузил нужные данные и освободил 100МБ. К примеру у тебя какая-то БД, ты загрузил только нужные данные и выгрузил их.

Сообщение от HackerVlad

Короче не подойдёт для SFX exe

SFX это вообще-то архив. В самом простом случае берешь ZIP файл и вставляешь в конец EXE, а в коде распаковываешь его. А класс позволяет хранить файлы в конце без всякого сжатия, такой exe ни один архиватор не откроет.

Сообщение от HackerVlad

Не понравилось только то что к EXE прибалвяется около 40 Кб по размеру класса. Если писать SFX своё EXE то плюс 40 Кб это много

Это плата за универсальность - можно хранить множество типов данных и быстро их загружать. И не 40 КБ, а 32.

Новые блоги и статьи Все статьи Все блоги /
ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .

@HackerVlad Вернулся 1778 / 673 / 46 Регистрация: 10.09.2021 Сообщений: 2,820
	17.02.2025, 15:45
	The trick, ладно пришлю тебе и сам посмотришь, да в ресурсы я вшивал ну что ты я не знаю ну Добавлено через 6 минут Не, на 100 Мб вложения форум не потянул. Не получилось. 0

@HackerVlad Вернулся 1778 / 673 / 46 Регистрация: 10.09.2021 Сообщений: 2,820
	17.02.2025, 16:01
	1746 выдало в IDE 1851 в EXE что эти цифры значат вообще? Добавлено через 3 минуты всю оперативку засирать зачем, я не понял этого теста. 0

@The trick Модератор 10068 / 3913 / 886 Регистрация: 22.02.2013 Сообщений: 5,863 Записей в блоге: 79
	17.02.2025, 16:03
	HackerVlad, подумай головой. 0

@HackerVlad Вернулся 1778 / 673 / 46 Регистрация: 10.09.2021 Сообщений: 2,820
	17.02.2025, 16:20
	Всё, у меня 8 Мб только в памяти в taskmgr. 0

@HackerVlad Вернулся 1778 / 673 / 46 Регистрация: 10.09.2021 Сообщений: 2,820
	17.02.2025, 16:32
	The trick, ладно, ну тогда остаётся загадкой почему обманывает мой taskmgr А если засунуть в секцию .text тоже будет съедать из виртуальной памяти? Или только ресурсы отъедают? Добавлено через 23 секунды А если в секцию .data? 0

@HackerVlad Вернулся 1778 / 673 / 46 Регистрация: 10.09.2021 Сообщений: 2,820
	17.02.2025, 19:39
	The trick, ну ок, я понял, значит отъедает память, ок Добавлено через 5 минут The trick, а в vb6 ограничивает размер компилируемого exe в 2Гб? Добавлено через 42 секунды Или и того меньше наверное)))) не пробовал прям гигабайтами целыми никогда) Добавлено через 2 часа 10 минут Я протестировал работу класса от The Trick, где в хвост EXE записываются файлы, так вот при чтении этих файлов, тоже код класса довольно много отъедает виртуальной памяти, пик даже в три раза превышает размер вложения в EXE (я тестировал на 25 Мб) у меня больше чем 75 Мб пик идёт, пока не понял почему. Добавлено через 1 минуту Но зато понравилось что имена файлов в юникоде хранятся, это интересная особенность, по сути можно было бы сделать само-распаковывающийся архив на этой технологии, а буфера файлов распаковывать любым алгоритном, не важно каким, сам список файлов вшивается по технологии The Trick это интересно конечно. Добавлено через 1 минуту Не понравилось только то что к EXE прибалвяется около 40 Кб по размеру класса. Если писать SFX своё EXE то плюс 40 Кб это много Добавлено через 2 минуты Хотя тогда пришлось бы допиливать этот класс и вшивать ни только имена файлов но и дату время и атрибуты файлов... Короче не подойдёт для SFX exe Добавлено через 2 минуты Но суть в том, что эта система точно так же отъедает и виртуальную память и оперативную, в чём разница тогда, в ресурсы зашью, в секцию .text или в хвост EXE 0