FileCompressor Technical Preview build 13073 (ProgramId 2 not full)

Дорогие пользователи форума CyberForum! Прошу оценить новое мое творение - не супергигантское, но сравнительно большое обновление компрессора файлов! Оно является прямым продолжением этой и этой версий, поэтому подробно описывать не буду. Как и в прошлый раз, напишу список изменений:
1. В десятки, сотни, а иногда и в тысячи раз увеличена скорость сжатия. Теперь пиковая замеченная мной скорость составляет 1.5 ГБ/ч. Впрочем, на текстах разница намного меньше, так как Лемпель-Зив ускорился всего в несколько раз, и в случае, если Хаффман и E-RLE (смотрите ниже) не сжали файл в несколько десятков раз, занимает 95% времени. Упомянутое мной в предыдущей аналогичной теме изображение теперь сжимается за 5 секунд, а что касается пустой и цветной клеток - я не успеваю открыть часы после того, как щелкну по файлу. Что касается сжатия Destroying of Figures 1.bmp предыдущей версией - два раза я пытался это сделать, и два раза компрессор вылетел.
2. Появились новые методы сжатия - E-RLE, кодирующий не только повторные, но и неповторные серии (полностью заменил RLE), BWT, MTF и Хаффман для слов. Вследствие этого, существенно увеличилось количество однобитных гарантий - еще немного, и оно перепрыгнет через байт! Как можно видеть во втором прикрепленном архиве (по техническим причинам результаты распались на 3 файла), в основном на файлах достаточного размера степень сжатия увеличилась. Также добавилось много новых файлов, сжатие которых стало возможным благодаря ускорению и исправлениям.
3. Немного увеличилась форма компрессора, добавилась кнопка "Открыть для пересжатия" (пока не работает) и примитивные настройки - можно менять время сжатия и включать полную проверку (по умолчанию выключена для ускорения). Заранее предупреждаю, что степень сжатия не всегда прямо зависит от времени.
4. По просьбе Usaga я отказался от C++/CLI и перешел на C#.
5. К сожалению, одно из обещаний, данных в теме про первое обновление, оказалось невыполненным и уже невыполнимым - распаковывать файлы, сжатые первой версией FileCompressor, больше нельзя. При попытке это сделать высвечивается соответствующее сообщение.
6. Прозрачный фон надписей на полосах загрузки я сделать не смог, а подписать их хотелось, поэтому пришлось сделать компромиссный вариант - надписи непрозрачные, но занимают не всю высоту полос, посередине можно видеть надписи, а сверху и снизу - прогресс сжатия.
7. Опять же из-за ускорения, я убрал обращение к статусной полосе загрузки в каждой итерации цикла, и теперь она может заполняться скачками, зависать и быть рассинхронизированной с полной и текущей.
8. Убрано консольное окно.
9. Существенно увеличились требования к памяти. Теперь для сжатия "Гигантским" временем файла размером 10 КБ памяти требуется 1.2 ГБ, так что слабый компьютер сжатие большого файла может вообще не потянуть. Впрочем, после достижения этого порога - 1.2 ГБ - рост требований к памяти резко замедляется.
10. Суровая реальность такова, что возникли серьезные проблемы с распаковкой. И теперь, выражаясь языком теории вероятностей, событие "при распаковке компрессор вылетит" является практически достоверным (вероятность около 99.999%, а если один раз вылетел на данном файле, то при неограниченном количестве повторных попыток распаковать его же - 100%).
Что появится в третьем обновлении:
1. Распаковать файлы, сжатые первой версией, будет нельзя уже никогда. Единственный выход - скачать первую версию и распаковать ею, а затем сжать новой.
2. Будет оптимизирован порядок методов, что в некоторых случаях увеличит как скорость, так и степень сжатия.
3. Надеюсь, распаковка файлов наконец будет более вероятна.
4. Есть небольшая вероятность, что появятся еще какие-либо методы, а значит, и "Супергигантское" время сжатия.
Предупреждение для желающих оценить компрессор: прошу сравнивать не только с всемирно известными компрессорами/архиваторами, а и с предыдущими версиями FileCompressor - мне кажется, программа улучшилась существенно, хотя, конечно, до уровня ZIP мне еще далеко.

Вложения

	FileCompressor Technical Preview build 13073.rar (25.7 Кб, 13 просмотров)
	FileCompressor.zip (15.57 Мб, 15 просмотров)

0

Я вообще не понимаю что там улучшать можно(если не менять исходный алгоритм иначе он уже будет неЛемпеле-Зиве)?Ежу же понятно - что основной способ ускорения это использования всех ресурсов процессора.

Я же вижу что у меня из 12 потоков используется 1 на 20%

Подсказываю мега алгоритм.

1. Получаем количество ядер
2. Делим исходный файл на количество ядер
3. Архивируем каждую часть на своём ядре
4. PROFIT

0

0