Ares Preview 2.0 (Pre-Alpha)

И еще одна программа выходит снова после большого перерыва! Хотя в этот раз перерыв все же не два года, а только год и 3 или 4 месяца. Встречайте - полностью переработанный FileCompressor под кодовым названием Ares Preview 2.0 (в приложенном архиве). Я начал сразу с номера 2.0, так как это, по сути, продолжение существующей программы. Теперь добавились новые методы сжатия, включая мои авторские модификации - "для слов" и SHET, которые сжимают Властелина Колец всего на 19% слабее 7z! Причем другие архиваторы уже не сжимают файлы, сжатые Ares, в отличие от старых, что является аргументом в пользу правдивости этого размера. Также появилась возможность гибко управлять применяемыми инструментами с помощью специальных флажков и переключателя PSB/ARIC. К сожалению, пока нельзя отключить Лемпель-Зив, или наоборот, отключить все, кроме него, но если я не брошу программу, то это будет исправлено. Розовым выделены инструменты, распаковка которых вылетает. Также теперь ни один файл не будет сжиматься два часа (представьте себе!). Если размер файла приемлемый для Ares (например, Властелин Колец - 4 МБ), он сожмет быстро, если неприемлемый (например, 650 МБ) - сдастся сразу. Тесты показали, что на среднем компьютере (я считаю свой компьютер более-менее средним) с базовыми настройками Властелин Колец сжимается 18 секунд (!!!), с экстремальными - 8 минут 11 секунд. Хотя есть одна проблема: почти половину этого времени ни одна полоса загрузки не двигается ни на пиксел, так что создается иллюзия, что программа зависла. Очень надеюсь, что программа улучшилась.

Вложения

Ares Preview 2.0.rar (73.6 Кб, 9 просмотров)

0

Etyuhibosecyu, скачал третий билд. Текстовый файл на 1 мб сжал, но распаковать не удалось, программа вылетела.

И кстати, чем отличается кнопка Открыть от Открыть для сжатия?

0

Сообщение от MrOnlineCoder И кстати, чем отличается кнопка Открыть от Открыть для сжатия?

Ну что непонятного? Первая открывает, вторая открывает для сжатия.

1

Сообщение от Croessmah И даже не падает

Да, только когда попробовал распаковать сам ехешник архиватора в той же папке, получил ошибку, так как он не смог наверно открыть файл для записи когда работает сама программа. Но зато "не упал"!

0

Сообщение от MrOnlineCoder Текстовый файл на 1 мб сжал, но распаковать не удалось, программа вылетела.

С розовыми флажками распаковать никогда не удастся. Без розовых - Властелина Колец распаковывает, на одних нулях не тестировал.

Сообщение от MrOnlineCoder И кстати, чем отличается кнопка Открыть от Открыть для сжатия?

Кнопка Открыть открывает для распаковки во временную папку и нижеследующего открытия.

0

Сообщение от Etyuhibosecyu С розовыми флажками распаковать никогда не удастся.

тогда какой в них смысл? и я не могу это протестировать, некоторые флажки снять нельзя

0

И, к слову.

Сообщение от Etyuhibosecyu Не лучше, но 119 КБ против 107 - не намного и хуже.

Поставил все флажки + ARIC - 102 КБ, так что Ares все же способен сжать лучше архиватора от locm.

0

Etyuhibosecyu, попробовал снять флажки, оставив только C-S1, HF. Удалось сжать пустой файл, файл с 1 словом, файл с большим количеством одинаковых букв и файл с 1 кб текстом "Lorem ipsum". Однако ни один их этих файлов распаковать не удалось. Есть хоть 1 рабочая конфигурация которая справится с этой задачей?

Вложения

Tests.zip (2.2 Кб, 2 просмотров)

0

Сообщение от MrOnlineCoder Надеюсь, алгоритм сам писали а не впихнули библиотеку типа zlib?

По быстрому алгоритм архивации не разработаешь... Использовал BriefLZ.
Заменив одну строку в коде можно использовать другие методы сжатия такие как LZMA (7z), TAR, ZIP и др.
К примеру в архиве с методом LZMA и создает/распаковывает 7z архив.

Вложения

Архиватор.zip (160.5 Кб, 9 просмотров)

0

del

0

Сообщение от Etyuhibosecyu По двум причинам. Первая - программа проходит по файлу много раз.

Делим файл на куски скажем по 100 МБ и каждый сжимаем по отдельности. Это практически на скажется на размере архива, но позволит снять ограничение на размер файла.

Сообщение от Etyuhibosecyu А если будет граница кусков на середине слова?

Файлы нужно рассматривать как бинарные.

Сообщение от Etyuhibosecyu Вторая - это в некотором смысле является барьером, чтобы программа не могла сжимать сутками.

Чтобы программа быстро сжимала нужно полностью пересмотреть код. Не стоит создавать миллиард объектов там где хватит одного! В вторых - многопоточность. Создайте столько потоков сколько ядер в процессоре и сжимайте в них. Это позволит полностью использовать процессор.

Вероятно для вас один из .NET языков был первым и даже не представляете какие накладные расходы имеет создание множества объектов, сборка мусора, регулярные выражения и др.
Чтобы это понять нужно иметь практику на процедурном низкоуровневом ЯП, без "облегчалок". А еще лучше поработать непосредственно с железом например микроконтроллерами, где ресурсы сильно ограничены (например 16 КБ для кода и 4 КБ оперативной памяти) и нет ни операционной системы, ни API, ни BIOS.

Сообщение от Etyuhibosecyu Это чтобы выделить слова в потоке байт.

А если данные бинарные? А если текстовые, но кодировка неизвестна? А если это смесь текстовых и разных кодировках и бинарных данных?

1

Сообщение от locm В вторых - многопоточность. Создайте столько потоков сколько ядер в процессоре и сжимайте в них. Это позволит полностью использовать процессор.

С этим у ТСа проблемы. Ему уже предлагали использовать многопоточность, на что он заявил, что эффективность алгоритма сжатия ухудшится потому, что он где-то об этом читал. Но глядя на результаты профилирования я точно могу сказать, что многопоточность ему точно не поможет. Даже хуже станет, с таким-то подходом к делу.

0

Лезть в многопоточность не понимая как работает то, что ты пишешь - заведомо провальная идея.
В случае ТСа надо начинать с азов, с его уровнем дай ему в руки С++ он бы не то, что себе в ногу выстрелил, а вообще бы вторую Хиросиму устроил в радиусе 100км.

0

Kastaneda, так он свой "построитель окон" и начинал с плюсов. Там дичь непроглядная была из std::string и std:string::substr. Такая же, в общем, чертавня как и на C# с List<T>. Только ещё с утечками и segmentation fault'ами.

Его надо на голый Си пересадить и держать там до просветления.

0

Сообщение от Usaga Его надо на голый Си пересадить и держать там до просветления.

Звучит как план, на месте ТСа я бы прислушался.

0

Сообщение от locm Делим файл на куски скажем по 100 МБ и каждый сжимаем по отдельности. Это практически на скажется на размере архива, но позволит снять ограничение на размер файла.

100 МБ - тоже неприемлемый кусок. Это нужно где-то по 8-16 МБ.

Сообщение от locm Файлы нужно рассматривать как бинарные.

Алгоритм рассчитан в первую очередь на тексты, для других видов будут Ares I, Ares Z и т. д.

Сообщение от locm Чтобы программа быстро сжимала нужно полностью пересмотреть код. Не стоит создавать миллиард объектов там где хватит одного!

Что миллиард, это вы хватили. Всего 13.6 миллионов List<T>. И что хватит одного - тоже неправда. Кроме того, я измерял в отладчике - от ресурсных оптимизаций время меняется на единицы процентов. Память меняется, время - нет (только в пределах естественных флуктуаций). ПРОВЕРЕНО!!! Тут скорее проблема в самом алгоритме.

Сообщение от locm В вторых - многопоточность. Создайте столько потоков сколько ядер в процессоре и сжимайте в них. Это позволит полностью использовать процессор.

А я использую многопоточность, вы не знали? Надо только выставить все флажки, и будет хоть и не столько, сколько ядер в элитном процессоре, но 6 потоков.

Сообщение от locm Вероятно для вас один из .NET языков был первым и даже не представляете какие накладные расходы имеет создание множества объектов, сборка мусора, регулярные выражения и др.

Еще как не первым. Чтобы прийти к нему, я прошел невероятно долгий путь. И проходил его, может быть, 9 лет и сколько-то месяцев (до .NET). Но C# оказался для меня самым удобным в настоящее время, так как C↑ᶜC, C with stations или какой-то подобный язык еще не разработан.

Сообщение от locm А если данные бинарные? А если текстовые, но кодировка неизвестна? А если это смесь текстовых и разных кодировках и бинарных данных?

1 - тогда Хаффман для слов сделает самый обыкновенный return, 2 - производится проверка на три основных кодировки, 3 - так не бывает, если только не создать это искусственно.

Сообщение от Usaga Ему уже предлагали использовать многопоточность, на что он заявил, что эффективность алгоритма сжатия ухудшится потому, что он где-то об этом читал.

Это прошлое. В настоящее время я использую многопоточность.

Сообщение от Kastaneda В случае ТСа надо начинать с азов, с его уровнем дай ему в руки С++ он бы не то, что себе в ногу выстрелил, а вообще бы вторую Хиросиму устроил в радиусе 100км.

Сообщение от Usaga Его надо на голый Си пересадить и держать там до просветления.

Как раз C++, а тем более "голый Си" - это не азы, в значении того, с чего надо начинать. Вот язык под названием "Алгоритм" (когда-то Usaga или Rius его уже находили) - это действительно настоящие азы для детей.

Билд четвертый. Теперь вместо вылета при распаковке программа выдает понятное человеку сообщение. Исправлен еще один квадратичный тормоз. Все файлы, перечисленные в #47, сжимаются и распаковываются.

Вложения

Ares Preview 2.0.rar (75.2 Кб, 3 просмотров)

0

Сообщение от Etyuhibosecyu В настоящее время я использую многопоточность.

И сколько потоков занимаются непосредственно сжатием?

0

Сообщение от Croessmah И сколько потоков занимаются непосредственно сжатием?

При всех флажках - 5.

Добавлено через 29 минут
Измерил время сжатия Властелина Колец четвертым билдом на экстремальных настройках - 5 минут 4 секунды при загруженном процессоре. Прогресс...

0

Сообщение от Etyuhibosecyu Как раз C++, а тем более "голый Си" - это не азы, в значении того, с чего надо начинать.

Си - как раз азы. Там нет ничего. И любую фичу, которая вам понадобится, вам придётся написать самому. А чтобы написать её, вам придётся задействовать все ресурсы мозга. После такой закалки, уже можно переходить на что угодно. И после такой закалки, люди не пишут дичь, которая для сжатия 12Мб аллоцирует 2.3Гб.

Сообщение от Etyuhibosecyu При всех флажках - 5.

Больше потоков, чем ядер на среднестатистической машине? Круто, чё.

0

Сообщение от Etyuhibosecyu А я использую многопоточность, вы не знали?

Судя по времени работы кода, это незаметно.

Сообщение от Etyuhibosecyu И проходил его, может быть, 9 лет и сколько-то месяцев (до .NET).

И при этом пишите такие программы... Программирование это не ваше. Займитесь чем-то другим.

Сообщение от Etyuhibosecyu Но C# оказался для меня самым удобным в настоящее время

Тем что убирать за собой не нужно? Это развивает плохой стиль программирования.

Сообщение от Etyuhibosecyu Как раз C++, а тем более "голый Си" - это не азы, в значении того, с чего надо начинать.

Эти языки дают требуют больше контроля над выделением/освобождением памяти и объектов и они лучше подходят для обучения. Потому что если умеешь писать быстрые и безглючные проги на C/C++ и других подобных языках, на C# быдлокодить не станешь.

Сообщение от Etyuhibosecyu Измерил время сжатия Властелина Колец четвертым билдом на экстремальных настройках - 5 минут 4 секунды при загруженном процессоре.

Медленно, медленно, очень медленно!

0

Сообщение от locm Судя по времени работы кода, это незаметно.

Ну если вы судите об использовании многопоточности по времени работы... Мне вас жаль.

Сообщение от locm Эти языки дают требуют больше контроля над выделением/освобождением памяти и объектов и они лучше подходят для обучения. Потому что если умеешь писать быстрые и безглючные проги на C/C++ и других подобных языках, на C# быдлокодить не станешь.

У меня в университете по Си 4, по C++ - 5.

Сообщение от locm Медленно, медленно, очень медленно!

А сколько, вы считаете, быстро?

0