Сжатие данных на Python

@nikita_cp3 · Регистрация: 17.04.2018

Студворк — интернет-сервис помощи студентам

Добрый вечер. У меня в проекте есть несколько файлов с разными расширениями и разными форматами данных. Мне нужно сделать так, чтобы все файлы содержал в себе ОДИН файл.

С использованием модуля zip-файла на Python можно сжать файлы в один со своим расширением.
Подскажите пожалуйста, что делать если файлы, которые мне надо заархивировать в один, очень большие(более 50 Гб)? Время для меня очень важно. Поэтому этот вариант с архивацией не подходит? Может имеется какой-нибудь другой способ...
Заранее спасибо за помощь

@Arsegg · 06.01.2021, 04:09

Сообщение от nikita_cp3

Мне нужно сделать так, чтобы все файлы содержал в себе ОДИН файл.

tarfile

@dondublon · 06.01.2021, 10:12

Так я не понял, в чём проблема. Zip не умеет сохранять в один архив несколько файлов? Или в скорости?

Рыжий Лис · 06.01.2021, 10:21

Сообщение от dondublon

Zip не умеет сохранять в один архив несколько файлов?

Умеет. У ТСа не получается.

@nikita_cp3 · 06.01.2021, 13:26 **[ТС]**

Zip умеет сохранять всё в один файл, и даже со своим разрешением. Но дело в скорости и времени. Если у меня файлы будут большого размера, прям очень, то zip будет их очень долго архивировать. А мне надо как можно быстрее

Рыжий Лис · 06.01.2021, 13:31

tar-ом склей без сжатия, как предложили выше.

@nikita_cp3 · 06.01.2021, 13:35 **[ТС]**

Сообщение от Рыжий Лис

tar-ом склей без сжатия, как предложили выше.

Хорошо, попробую. Он быстрее архивирует? и для меня еще важен формат архива.
Мне не нужен архив с форматом .tar. Я хочу сделать свой формат, например .temp. C zipfile такое возможно, а с tar'ом?

Рыжий Лис · 06.01.2021, 13:45

Без сжатия - копирует файлы мгновенно.

Переименовать расширение файла ты тоже сможешь.

@nikita_cp3 · 06.01.2021, 14:55 **[ТС]**

Сообщение от Рыжий Лис

Без сжатия - копирует файлы мгновенно.

Переименовать расширение файла ты тоже сможешь.

Спасибо большое, попробую

Добавлено через 1 час 5 минут

Сообщение от Рыжий Лис

Без сжатия - копирует файлы мгновенно.

Переименовать расширение файла ты тоже сможешь.

Попробовал таким образом, но всё равно не получается. Долго архивирует. Может что-то не так?
я еще указывал путь к своим файлам(здесь не указал для удобства).

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import tarfile
 
print 'creating archive'
out = tarfile.open('tarfile_add.tar', mode='w')
try:
    print 'adding README.txt'
    out.add('README.txt')
finally:
    print 'closing'
    out.close()
 
print
print 'Contents:'
t = tarfile.open('tarfile_add.tar', 'r')
for member_info in t.getmembers():
    print member_info.name

Рыжий Лис · 06.01.2021, 14:59

Вроде, всё верно

'w' or 'w:' Open for uncompressed writing.

@nikita_cp3 · 06.01.2021, 15:04 **[ТС]**

Сообщение от Рыжий Лис

Вроде, всё верно

вот и я думаю, что всё верно. Засекал время с использованием zipfile и tarfile-одинаково(

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@nikita_cp3 0 / 0 / 0 Регистрация: 17.04.2018 Сообщений: 18

	Сжатие данных на Python 05.01.2021, 23:35. Показов 2514. Ответов 10 Метки c++, python, сжатие данных (Все метки) Добрый вечер. У меня в проекте есть несколько файлов с разными расширениями и разными форматами данных. Мне нужно сделать так, чтобы все файлы содержал в себе ОДИН файл. С использованием модуля zip-файла на Python можно сжать файлы в один со своим расширением. Подскажите пожалуйста, что делать если файлы, которые мне надо заархивировать в один, очень большие(более 50 Гб)? Время для меня очень важно. Поэтому этот вариант с архивацией не подходит? Может имеется какой-нибудь другой способ... Заранее спасибо за помощь 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	06.01.2021, 10:12
	Так я не понял, в чём проблема. Zip не умеет сохранять в один архив несколько файлов? Или в скорости? 0

@nikita_cp3 0 / 0 / 0 Регистрация: 17.04.2018 Сообщений: 18
	06.01.2021, 13:26 [ТС]
	Zip умеет сохранять всё в один файл, и даже со своим разрешением. Но дело в скорости и времени. Если у меня файлы будут большого размера, прям очень, то zip будет их очень долго архивировать. А мне надо как можно быстрее 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	06.01.2021, 13:31
	tar-ом склей без сжатия, как предложили выше. 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	06.01.2021, 13:45
	Без сжатия - копирует файлы мгновенно. Переименовать расширение файла ты тоже сможешь. 0