Какая библиотека архивации для Python даёт произвольный доступ к файлу в архиве?

@Testfor · Регистрация: 04.08.2022

Студворк — интернет-сервис помощи студентам

У меня есть большие архивы, в них текстовые файлы весом в несколько гигабайт. Необходимо получать доступ к произвольной точке в этом файле. (.seek).
Сейчас я использую для этого библиотеку zipfile и она работает достаточно медлено - чем дальше к концу файла нужно перейти, тем больше времени требуется, вплоть до десятков секунд. Но библиотек много - zlib, gzip,lzma,shutil,bz2,tarfile и.т.п.
Вы не знаете, какая из них даёт доступ к любому месту файла в архиве за линейное время, как и аналогичная функция seek для текстовых файлов? Очень нужно и дробить файлы на тысячи кусков не хочется. Заранее спасибо.

@Welemir1 · 29.01.2023, 12:07

Сообщение от Testfor

В SQL у меня данные поверхностные мягко говоря.

потому и предложил Монгу, в нее можно прямо жсоны складывать и главное доставать по необходимости, сиквель знать не нужно. МЕнять систему не придется, берем жсоны, кидаем в монгу, индексируем по дате и учимся писать запросы в ней, она заточена именно под жсоны. Но это конечно подразумевает определенные настройки и изучение основ Монги, а как у тебя со временем- не ясно

@Testfor · 29.01.2023, 12:15 **[ТС]**

Со свободным временем всё отлично. Большую часть времени я просто жду, пока текущая версия программы обработает все данные. На кучу архивов поделит, сохранит и.т.п. Это по несколько дней иногда занимает, если ошибки не выскакивают. Трачу это время на самообучение обычно.

А что касается более быстрой версии, которую от меня требуют, то её хорошо бы сделать примерно вчера. Что бы можно было просто закинуть архив и по нему сразу шёл поиск.

Добавлено через 33 секунды
Welemir1,

Новые блоги и статьи Все статьи Все блоги /
Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это дополнительная запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .

@Testfor 2 / 2 / 1 Регистрация: 04.08.2022 Сообщений: 59

	Какая библиотека архивации для Python даёт произвольный доступ к файлу в архиве? 29.01.2023, 08:14. Показов 1537. Ответов 21 Метки нет (Все метки) У меня есть большие архивы, в них текстовые файлы весом в несколько гигабайт. Необходимо получать доступ к произвольной точке в этом файле. (.seek). Сейчас я использую для этого библиотеку zipfile и она работает достаточно медлено - чем дальше к концу файла нужно перейти, тем больше времени требуется, вплоть до десятков секунд. Но библиотек много - zlib, gzip,lzma,shutil,bz2,tarfile и.т.п. Вы не знаете, какая из них даёт доступ к любому месту файла в архиве за линейное время, как и аналогичная функция seek для текстовых файлов? Очень нужно и дробить файлы на тысячи кусков не хочется. Заранее спасибо. 0

@Testfor 2 / 2 / 1 Регистрация: 04.08.2022 Сообщений: 59
	29.01.2023, 12:15 [ТС]
	Со свободным временем всё отлично. Большую часть времени я просто жду, пока текущая версия программы обработает все данные. На кучу архивов поделит, сохранит и.т.п. Это по несколько дней иногда занимает, если ошибки не выскакивают. Трачу это время на самообучение обычно. А что касается более быстрой версии, которую от меня требуют, то её хорошо бы сделать примерно вчера. Что бы можно было просто закинуть архив и по нему сразу шёл поиск. Добавлено через 33 секунды Welemir1, 0