Какая библиотека архивации для Python даёт произвольный доступ к файлу в архиве?

@Testfor · Регистрация: 04.08.2022

Студворк — интернет-сервис помощи студентам

У меня есть большие архивы, в них текстовые файлы весом в несколько гигабайт. Необходимо получать доступ к произвольной точке в этом файле. (.seek).
Сейчас я использую для этого библиотеку zipfile и она работает достаточно медлено - чем дальше к концу файла нужно перейти, тем больше времени требуется, вплоть до десятков секунд. Но библиотек много - zlib, gzip,lzma,shutil,bz2,tarfile и.т.п.
Вы не знаете, какая из них даёт доступ к любому месту файла в архиве за линейное время, как и аналогичная функция seek для текстовых файлов? Очень нужно и дробить файлы на тысячи кусков не хочется. Заранее спасибо.

@Welemir1 · 29.01.2023, 12:07

Сообщение от Testfor

В SQL у меня данные поверхностные мягко говоря.

потому и предложил Монгу, в нее можно прямо жсоны складывать и главное доставать по необходимости, сиквель знать не нужно. МЕнять систему не придется, берем жсоны, кидаем в монгу, индексируем по дате и учимся писать запросы в ней, она заточена именно под жсоны. Но это конечно подразумевает определенные настройки и изучение основ Монги, а как у тебя со временем- не ясно

@Testfor · 29.01.2023, 12:15 **[ТС]**

Со свободным временем всё отлично. Большую часть времени я просто жду, пока текущая версия программы обработает все данные. На кучу архивов поделит, сохранит и.т.п. Это по несколько дней иногда занимает, если ошибки не выскакивают. Трачу это время на самообучение обычно.

А что касается более быстрой версии, которую от меня требуют, то её хорошо бы сделать примерно вчера. Что бы можно было просто закинуть архив и по нему сразу шёл поиск.

Добавлено через 33 секунды
Welemir1,

Новые блоги и статьи Все статьи Все блоги /
попытка написать игровой сервер на C++ pyirrlicht 29.04.2026 попытка написать игровой сервер на плюсах с открытым бесконечным миром. возможно получится прикрутить интерпретатор питон для кастомизации игровой логики. что есть на текущий момент:. . .	Контроль уникальности выбранного документа-основания при изменении реквизита Maks 28.04.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРемонтСпецтехники", разработанного в КА2. Задача: уведомлять пользователя, если указанная заявка (документ-основание). . .	Благородство как наказание Maks 24.04.2026 У хорошего человека отношения с женщинами всегда складываются трудно. А я человек хороший. Заявляю без тени смущения, потому что гордиться тут нечем. От хорошего человека ждут соответствующего. . .	Валидация и контроль данных табличной части документа перед записью Maks 22.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .

@Testfor 2 / 2 / 1 Регистрация: 04.08.2022 Сообщений: 59

	Какая библиотека архивации для Python даёт произвольный доступ к файлу в архиве? 29.01.2023, 08:14. Показов 1651. Ответов 21 Метки нет (Все метки) У меня есть большие архивы, в них текстовые файлы весом в несколько гигабайт. Необходимо получать доступ к произвольной точке в этом файле. (.seek). Сейчас я использую для этого библиотеку zipfile и она работает достаточно медлено - чем дальше к концу файла нужно перейти, тем больше времени требуется, вплоть до десятков секунд. Но библиотек много - zlib, gzip,lzma,shutil,bz2,tarfile и.т.п. Вы не знаете, какая из них даёт доступ к любому месту файла в архиве за линейное время, как и аналогичная функция seek для текстовых файлов? Очень нужно и дробить файлы на тысячи кусков не хочется. Заранее спасибо. 0

@Testfor 2 / 2 / 1 Регистрация: 04.08.2022 Сообщений: 59
	29.01.2023, 12:15 [ТС]
	Со свободным временем всё отлично. Большую часть времени я просто жду, пока текущая версия программы обработает все данные. На кучу архивов поделит, сохранит и.т.п. Это по несколько дней иногда занимает, если ошибки не выскакивают. Трачу это время на самообучение обычно. А что касается более быстрой версии, которую от меня требуют, то её хорошо бы сделать примерно вчера. Что бы можно было просто закинуть архив и по нему сразу шёл поиск. Добавлено через 33 секунды Welemir1, 0

Опции темы