Какая библиотека архивации для Python даёт произвольный доступ к файлу в архиве?

@Testfor · Регистрация: 04.08.2022

Студворк — интернет-сервис помощи студентам

У меня есть большие архивы, в них текстовые файлы весом в несколько гигабайт. Необходимо получать доступ к произвольной точке в этом файле. (.seek).
Сейчас я использую для этого библиотеку zipfile и она работает достаточно медлено - чем дальше к концу файла нужно перейти, тем больше времени требуется, вплоть до десятков секунд. Но библиотек много - zlib, gzip,lzma,shutil,bz2,tarfile и.т.п.
Вы не знаете, какая из них даёт доступ к любому месту файла в архиве за линейное время, как и аналогичная функция seek для текстовых файлов? Очень нужно и дробить файлы на тысячи кусков не хочется. Заранее спасибо.

@Welemir1 · 29.01.2023, 12:07

Сообщение от Testfor

В SQL у меня данные поверхностные мягко говоря.

потому и предложил Монгу, в нее можно прямо жсоны складывать и главное доставать по необходимости, сиквель знать не нужно. МЕнять систему не придется, берем жсоны, кидаем в монгу, индексируем по дате и учимся писать запросы в ней, она заточена именно под жсоны. Но это конечно подразумевает определенные настройки и изучение основ Монги, а как у тебя со временем- не ясно

@Testfor · 29.01.2023, 12:15 **[ТС]**

Со свободным временем всё отлично. Большую часть времени я просто жду, пока текущая версия программы обработает все данные. На кучу архивов поделит, сохранит и.т.п. Это по несколько дней иногда занимает, если ошибки не выскакивают. Трачу это время на самообучение обычно.

А что касается более быстрой версии, которую от меня требуют, то её хорошо бы сделать примерно вчера. Что бы можно было просто закинуть архив и по нему сразу шёл поиск.

Добавлено через 33 секунды
Welemir1,

Новые блоги и статьи Все статьи Все блоги /
Хитросплетение родственных связей пантеона греческих богов. russiannick 14.05.2026 Однооконник, позволяющий узреть и изучить отдельных героев древней Греции. <!DOCTYPE html> <html lang="ru"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible". . .	[golang] Угол между стрелками часов alhaos 12.05.2026 По заданным значениям часа и минуты необходимо определить значение меньшего угла между стрелками аналогового циферблата часов. import "math" func angleClock(hour int, minutes int) float64 { . . .	Debian 13: Установка Lazarus QT5 ВитГо 09.05.2026 Эта инструкция моя компиляция инструкций volvo https:/ / www. cyberforum. ru/ blogs/ 203668/ 10753. html и его же старой инструкции по установке Lazarus с gtk2. . .	Нейросеть на алгоритме "эстафета хвоста" как перспектива. Hrethgir 06.05.2026 На десерт, когда запущу сервер. Статья тут https:/ / habr. com/ ru/ articles/ 1030914/ . Автор я сам, нейросеть только помогает в вопросах которые мне не известны - не знаю людей которые знали-бы. . .
Асинхронный приём данных из COM-порта Argus19 01.05.2026 Асинхронный приём данных из COM-порта Купил на aliexpress термопринтер QR701. Он оказался странным. Поключил к Arduino Nano. Был очень удивлён. Наотрез отказывается печатать русские буквы. Чтобы. . .	попытка написать игровой сервер на C++ pyirrlicht 29.04.2026 попытка написать игровой сервер на плюсах с открытым бесконечным миром. возможно получится прикрутить интерпретатор питон для кастомизации игровой логики. что есть на текущий момент:. . .	Контроль уникальности выбранного документа-основания при изменении реквизита Maks 28.04.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРемонтСпецтехники", разработанного в КА2. Задача: уведомлять пользователя, если указанная заявка (документ-основание). . .	Благородство как наказание Maks 24.04.2026 У хорошего человека отношения с женщинами всегда складываются трудно. А я человек хороший. Заявляю без тени смущения, потому что гордиться тут нечем. От хорошего человека ждут соответствующего. . .

@Testfor 2 / 2 / 1 Регистрация: 04.08.2022 Сообщений: 59

	Какая библиотека архивации для Python даёт произвольный доступ к файлу в архиве? 29.01.2023, 08:14. Показов 1657. Ответов 21 Метки нет (Все метки) У меня есть большие архивы, в них текстовые файлы весом в несколько гигабайт. Необходимо получать доступ к произвольной точке в этом файле. (.seek). Сейчас я использую для этого библиотеку zipfile и она работает достаточно медлено - чем дальше к концу файла нужно перейти, тем больше времени требуется, вплоть до десятков секунд. Но библиотек много - zlib, gzip,lzma,shutil,bz2,tarfile и.т.п. Вы не знаете, какая из них даёт доступ к любому месту файла в архиве за линейное время, как и аналогичная функция seek для текстовых файлов? Очень нужно и дробить файлы на тысячи кусков не хочется. Заранее спасибо. 0

@Testfor 2 / 2 / 1 Регистрация: 04.08.2022 Сообщений: 59
	29.01.2023, 12:15 [ТС]
	Со свободным временем всё отлично. Большую часть времени я просто жду, пока текущая версия программы обработает все данные. На кучу архивов поделит, сохранит и.т.п. Это по несколько дней иногда занимает, если ошибки не выскакивают. Трачу это время на самообучение обычно. А что касается более быстрой версии, которую от меня требуют, то её хорошо бы сделать примерно вчера. Что бы можно было просто закинуть архив и по нему сразу шёл поиск. Добавлено через 33 секунды Welemir1, 0