Как работать с большим файлом с нужной строки (не перебирая все предыдущие строки)?

@Skf74 · Регистрация: 13.01.2019

Студворк — интернет-сервис помощи студентам

В текстовых файлах пока чуть более 1млн. строк. Нужно обрабатывать последовательно строки, начиная с определенной. Сейчас получается при обращении к файлу, перебираются все предшествующие строки и только потом начинается работа. Есть какой-либо способ ускорить это, при этом не загружая в память весь файл. То есть сразу переходить к нужной строке и начинать работу.
Или так как длина строк заведомо неизвестна - все равно перебирать?

Пока выглядит так:

Python
1
2
3
4
5
gdestart=475201 #нна 1 меньше, чем нужно
with open("file.txt") as f:
    for i, line in enumerate(f):
        if i > gdestart:
           #тут начинаем работать

@iSmokeJC · 16.12.2022, 19:43

Если в файле строки фиксированной длины, можно вычислить и перепрыгнуть (seek()).
Иначе перебирать, да

@Skf74 · 16.12.2022, 19:52 **[ТС]**

iSmokeJC, ужас ведь, если каждый раз перебираться будут.
Как тогда быть? Хранить в отдельных файлах длину строк? Да сами строки короткие.
Хранить усредненное значение 5000 строк, потом считать чтобы был хороший недолет (чтобы точно не перепрыгнули нужную строку), но по крайней мере перепрыгнем многие другие ненужные?

@iSmokeJC · 16.12.2022, 20:08

Не, длины строк хранить имхо излишество. Можно, конечно, примерно посчитать и перепрыгнуть. Тут дело хозяйское.
Вот, в твоем коде я бы сделал маленько по-другому. Не проверял условие стотыщ раз, а просто

Python
1
2
3
for _ in range(стопицот):
   f.readline()
# работаем

А чего бы в БД не сложить?

@Skf74 · 16.12.2022, 20:32 **[ТС]**

Просто исходная информация поступает в тхт файлах. Пока разделяю их на несколько, и потом по ним цепляю информацию, дополняю и уже складываю в базу для дальнейшей работы.
А в базу большой файл как заливать, тоже частями?

@iSmokeJC · 16.12.2022, 20:36

Вопрос некорректен. Что у тебя там в файлах? Как данные структурированы? Какая организация БД?

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	16.12.2022, 19:43
	Если в файле строки фиксированной длины, можно вычислить и перепрыгнуть (seek()). Иначе перебирать, да 1

@Skf74 0 / 0 / 0 Регистрация: 13.01.2019 Сообщений: 25
	16.12.2022, 19:52 [ТС]
	iSmokeJC, ужас ведь, если каждый раз перебираться будут. Как тогда быть? Хранить в отдельных файлах длину строк? Да сами строки короткие. Хранить усредненное значение 5000 строк, потом считать чтобы был хороший недолет (чтобы точно не перепрыгнули нужную строку), но по крайней мере перепрыгнем многие другие ненужные? 0

@Skf74 0 / 0 / 0 Регистрация: 13.01.2019 Сообщений: 25
	16.12.2022, 20:32 [ТС]
	Просто исходная информация поступает в тхт файлах. Пока разделяю их на несколько, и потом по ним цепляю информацию, дополняю и уже складываю в базу для дальнейшей работы. А в базу большой файл как заливать, тоже частями? 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	16.12.2022, 20:36
	Вопрос некорректен. Что у тебя там в файлах? Как данные структурированы? Какая организация БД? 0