Ошибка в записи большого объема строк в txt

@VaLenOK007 · Регистрация: 12.04.2011

Студворк — интернет-сервис помощи студентам

Привет камрады!

Работаю с большими файликами, csvшки более гига размером. Нужно было выдрать оттуда нужный столбец и выписать в файл.

Но, почему-то после 1 555 554 строк, программа вываливается с

IndexError: list index out of range

Как нибудь это можно победить, или это внутреннее ограничение? Код скрипта вот:

Python
1
2
3
4
5
6
7
8
9
10
11
12
# -*- coding: utf-8 -*-
import collections
import csv
 
frequency = 5 
f1 = open("out3333", 'w')
a=[]
with open('report (3).csv', 'rb') as f:
    reader = csv.reader(f, delimiter=';')
    for row in reader:
        f1.write(row[5]+"\n")
f1.close()

Заранее спасибо

@0x10 · 02.04.2015, 18:00

Сообщение от VaLenOK007

программа вываливается

Откуда исключение-то сыпется?
Если в 11 строке при попытке обращения к пятому элементу row, то нужно на этот row и смотреть: есть ли в нем такой элемент.

@VaLenOK007 · 02.04.2015, 18:03 **[ТС]**

Сообщение от 0x10

Откуда исключение-то сыпется?
Если в 11 строке при попытке обращения к пятому элементу row, то нужно на этот row и смотреть: есть ли в нем такой элемент.

f1.write(row[5]+"\n")

пишет что отсюда... Файл меньшего размера он жрёт спокойно. Подозреваю, что ему очень тяжело жрать большой файл.

@0x10 · 02.04.2015, 18:06

Сообщение от VaLenOK007

Подозреваю, что ему очень тяжело жрать большой файл.

Нужно посмотреть на конкретную строку в файле, которая вызывает проблему.

@VaLenOK007 · 02.04.2015, 18:07 **[ТС]**

Сообщение от 0x10

Нужно посмотреть на конкретную строку в файле, которая вызывает проблему.

открыть бы его ещё... Да и строку он не пишет...

Ну, всё равно спасибо.

@alex925 · 02.04.2015, 18:07

Сообщение от VaLenOK007

Файл меньшего размера он жрёт спокойно.

Вот тут размер вообще не причем. Тебе просто попадается строка в которой меньше чем 6 символов.
Как тебе уже сказал 0x10, нужно проверять длину строки прежде чем пытаться извлечь какой-то её символ.

@VaLenOK007 · 02.04.2015, 18:10 **[ТС]**

Сообщение от alex925

Вот тут размер вообще не причем. Тебе просто попадается строка в которой меньше чем 6 символов.
Как тебе уже сказал 0x10, нужно проверять длину строки прежде чем пытаться извлечь какой-то её символ.

Файлы однотипны все, там есть и пустые строки. Если залить файлик в 200 метров с такими же строками - от жрёт... Может, есть возможность эту строку пропустить, например?

@alex925 · 02.04.2015, 18:12

Python
1
2
3
4
try:
    f1.write(row[5]+"\n")
except IndexError:
    continue

@0x10 · 02.04.2015, 18:15

Сообщение от VaLenOK007

Может, есть возможность эту строку пропустить, например?

Сообщение от VaLenOK007

Да и строку он не пишет...

Тыжпрограммист.

Python
1
2
3
4
5
6
7
8
9
import csv
 
with open('report.csv', 'r') as f:
    reader = csv.reader(f, delimiter=';')
    for line_number, row in enumerate(reader):
        try:
            row[5] + "\n"
        except IndexError:
            print("Error in line {}: {}".format(line_number, row))

@VaLenOK007 · 02.04.2015, 18:17 **[ТС]**

Всё, благодарствую. Поехало, просто не знал о такой штуке.

@alex925 · 02.04.2015, 20:14

Сообщение от VaLenOK007

просто не знал о такой штуке.

Плохо, это база.

@dondublon · 03.04.2015, 07:10

Сообщение от VaLenOK007

Работаю с большими файликами, csvшки более гига размером.

Какой ужас.
CSV не предназначены для таких объёмов, используйте настоящую СУБД. Использование не подходящих инструментов чревато проблемами в самых разных и неожиданных местах.
С одной проблемой вы уже столкнулись - посмотреть строку в файле.

@VaLenOK007 · 03.04.2015, 07:27 **[ТС]**

Сообщение от dondublon

CSV не предназначены для таких объёмов, используйте настоящую СУБД. Использование не подходящих инструментов чревато проблемами в самых разных и неожиданных местах.

Ну, это выгрузка из оной базы. Поскольку разработчики у нас очень вредные, доступ туда не дают, приходится пользоваться чем есть. Плюс, практика в работе с большими данными)

@0x10 · 03.04.2015, 08:33

Сообщение от VaLenOK007

Плюс, практика в работе с большими данными)

CSV-шка в несколько гигов — это не тот порядок объема данных, который требует каких-то специфических техник. Один такой чанк данных влезает на флешку, парсится чем угодно.

Не по теме:

В нашей компании есть необходимость анализа терабайтов данных (точного порядка не знаю), и в зависимости от способа их хранения и характера аналитики запрос можно оптимизировать на несколько порядков, предотвратив необходимость чтения всего диска и сократив чтение до небольшого интересующего сегмента.

@dondublon · 03.04.2015, 14:00

Зависит от ситуации. Если человек сам генерит такое - это повод по возможности, дать по рукам. Если ему генерят - остаётся обзываться втихаря и мучиться.

@alex925 · 03.04.2015, 14:08

Сообщение от dondublon

С одной проблемой вы уже столкнулись - посмотреть строку в файле.

На мой взгляд это не проблема файлов, а просто не умение с ними работать. Когда извлекаешь данные по индексу, нужно всего быть готовым к нестандартной ситуации.

Новые блоги и статьи Все статьи Все блоги /
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .

@VaLenOK007 4 / 4 / 4 Регистрация: 12.04.2011 Сообщений: 125
	02.04.2015, 18:17 [ТС]
	Всё, благодарствую. Поехало, просто не знал о такой штуке. 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	03.04.2015, 14:00
	Зависит от ситуации. Если человек сам генерит такое - это повод по возможности, дать по рукам. Если ему генерят - остаётся обзываться втихаря и мучиться. 0