Ошибка в записи большого объема строк в txt

@VaLenOK007 · Регистрация: 12.04.2011

Студворк — интернет-сервис помощи студентам

Привет камрады!

Работаю с большими файликами, csvшки более гига размером. Нужно было выдрать оттуда нужный столбец и выписать в файл.

Но, почему-то после 1 555 554 строк, программа вываливается с

IndexError: list index out of range

Как нибудь это можно победить, или это внутреннее ограничение? Код скрипта вот:

Python
1
2
3
4
5
6
7
8
9
10
11
12
# -*- coding: utf-8 -*-
import collections
import csv
 
frequency = 5 
f1 = open("out3333", 'w')
a=[]
with open('report (3).csv', 'rb') as f:
    reader = csv.reader(f, delimiter=';')
    for row in reader:
        f1.write(row[5]+"\n")
f1.close()

Заранее спасибо

@0x10 · 02.04.2015, 18:00

Сообщение от VaLenOK007

программа вываливается

Откуда исключение-то сыпется?
Если в 11 строке при попытке обращения к пятому элементу row, то нужно на этот row и смотреть: есть ли в нем такой элемент.

@VaLenOK007 · 02.04.2015, 18:03 **[ТС]**

Сообщение от 0x10

Откуда исключение-то сыпется?
Если в 11 строке при попытке обращения к пятому элементу row, то нужно на этот row и смотреть: есть ли в нем такой элемент.

f1.write(row[5]+"\n")

пишет что отсюда... Файл меньшего размера он жрёт спокойно. Подозреваю, что ему очень тяжело жрать большой файл.

@0x10 · 02.04.2015, 18:06

Сообщение от VaLenOK007

Подозреваю, что ему очень тяжело жрать большой файл.

Нужно посмотреть на конкретную строку в файле, которая вызывает проблему.

@VaLenOK007 · 02.04.2015, 18:07 **[ТС]**

Сообщение от 0x10

Нужно посмотреть на конкретную строку в файле, которая вызывает проблему.

открыть бы его ещё... Да и строку он не пишет...

Ну, всё равно спасибо.

@alex925 · 02.04.2015, 18:07

Сообщение от VaLenOK007

Файл меньшего размера он жрёт спокойно.

Вот тут размер вообще не причем. Тебе просто попадается строка в которой меньше чем 6 символов.
Как тебе уже сказал 0x10, нужно проверять длину строки прежде чем пытаться извлечь какой-то её символ.

@VaLenOK007 · 02.04.2015, 18:10 **[ТС]**

Сообщение от alex925

Вот тут размер вообще не причем. Тебе просто попадается строка в которой меньше чем 6 символов.
Как тебе уже сказал 0x10, нужно проверять длину строки прежде чем пытаться извлечь какой-то её символ.

Файлы однотипны все, там есть и пустые строки. Если залить файлик в 200 метров с такими же строками - от жрёт... Может, есть возможность эту строку пропустить, например?

@alex925 · 02.04.2015, 18:12

Python
1
2
3
4
try:
    f1.write(row[5]+"\n")
except IndexError:
    continue

@0x10 · 02.04.2015, 18:15

Сообщение от VaLenOK007

Может, есть возможность эту строку пропустить, например?

Сообщение от VaLenOK007

Да и строку он не пишет...

Тыжпрограммист.

Python
1
2
3
4
5
6
7
8
9
import csv
 
with open('report.csv', 'r') as f:
    reader = csv.reader(f, delimiter=';')
    for line_number, row in enumerate(reader):
        try:
            row[5] + "\n"
        except IndexError:
            print("Error in line {}: {}".format(line_number, row))

@VaLenOK007 · 02.04.2015, 18:17 **[ТС]**

Всё, благодарствую. Поехало, просто не знал о такой штуке.

@alex925 · 02.04.2015, 20:14

Сообщение от VaLenOK007

просто не знал о такой штуке.

Плохо, это база.

@dondublon · 03.04.2015, 07:10

Сообщение от VaLenOK007

Работаю с большими файликами, csvшки более гига размером.

Какой ужас.
CSV не предназначены для таких объёмов, используйте настоящую СУБД. Использование не подходящих инструментов чревато проблемами в самых разных и неожиданных местах.
С одной проблемой вы уже столкнулись - посмотреть строку в файле.

@VaLenOK007 · 03.04.2015, 07:27 **[ТС]**

Сообщение от dondublon

CSV не предназначены для таких объёмов, используйте настоящую СУБД. Использование не подходящих инструментов чревато проблемами в самых разных и неожиданных местах.

Ну, это выгрузка из оной базы. Поскольку разработчики у нас очень вредные, доступ туда не дают, приходится пользоваться чем есть. Плюс, практика в работе с большими данными)

@0x10 · 03.04.2015, 08:33

Сообщение от VaLenOK007

Плюс, практика в работе с большими данными)

CSV-шка в несколько гигов — это не тот порядок объема данных, который требует каких-то специфических техник. Один такой чанк данных влезает на флешку, парсится чем угодно.

Не по теме:

В нашей компании есть необходимость анализа терабайтов данных (точного порядка не знаю), и в зависимости от способа их хранения и характера аналитики запрос можно оптимизировать на несколько порядков, предотвратив необходимость чтения всего диска и сократив чтение до небольшого интересующего сегмента.

@dondublon · 03.04.2015, 14:00

Зависит от ситуации. Если человек сам генерит такое - это повод по возможности, дать по рукам. Если ему генерят - остаётся обзываться втихаря и мучиться.

@alex925 · 03.04.2015, 14:08

Сообщение от dondublon

С одной проблемой вы уже столкнулись - посмотреть строку в файле.

На мой взгляд это не проблема файлов, а просто не умение с ними работать. Когда извлекаешь данные по индексу, нужно всего быть готовым к нестандартной ситуации.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@VaLenOK007 4 / 4 / 4 Регистрация: 12.04.2011 Сообщений: 125
	02.04.2015, 18:17 [ТС]
	Всё, благодарствую. Поехало, просто не знал о такой штуке. 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	03.04.2015, 14:00
	Зависит от ситуации. Если человек сам генерит такое - это повод по возможности, дать по рукам. Если ему генерят - остаётся обзываться втихаря и мучиться. 0