Парсинг большого текстового файла

@Moriska32 · Регистрация: 02.01.2013

Студворк — интернет-сервис помощи студентам

Приветствую! Вопрос вот в чем - Как открыть файл и прочесть содержимое разделив его на итемы. Пример кода на питоне.

Python
1
2
3
4
5
6
file = open('X:\\model\\'+date+'.cut\\MainCategories\\омом.txt')
        for line in file:
            hours = []
            item = line.split('|')
            cam = item[1].split(',')
            time = item[2].split(',')

И как после завершения цикла все удалить, чтоб начать парсинг следующего файла и продолжить цикл.

@demon_7 · 17.02.2016, 11:11

Используйте TStringList, думаю с его помощью удобнее всего парсить текст.
(Хотя на самом деле задача поставлена без конкретики, может были бы и другие варианты)

@Moriska32 · 17.02.2016, 11:14 **[ТС]**

А что конкретнее )) Одно могу добавить что файлы огромные и читать надо построчно) а не как в питоне разом. А то иначе на объем памяти жалуется.

@demon_7 · 17.02.2016, 11:22

Гляньте тут
Перевод из TFileStream в TStringStream

@Moriska32 · 17.02.2016, 11:28 **[ТС]**

Это я уже видел, это не то, тут он выборочно строки читает, а мне нужно все, и по критериям загнать в переменные. чтоб потом собрать все в ексель файл.

@volvo · 17.02.2016, 11:29

Сообщение от Moriska32

файлы огромные и читать надо построчно) а не как в питоне разом.

Используй std::ifstream + его метод getline, а потом уже прочитанную строку парсь любыми методами, хоть тем же STL, хоть VCL-евским TStringList (или SplitString).

@Moriska32 · 17.02.2016, 11:54 **[ТС]**

Вот если бы я понимал как это сделать я бы не задавался таким вопросом, просто пытаюсь слезть с питона и пересесть на си. И это довольно трудно)

@Avazart · 17.02.2016, 13:39

Сообщение от Moriska32

просто пытаюсь слезть с питона и пересесть на си.

Тогда вам в раздел Си а не в раздел С++.

@Moriska32 · 17.02.2016, 13:40 **[ТС]**

Программу пишу в Rad Studio там Borland

@volvo · 17.02.2016, 13:49

Сообщение от Moriska32

Вот если бы я понимал как это сделать

Очень просто:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    String filename = "d:\\test\\01.txt";
 
    ifstream ifile;
    // это можно делать в цикле
    ifile.open(filename.c_str());
    if (ifile.good())
    {
        while (!ifile.eof())
        {
            std::string line;
            getline(ifile, line);
 
            TStringDynArray items = SplitString(line.c_str(), "|");
            TStringDynArray cam = SplitString(items[1], ",");
            TStringDynArray time = SplitString(items[2], ",");
 
            // работаешь с переменными cam и time как тебе нужно
            ShowMessage(items[0] + " " + cam[1] + " " + time[2]); // для примера
        }
    }
    ifile.close();

(проверялось на XE2, файл прекрасно читается. Поскольку тобой пример структуры файла не приведен - я сделал свой тестовый файл)

@Moriska32 · 17.02.2016, 13:57 **[ТС]**

Спасибо)) Очень помогло, мне было главное узнать как выгружать файл и как организовать его построчную считку. и За разделение отдельное спасибо))

@Avazart · 17.02.2016, 14:01

Можно было бы использовать boost С++ сплитирование строк

@Moriska32 · 17.02.2016, 15:19 **[ТС]**

Вот еще 1 вопрос всплыл, при обработке файла при большом объеме возникает ошибка не достаточно памяти, как ее решить?

@volvo · 17.02.2016, 15:38

Эта ошибка будет возникать, если ты весь файл читаешь в память. А при построчном чтении этого быть не должно.

@Avazart · 17.02.2016, 15:47

Естественно если строки не сверхдлинные.

@Moriska32 · 17.02.2016, 15:52 **[ТС]**

getline(ifile, line); - так разве эта строка не означает что он читает построчно?

@Avazart · 17.02.2016, 15:53

Означает.

@Moriska32 · 17.02.2016, 15:55 **[ТС]**

Тогда что не так?

@Avazart · 17.02.2016, 15:57

Сообщение от volvo

проверялось на XE2, файл прекрасно читается.

Кстати странно что работаете ибо wchar_t/char не совместимо.

Добавлено через 25 секунд

Сообщение от Moriska32

Тогда что не так?

Где-то в другом месте ошибка.

getline

@Moriska32 · 17.02.2016, 16:26 **[ТС]**

Вроде разобрался с одним теперь вылезло вот это Project ** raised exeption class $System@DynArrayOutOfRange with message 'Exception Object Adress': 0x27118d0 я так полагаю места не хватило опять где то)

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG-файла с альфа-каналом с помощью библиотеки SDL3_image на Android 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом

@demon_7 260 / 192 / 60 Регистрация: 12.05.2013 Сообщений: 857
	17.02.2016, 11:11
	Используйте TStringList, думаю с его помощью удобнее всего парсить текст. (Хотя на самом деле задача поставлена без конкретики, может были бы и другие варианты) 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 11:14 [ТС]
	А что конкретнее )) Одно могу добавить что файлы огромные и читать надо построчно) а не как в питоне разом. А то иначе на объем памяти жалуется. 0

@demon_7 260 / 192 / 60 Регистрация: 12.05.2013 Сообщений: 857
	17.02.2016, 11:22
	Гляньте тут Перевод из TFileStream в TStringStream 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 11:28 [ТС]
	Это я уже видел, это не то, тут он выборочно строки читает, а мне нужно все, и по критериям загнать в переменные. чтоб потом собрать все в ексель файл. 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 11:54 [ТС]
	Вот если бы я понимал как это сделать я бы не задавался таким вопросом, просто пытаюсь слезть с питона и пересесть на си. И это довольно трудно) 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 13:40 [ТС]
	Программу пишу в Rad Studio там Borland 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 13:57 [ТС]
	Спасибо)) Очень помогло, мне было главное узнать как выгружать файл и как организовать его построчную считку. и За разделение отдельное спасибо)) 0

@Avazart 8484 / 6151 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	17.02.2016, 14:01
	Можно было бы использовать boost С++ сплитирование строк 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 15:19 [ТС]
	Вот еще 1 вопрос всплыл, при обработке файла при большом объеме возникает ошибка не достаточно памяти, как ее решить? 0

@volvo Супер-модератор 33376 / 21500 / 8236 Регистрация: 22.10.2011 Сообщений: 36,895 Записей в блоге: 11
	17.02.2016, 15:38
	Эта ошибка будет возникать, если ты весь файл читаешь в память. А при построчном чтении этого быть не должно. 0

@Avazart 8484 / 6151 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	17.02.2016, 15:47
	Естественно если строки не сверхдлинные. 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 15:52 [ТС]
	getline(ifile, line); - так разве эта строка не означает что он читает построчно? 0

@Avazart 8484 / 6151 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	17.02.2016, 15:53
	Означает. 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 15:55 [ТС]
	Тогда что не так? 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 16:26 [ТС]
	Вроде разобрался с одним теперь вылезло вот это Project ** raised exeption class $System@DynArrayOutOfRange with message 'Exception Object Adress': 0x27118d0 я так полагаю места не хватило опять где то) 0

Парсинг большого текстового файла

Решение