Парсинг большого текстового файла

@Moriska32 · Регистрация: 02.01.2013

Студворк — интернет-сервис помощи студентам

Приветствую! Вопрос вот в чем - Как открыть файл и прочесть содержимое разделив его на итемы. Пример кода на питоне.

Python
1
2
3
4
5
6
file = open('X:\\model\\'+date+'.cut\\MainCategories\\омом.txt')
        for line in file:
            hours = []
            item = line.split('|')
            cam = item[1].split(',')
            time = item[2].split(',')

И как после завершения цикла все удалить, чтоб начать парсинг следующего файла и продолжить цикл.

@demon_7 · 17.02.2016, 11:11

Используйте TStringList, думаю с его помощью удобнее всего парсить текст.
(Хотя на самом деле задача поставлена без конкретики, может были бы и другие варианты)

@Moriska32 · 17.02.2016, 11:14 **[ТС]**

А что конкретнее )) Одно могу добавить что файлы огромные и читать надо построчно) а не как в питоне разом. А то иначе на объем памяти жалуется.

@demon_7 · 17.02.2016, 11:22

Гляньте тут
Перевод из TFileStream в TStringStream

@Moriska32 · 17.02.2016, 11:28 **[ТС]**

Это я уже видел, это не то, тут он выборочно строки читает, а мне нужно все, и по критериям загнать в переменные. чтоб потом собрать все в ексель файл.

@volvo · 17.02.2016, 11:29

Сообщение от Moriska32

файлы огромные и читать надо построчно) а не как в питоне разом.

Используй std::ifstream + его метод getline, а потом уже прочитанную строку парсь любыми методами, хоть тем же STL, хоть VCL-евским TStringList (или SplitString).

@Moriska32 · 17.02.2016, 11:54 **[ТС]**

Вот если бы я понимал как это сделать я бы не задавался таким вопросом, просто пытаюсь слезть с питона и пересесть на си. И это довольно трудно)

@Avazart · 17.02.2016, 13:39

Сообщение от Moriska32

просто пытаюсь слезть с питона и пересесть на си.

Тогда вам в раздел Си а не в раздел С++.

@Moriska32 · 17.02.2016, 13:40 **[ТС]**

Программу пишу в Rad Studio там Borland

@volvo · 17.02.2016, 13:49

Сообщение от Moriska32

Вот если бы я понимал как это сделать

Очень просто:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    String filename = "d:\\test\\01.txt";
 
    ifstream ifile;
    // это можно делать в цикле
    ifile.open(filename.c_str());
    if (ifile.good())
    {
        while (!ifile.eof())
        {
            std::string line;
            getline(ifile, line);
 
            TStringDynArray items = SplitString(line.c_str(), "|");
            TStringDynArray cam = SplitString(items[1], ",");
            TStringDynArray time = SplitString(items[2], ",");
 
            // работаешь с переменными cam и time как тебе нужно
            ShowMessage(items[0] + " " + cam[1] + " " + time[2]); // для примера
        }
    }
    ifile.close();

(проверялось на XE2, файл прекрасно читается. Поскольку тобой пример структуры файла не приведен - я сделал свой тестовый файл)

@Moriska32 · 17.02.2016, 13:57 **[ТС]**

Спасибо)) Очень помогло, мне было главное узнать как выгружать файл и как организовать его построчную считку. и За разделение отдельное спасибо))

@Avazart · 17.02.2016, 14:01

Можно было бы использовать boost С++ сплитирование строк

@Moriska32 · 17.02.2016, 15:19 **[ТС]**

Вот еще 1 вопрос всплыл, при обработке файла при большом объеме возникает ошибка не достаточно памяти, как ее решить?

@volvo · 17.02.2016, 15:38

Эта ошибка будет возникать, если ты весь файл читаешь в память. А при построчном чтении этого быть не должно.

@Avazart · 17.02.2016, 15:47

Естественно если строки не сверхдлинные.

@Moriska32 · 17.02.2016, 15:52 **[ТС]**

getline(ifile, line); - так разве эта строка не означает что он читает построчно?

@Avazart · 17.02.2016, 15:53

Означает.

@Moriska32 · 17.02.2016, 15:55 **[ТС]**

Тогда что не так?

@Avazart · 17.02.2016, 15:57

Сообщение от volvo

проверялось на XE2, файл прекрасно читается.

Кстати странно что работаете ибо wchar_t/char не совместимо.

Добавлено через 25 секунд

Сообщение от Moriska32

Тогда что не так?

Где-то в другом месте ошибка.

getline

@Moriska32 · 17.02.2016, 16:26 **[ТС]**

Вроде разобрался с одним теперь вылезло вот это Project ** raised exeption class $System@DynArrayOutOfRange with message 'Exception Object Adress': 0x27118d0 я так полагаю места не хватило опять где то)

Новые блоги и статьи Все статьи Все блоги /
Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .	Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .

@demon_7 260 / 192 / 60 Регистрация: 12.05.2013 Сообщений: 857
	17.02.2016, 11:11
	Используйте TStringList, думаю с его помощью удобнее всего парсить текст. (Хотя на самом деле задача поставлена без конкретики, может были бы и другие варианты) 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 11:14 [ТС]
	А что конкретнее )) Одно могу добавить что файлы огромные и читать надо построчно) а не как в питоне разом. А то иначе на объем памяти жалуется. 0

@demon_7 260 / 192 / 60 Регистрация: 12.05.2013 Сообщений: 857
	17.02.2016, 11:22
	Гляньте тут Перевод из TFileStream в TStringStream 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 11:28 [ТС]
	Это я уже видел, это не то, тут он выборочно строки читает, а мне нужно все, и по критериям загнать в переменные. чтоб потом собрать все в ексель файл. 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 11:54 [ТС]
	Вот если бы я понимал как это сделать я бы не задавался таким вопросом, просто пытаюсь слезть с питона и пересесть на си. И это довольно трудно) 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 13:40 [ТС]
	Программу пишу в Rad Studio там Borland 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 13:57 [ТС]
	Спасибо)) Очень помогло, мне было главное узнать как выгружать файл и как организовать его построчную считку. и За разделение отдельное спасибо)) 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	17.02.2016, 14:01
	Можно было бы использовать boost С++ сплитирование строк 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 15:19 [ТС]
	Вот еще 1 вопрос всплыл, при обработке файла при большом объеме возникает ошибка не достаточно памяти, как ее решить? 0

@volvo Супер-модератор 33405 / 21515 / 8236 Регистрация: 22.10.2011 Сообщений: 36,916 Записей в блоге: 12
	17.02.2016, 15:38
	Эта ошибка будет возникать, если ты весь файл читаешь в память. А при построчном чтении этого быть не должно. 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	17.02.2016, 15:47
	Естественно если строки не сверхдлинные. 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 15:52 [ТС]
	getline(ifile, line); - так разве эта строка не означает что он читает построчно? 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	17.02.2016, 15:53
	Означает. 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 15:55 [ТС]
	Тогда что не так? 0

@Moriska32 5 / 0 / 0 Регистрация: 02.01.2013 Сообщений: 42
	17.02.2016, 16:26 [ТС]
	Вроде разобрался с одним теперь вылезло вот это Project ** raised exeption class $System@DynArrayOutOfRange with message 'Exception Object Adress': 0x27118d0 я так полагаю места не хватило опять где то) 0

Парсинг большого текстового файла

Решение