Форум программистов, компьютерный форум CyberForum.ru
Наши страницы

С++ для начинающих

Войти
Регистрация
Восстановить пароль
 
Рейтинг: Рейтинг темы: голосов - 10, средняя оценка - 4.90
CEBEP
106 / 106 / 9
Регистрация: 21.03.2010
Сообщений: 440
#1

Парсинг потоками - C++

15.10.2011, 04:32. Просмотров 1290. Ответов 10
Метки нет (Все метки)

Здравствуйте.
У меня есть текстовый файл объёмом где-то 10-50 мегобайт. В нём в текстовом виде хранятся числа и строки в известном мне формате. Как наилучшим образом его считать и пропарсить?
То как это реализовано сейчас:
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
UNVData::UNVData(std::string fileAdr)
{
    std::fstream f(fileAdr, std::ios::binary | std::ios::in);
 
    if(!f)
    {
        std::cerr << "Can't open file \"" << fileAdr << "\" licke binary!";
    }
    else
    {
        std::istringstream stream;
        f.seekg( 0, std::ios::end );
        std::ios::pos_type fSize = f.tellg();
        f.seekg( 0, std::ios::beg );
        
        char* file = new char[static_cast<unsigned long>(fSize) + 1];
        f.read( file, fSize );
        file[static_cast<unsigned long long>(fSize)] = 0;
 
        stream.str(file);
 
        delete[] file;
        
        /*Далее извлечение из потока по формату.*/
 
    }
}
Очевидные минусы:
1. Простой процессора во время считывания файла с диска
2. Использование массива просто чтобы перегнать данные в поток (по крайней мере время на переписывание информации из массива в поток и время на выделение массива).
Естественно, я знаю что можно просто брать данные из файлового потока, но, на сколько я понимаю, тогда информация будет считываться крошечными порциями. В такой ситуации жесткий диск должен работать очень неэффективно.

Буду рад услышать о более совершенных вариантах или узнать оправдательные аргументы в пользу высказанных выше.
Хочу отметить, что уже реализовал быстрый разбор файла в стиле Си, но хотелось бы попытаться выполнить задачу в рамках объектно-ориентированного подхода.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
15.10.2011, 04:32
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Парсинг потоками (C++):

Работа с потоками - C++
Поток main должен выполнить следующие действия: создать массив, размерность и элементы которого вводятся пользователем с консоли; ...

проблема с потоками - C++
Ребят при написании программы появилась проблема, опишу вкратце. пишу интерфейс WTL шаблонами. В MainWindow класса есть метод обработки...

Работа с потоками - C++
Задание Разработать программу, реализующую многопочность средствами среды Win32. Программа должна обеспечивать: Отображение списка...

работа с потоками - C++
Добрый вечер! Есть файл txt, состоит из символов, чисел, необходимо его открыть, упорядочить некоторым образом и записать, начал с...

Работа с потоками - C++
Пишу простой RSS агрегатор и уже практически доделал его в программе параллельно устанавливается соединение и потом извлекаем данные из...

Работа с потоками - C++
Добрый вечер. Возникла такая проблема: в консольном приложении воспроизводится музыка при помощи mciSendString(s.c_str(), NULL, 0,...

10
Deviaphan
Делаю внезапно и красиво
Эксперт С++
1305 / 1220 / 50
Регистрация: 22.03.2011
Сообщений: 3,744
15.10.2011, 08:07 #2
1. Забей. У тебя один файл небольшого размера, потеря времени не существенна. Если делать параллельное считывание и парсинг, то код очень сильно усложнится, но время уменьшится не сильно.
2. Создай std::string, выдели в нём память, считай файл в эту строку и подключи её к потоку в виде буфера. Так избавишься от промежуточного массива.
2
CEBEP
106 / 106 / 9
Регистрация: 21.03.2010
Сообщений: 440
15.10.2011, 08:17  [ТС] #3
2. так и сделаю
1. Я готов к трудностям. Это реализуется только многопоточностью или есть более простые методы?
0
Евгений М.
1035 / 976 / 54
Регистрация: 28.02.2010
Сообщений: 2,829
Завершенные тесты: 2
15.10.2011, 08:21 #4
Цитата Сообщение от CEBEP Посмотреть сообщение
Это реализуется только многопоточностью или есть более простые методы?
Сомневаюсь, что параллельные операции можно выполнять без использования многопоточности.
0
Deviaphan
Делаю внезапно и красиво
Эксперт С++
1305 / 1220 / 50
Регистрация: 22.03.2011
Сообщений: 3,744
15.10.2011, 08:44 #5
Цитата Сообщение от CEBEP Посмотреть сообщение
Я готов к трудностям.
У тебя один файл или много?
Если один, то ты только потратишь время. Файл слишком маленький, чтобы распараллеливать считывание и парсинг. Если бы размер файла был сопоставим с объёмом оперативной памяти или больше её, то это имело бы смысл, но с файлом 50 мегабайт это не имеет смысла. На синхронизации потоков ты потратишь больше времени, чем выиграешь за счёт параллельной работы.
Если файлов много и ты реализуешь пакетную обработку, то всё несколько проще. Тебе нужно создать два буфера. Считываешь первый, запускаешь его парсинг и в это же время считываешь второй файл во второй буфер. Ждёшь завершения обеих операций, меняешь буферы местами и повторяешь. И чтение и парсинг лучше делать в отдельных потоках; в основной программе выполнять синхронизацию потоков.

Добавлено через 33 секунды
Цитата Сообщение от Евгений М. Посмотреть сообщение
Сомневаюсь, что параллельные операции можно выполнять без использования многопоточности.
MMX, SSE

Добавлено через 41 секунду
А учитывая мультискалярность...
1
CEBEP
106 / 106 / 9
Регистрация: 21.03.2010
Сообщений: 440
15.10.2011, 08:44  [ТС] #6
файл наверняка будет один. но нельзя сказать каков его предельный размер. Возможно, там появятся цифры зашкаливающие за гигабайт. Впрочем, так или иначе, программу можно будет запустить на машине с оперативкой гигабайт в тридцать.
0
Deviaphan
Делаю внезапно и красиво
Эксперт С++
1305 / 1220 / 50
Регистрация: 22.03.2011
Сообщений: 3,744
15.10.2011, 08:58 #7
Для параллельной обработки одного файла, тебе придётся читать его кусками. Так же используешь два буфера. В один читаешь, второй обрабатываешь. Могут быть проблемы с "переносом", т.е. если часть данных останется в одном буфере, а продолжение в другом, так что подумай над этим. Возможно, будет удобнее использовать один буфер двойного объёма и "зациклить" его. Впрочем, всё зависит от того, как ты реализуешь парсер. Если длина данным фиксирована, то ты можешь точно высчитать размер буфера, чтобы не возникло описанной проблемы.
Наврятли имеет смысл делать буфер более 64 мегабайт, но зависит от скорости HDD и скорости парсинга. Т.е. тебе нужно примерно подобрать, чтобы скорость чтения блока размером N была равна времени парсинга блока такого-же размера.
1
CEBEP
106 / 106 / 9
Регистрация: 21.03.2010
Сообщений: 440
15.10.2011, 11:42  [ТС] #8
Удивительно! думал что считать файл в строку целиком просто. До сих пор не смог, а занимаюсь этим с тех пор как написал что так и сделаю.
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
UNVData::UNVData(std::string fileAdr)
{
    std::fstream file(fileAdr, std::ios::binary | std::ios::in);
 
    if(!file)
    {
        std::cerr << "Can't open file \"" << fileAdr << "\" licke binary!";
    }
    else
    {
        file.seekg( 0, std::ios::end );
        std::ios::pos_type fSize = file.tellg();
        file.seekg( 0, std::ios::beg );
        
        std::string bufer;
        bufer.reserve(static_cast<std::basic_string<char, std::char_traits<char>, std::allocator<char>>::size_type>(fSize));
        std::ostringstream(bufer) << file.rdbuf();
 
        std::cout << bufer;
 
        std::istringstream stream(bufer);
 
        std::cout << bufer;
    }
}
Добавлено через 36 секунд
статик_каст - это шутка такая...

Добавлено через 3 минуты
В результате работы кода я получаю по прежнему пустую строку. fstream.read() шокировал тем что не может работать со строками. Я был уверен, что со стандартной библиотекой можно работать максимально просто используя стандартные объекты.... что-то я в печали...
0
Deviaphan
Делаю внезапно и красиво
Эксперт С++
1305 / 1220 / 50
Регистрация: 22.03.2011
Сообщений: 3,744
15.10.2011, 11:56 #9
Цитата Сообщение от CEBEP Посмотреть сообщение
bufer.reserve(static_cast<std::basic_string<char, std::char_traits<char>, std::allocator<char>>::size_type>(fSize));
C++
1
2
3
4
bufer.reserve(fSize+1);
f.read( &bufer.at(0), fSize );
bufer[fSize] = '\0';
std::istringstream stream(bufer);
Как бы всё...

Добавлено через 1 минуту
Операторы << и >> используются только для текстовых потоков, у тебя бинарные.
1
CEBEP
106 / 106 / 9
Регистрация: 21.03.2010
Сообщений: 440
16.10.2011, 07:04  [ТС] #10
C++
1
2
3
4
bufer.reserve(fSize+1);
f.read( &bufer.at(0), fSize );
bufer[fSize] = '\0';
std::istringstream stream(bufer);
Этот способ никуда не годится. С одной стороны, память под строку действительно выделена, но длинна строки внутри класса после такой записи остаётся нулевой. Это приводит к тому, что при обращении к любому символу строки генерится ошибка а при попытке вывести такую строку выводится пустая строка. Здесь подходит
C++
1
2
3
std::string bufer;
bufer.resize(fSize + 1);
file.read( &bufer.at(1),  fSize  );
и присовение последнему символу '\0' тогда не нужно.
Кстати, << и >> в принципе годятся и для бинарного файла. Например,
C++
1
std::cout << file.rdbuf();
работает на ура.
0
Deviaphan
Делаю внезапно и красиво
Эксперт С++
1305 / 1220 / 50
Регистрация: 22.03.2011
Сообщений: 3,744
16.10.2011, 07:08 #11
Точно. reserve выделяет память, но не меняет длину строки. Ступил чуток.)
Замени at(1) на at(0). С нуля индексация начинается.
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
16.10.2011, 07:08
Привет! Вот еще темы с ответами:

Работа с потоками. - C++
Здравствуйте. Есть программа реализующая перебор вариантов размена суммы (к примеру 100 = 100, 100 = 50 + 50 т.д.) #include...

Работа с потоками - C++
Задача поставлена так : Необходимо открыть поток, записать некую информацию и далее закрыть его. Но необходимо, чтобы после закрытия...

Работа с потоками - C++
Нужно посчитать сумму элементов в матрице nxn написал а она мне выдаёт ошибку. и теперь не знаю что надо делать. ...

Не могу разобраться с потоками - C++
В общем суть задачи моей такова - есть файл , ну допустим в нем 1000 строк ,и я поставил своей задачей прочесть каждую его строку , после...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Yandex
Объявления
16.10.2011, 07:08
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru