Простая работа с данными

Есть программка, которая выдает данные в файл .txt в текстовом формате (в каждой строке 10 чисел через пробел). Эти данные потом могут вводиться в программу для их анализа.
На первых порах было все ок. Но аппетит приходит во время еды. Хочется увеличить объем данных и иметь возможность с ними работать без больших задержек. Файл .txt тормозит уже на вводе в него данных - порядка 50 тысяч строк записывается уже ощутимо "не мгновенно". А если строк (записей) будет миллион или 100 миллионов? как тогда быть?
Можно как-то ускорить работу с файлами (ввод-вывод данных из них)? Например перейти на бинарный формат записи. Или придется неизбежно переходить к БД? Опыта работы с БД нет.
Для определенности, скажем так, что планируется работать примерно с таким объемом данных - от 1 до 100 миллионов записей по 10 чисел.
При этом, желательно, чтобы была возможность анализировать весь объем данных (например, наработанный за год) или отдельные блоки этих данных. Но это не обязательное требование.
Прошу учесть, что вопрос практический и речь идет о следующей итерации улучшения работы с данными - к чему перейти от исходного варианта (запись в тестовом формате в файл .txt), чтобы получить максимальное улучшение при минимальных затратах мозговых усилий.

0

По мне дак с таким числом записи нужно переходить к БД.
Работать с базой легче, чем с файлом (про скорость, стабильность я молчу)

Ну и если работать с БД, то рекомендую посмотреть на Entity Framework даже не нужно вникать, как писать запросы.

1

Сообщение от titan4ik от 1 до 100 миллионов записей по 10 чисел.

А почему так много данных? Даже в случае с БД, если записей в 2 таблицах более млн (даже ненамного более), то при их join-е уже прочувствуется время выполнения.
Может стоит пересмотреть workflow?
Ну а так да, используйте БД + индексы.

1

titan4ik, для начала в самом деле можно попробовать использовать бинарный формат. Это ускорит и чтение и запись. Данные по годам можно разнести по разным файлам.

2

titan4ik, мне показалось, или мы говорим об межпроцессорном взаимодействии через ФС? Первый txt файл вообще где-нибудь используется, кроме

вводиться в программу для их анализа

?
Если я прав - предлагаю подумать о более рациональных способах передачи данных из одной программы в другую.

0

aquaMakc,
ФС - это чё?) Файловая система?
файл данных является и результатом работы и местом хранения данных. Используется потом он блоком обработки (анализа) той же программы. В принципе, можно считать, что это другая программа.
Я не гуглил пока даже вот этот термин "межпроцессорное взаимодействие")

Добавлено через 5 часов 20 минут

Сообщение от OwenGlendower для начала в самом деле можно попробовать использовать бинарный формат. Это ускорит и чтение и запись.

Ок, для начала так и сделаю.
И если делать след шаг - к БД, то что посоветуете?
Критерий - умеренный напряг при освоении при приемлемом качестве. Плюс несложная стыковка с c# VS.

Сообщение от IamRain Даже в случае с БД, если записей в 2 таблицах более млн (даже ненамного более), то при их join-е уже прочувствуется время выполнения.

Да, комп не всесилен. Вероятно придется делать несколько версий наборов данных (преобразовывать) с тем, чтобы одномоментно не нужно было бы обрабатывать много записей. А немного это будет, вероятно, порядка 10⁵- 10⁷ записей. Надеюсь, все-таки, что меньше 10⁶. Нужно подумать над таким "секвестрованием".

0