Как лучше всего сохранять большое количество матриц?

@MikeR · Регистрация: 18.05.2015

Студворк — интернет-сервис помощи студентам

Пишу программку, которая будет обрабатывать большие количества матриц.
Хочу реализовать очередь выполнения, продолжение выполнения после закрытия приложения (Если работа с поточным списком не была завершена). Разумеется, что можно было бы смотреть в сторону текстовых файлов, но у меня есть желание поработать с каким-то вариантом, который используют в коммерческих проектах. Да и текстовые файлы, решение как-то не очень.

Сходу подумал про два варианта : XAML и БД.

Буду признателен за ваши варианты)

@Usaga · 30.07.2017, 10:19

MikeR, а чому обычный текстовый файл не нравится?

@Rius · 30.07.2017, 10:22

Не по теме:

Сообщение от MikeR

XAML

XML

@MikeR · 30.07.2017, 10:33 **[ТС]**

Usaga, Я не могу сказать что мне такой вариант не нравится.

Мне больше было интересно как еще (кроме текстовых файлов) решают такую задачу? Конечно текстовый файл, это не плохо. Главное понять как лучше хранить данные: все матрицы в одном файле, или по файлу на матрицу? Или вообще, искать золотую середину, (напр.) по 100 матриц на файл.

@Usaga · 30.07.2017, 10:42

MikeR, да как вам удобнее. "Стандарта" никакого нет. Можете XML использовать, можете TXT. Можете всё в один файл затолкать, можете по разным раскидать...

@FateOri · 30.07.2017, 18:13

сколько матриц будет?))

@MikeR · 30.07.2017, 21:35 **[ТС]**

FateOri, 10к+

@1231231ghacking · 30.07.2017, 23:48

MikeR, наверное, с таким объемом лучше справится БД)

@jetyb · 31.07.2017, 09:34

А чем вам простая запись матрицы в бинарник не нравится? (через BinaryWriter, BinaryWriter.WriteDouble)
Через текстовик и обработку строк слишком долго все будет читаться.
И по-человечески невозможно воспринимать 10К матриц приличной размерности, даже написанных в красивом XML-e.
Единственный плюс сохранения в текстовик - понятность сохранения стороннему человеку.

Через бинарник будет сделать проще, весить файл будет меньше, а читаться быстрее.

@Rius · 31.07.2017, 10:09

С бинарным файлом всё хорошо, пока не потребуется изменить формат данных, тогда как файлы в старом формате уже распространены.

@Usaga · 31.07.2017, 10:16

Rius, ну так это общая проблема любой формы хранения данных.

@Rius · 31.07.2017, 10:20

Да. Но есть расширяемые форматы, а есть прибитые гвоздями.

@Usaga · 31.07.2017, 10:21

Rius, какие например?

@Rius · 31.07.2017, 10:25

1. eXtensible Markup Language - расширяемый и медленный.
2. Быстрый, но прибитый гвоздями - дамп массива структур из памяти в файл и обратно. В C/C++.

@Usaga · 31.07.2017, 10:29

Rius, если формат данных изменится, то схему того же XML тоже нужно будет менять. Не вижу тут особых отличий от бинарного формата. Разве, что XML-ку можно руками поправить или просто в блокноте изучить на предмет "старости" формата.

@jetyb · 31.07.2017, 10:38

Сообщение от Rius

С бинарным файлом всё хорошо, пока не потребуется изменить формат данных, тогда как файлы в старом формате уже распространены

Да, вот с этим соглашусь. Или хранить все матрицы в отдельном файле, или придумывать программу-конвертер.

У меня правда есть опыт хранения 6000x6000 матрицы (6000 строк с 6000 разделенными пробелами столбцов) - 15 секунд загрузки "в лоб" и 120 Mb места.

@Rius · 31.07.2017, 10:44

Usaga,
Есть бинарный XML, который быстрее, но руками не поправишь.
Очевидное отличие в добавлении данных. При чтении XML можно пропустить неизвестные ноды. В бинарном же массиве нет, придётся уже реализовывать парсер потока байт, а не читать напрямую в память структур.

@Usaga · 31.07.2017, 10:54

Rius, ну да, вариант.

Новые блоги и статьи Все статьи Все блоги /
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.

@MikeR 0 / 0 / 0 Регистрация: 18.05.2015 Сообщений: 39

	Как лучше всего сохранять большое количество матриц? 30.07.2017, 10:06. Показов 1389. Ответов 17 Метки нет (Все метки) Пишу программку, которая будет обрабатывать большие количества матриц. Хочу реализовать очередь выполнения, продолжение выполнения после закрытия приложения (Если работа с поточным списком не была завершена). Разумеется, что можно было бы смотреть в сторону текстовых файлов, но у меня есть желание поработать с каким-то вариантом, который используют в коммерческих проектах. Да и текстовые файлы, решение как-то не очень. Сходу подумал про два варианта : XAML и БД. Буду признателен за ваши варианты) 0

@Usaga 14293 / 9378 / 1352 Регистрация: 21.01.2016 Сообщений: 35,357
	30.07.2017, 10:19
	MikeR, а чому обычный текстовый файл не нравится? 0

@MikeR 0 / 0 / 0 Регистрация: 18.05.2015 Сообщений: 39
	30.07.2017, 10:33 [ТС]
	Usaga, Я не могу сказать что мне такой вариант не нравится. Мне больше было интересно как еще (кроме текстовых файлов) решают такую задачу? Конечно текстовый файл, это не плохо. Главное понять как лучше хранить данные: все матрицы в одном файле, или по файлу на матрицу? Или вообще, искать золотую середину, (напр.) по 100 матриц на файл. 0

@Usaga 14293 / 9378 / 1352 Регистрация: 21.01.2016 Сообщений: 35,357
	30.07.2017, 10:42
	MikeR, да как вам удобнее. "Стандарта" никакого нет. Можете XML использовать, можете TXT. Можете всё в один файл затолкать, можете по разным раскидать... 0

@FateOri Фрилансер 761 / 458 / 146 Регистрация: 06.01.2017 Сообщений: 4,856
	30.07.2017, 18:13
	сколько матриц будет?)) 0

@MikeR 0 / 0 / 0 Регистрация: 18.05.2015 Сообщений: 39
	30.07.2017, 21:35 [ТС]
	FateOri, 10к+ 0

@1231231ghacking 102 / 106 / 62 Регистрация: 19.11.2015 Сообщений: 380
	30.07.2017, 23:48
	MikeR, наверное, с таким объемом лучше справится БД) 0

@jetyb 296 / 259 / 107 Регистрация: 26.10.2012 Сообщений: 809
	31.07.2017, 09:34
	А чем вам простая запись матрицы в бинарник не нравится? (через BinaryWriter, BinaryWriter.WriteDouble) Через текстовик и обработку строк слишком долго все будет читаться. И по-человечески невозможно воспринимать 10К матриц приличной размерности, даже написанных в красивом XML-e. Единственный плюс сохранения в текстовик - понятность сохранения стороннему человеку. Через бинарник будет сделать проще, весить файл будет меньше, а читаться быстрее. 0

@Rius 13121 / 7682 / 1675 Регистрация: 25.05.2015 Сообщений: 23,450 Записей в блоге: 14
	31.07.2017, 10:09
	С бинарным файлом всё хорошо, пока не потребуется изменить формат данных, тогда как файлы в старом формате уже распространены. 0

@Usaga 14293 / 9378 / 1352 Регистрация: 21.01.2016 Сообщений: 35,357
	31.07.2017, 10:16
	Rius, ну так это общая проблема любой формы хранения данных. 0

@Rius 13121 / 7682 / 1675 Регистрация: 25.05.2015 Сообщений: 23,450 Записей в блоге: 14
	31.07.2017, 10:20
	Да. Но есть расширяемые форматы, а есть прибитые гвоздями. 0

@Usaga 14293 / 9378 / 1352 Регистрация: 21.01.2016 Сообщений: 35,357
	31.07.2017, 10:21
	Rius, какие например? 0

@Rius 13121 / 7682 / 1675 Регистрация: 25.05.2015 Сообщений: 23,450 Записей в блоге: 14
	31.07.2017, 10:25
	1. eXtensible Markup Language - расширяемый и медленный. 2. Быстрый, но прибитый гвоздями - дамп массива структур из памяти в файл и обратно. В C/C++. 0

@Usaga 14293 / 9378 / 1352 Регистрация: 21.01.2016 Сообщений: 35,357
	31.07.2017, 10:29
	Rius, если формат данных изменится, то схему того же XML тоже нужно будет менять. Не вижу тут особых отличий от бинарного формата. Разве, что XML-ку можно руками поправить или просто в блокноте изучить на предмет "старости" формата. 0

@Rius 13121 / 7682 / 1675 Регистрация: 25.05.2015 Сообщений: 23,450 Записей в блоге: 14
	31.07.2017, 10:44
	Usaga, Есть бинарный XML, который быстрее, но руками не поправишь. Очевидное отличие в добавлении данных. При чтении XML можно пропустить неизвестные ноды. В бинарном же массиве нет, придётся уже реализовывать парсер потока байт, а не читать напрямую в память структур. 0

@Usaga 14293 / 9378 / 1352 Регистрация: 21.01.2016 Сообщений: 35,357
	31.07.2017, 10:54
	Rius, ну да, вариант. 0