|
5 / 5 / 2
Регистрация: 17.11.2016
Сообщений: 69
|
||||||
Сохранение больших объемов данных в файл18.01.2018, 16:37. Показов 2639. Ответов 7
Метки нет (Все метки)
Народ подскажите, может есть у кого идеи.
У меня программа, с таблицей на 3,5-4 млн строк по 14-20 полей в каждой строке (поля преимующествено double, но есть и неопределенного типа) + 2 таблицы маппинга данных. Для экономии пространства строки с данными представляют просто массив double[] и object[], а в таблицах маппинга описано в как называется колонка в ячейке double[0], double[1] и т.д. Все это надо сохранить в файл, а потом считать и восстановить данных. Как это сделать максимально быстро записать + считать и с меньшем затратом ресурсов? На данный момент файл 700 к строк и с 14 полями сохраняется в файл 124мб, это приемлемо, но вот считывание из этого файла занимает неприлично много времени. На данный момент остановился на BinaryFormatter, так же пробовол SoapFormatter. Код серриализации/дессиариализации выглядит так:
Ускорил процесс, путем отказа от инфо данных типа object. Но если они понадобятся в будующем как их добавлять теперь стало вопросом
0
|
||||||
| 18.01.2018, 16:37 | |
|
Ответы с готовыми решениями:
7
Шифрование больших объемов данных Обработка больших объемов данных из Excel Алгоритмы сортировки больших объёмов данных |
|
5 / 5 / 2
Регистрация: 17.11.2016
Сообщений: 69
|
|
| 18.01.2018, 16:56 [ТС] | |
|
Wolfdp,
Если ты про объявления класса как [Serializable], то это был шаг номер 0. И он падал из-за исключения: при сериализации выдавалось исключение превышение максимального значения int32.MaxValue. Я так понял, что при сериализации переменной класса List в которой много данных, получается данное исключение. Если, ты про другое, то можешь подробнее описать, что ты имеешь ввиду. Т.к. яндекс по термину "сериализованая модель" ничего интересного не нашел.
0
|
|
|
|
|
| 18.01.2018, 17:56 | |
|
я лет сто уже не юзал бинарную сериализацию, но когда-то делал так (еще не знал, что можно пихать листьі): в начале файла записывал количество, сначала считьівал его и потом в цикле считьівал по єлементу.
0
|
|
|
5 / 5 / 2
Регистрация: 17.11.2016
Сообщений: 69
|
||||||
| 19.01.2018, 00:40 [ТС] | ||||||
|
Wolfdp,
Ну я в итоге, сделал примерно так же. Сначала записываю словарь индексов, после записываю одну пустую строку, а потом все double данные. А при считывании, читаю строки индексов, до нахождения пустой строки, после этого читаю double переменные до конца файла П.С. Ты пишешь, что что лет не юзал бинарную сериализацию. Сейчас сериализуют другими методами? Если да, напиши пожалуйста, как новые методы называется? Что у меня сейчас:
0
|
||||||
|
447 / 300 / 65
Регистрация: 12.10.2009
Сообщений: 1,162
|
|
| 19.01.2018, 00:55 | |
|
зачем вы придумываете велосипеды? возьмите EF6+CodeFirst+SQLLite и будет вам счастье
0
|
|
|
5 / 5 / 2
Регистрация: 17.11.2016
Сообщений: 69
|
||||||
| 19.01.2018, 15:00 [ТС] | ||||||
|
Wolfdp,
агерон, Спасибо, за идею, но CodeFisrt и работа с БД, для меня не самое легкое занятие, поэтому я эту идею оставлю на крайний случай. П.С. Последний мой вариант, на самом деле очень хорошо себя показал, все стало быстро и экономно по вместительности. П.С.С. Но теперь я понял, что мне надо будет в дальнейшем сохранять данный объем данных как часть сложного класса. И что делать тогда я не знаю...
0
|
||||||
| 19.01.2018, 15:00 | |
|
Помогаю со студенческими работами здесь
8
Хранение больших объемов данных в файлах. Сохранение больших объемов данных в indexeddb Добавление больших объемов данных Добавление в бд больших объемов данных
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Налог на собак: https:/ / **********/ gallery/ V06K53e
Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf
Пост отсюда. . .
|
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop?
Ниже её машинный перевод.
После долгих разбирательств я наконец-то вернула себе. . .
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод
Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод.
Thinkpad X220 Tablet —. . .
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|