Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 5.00/8: Рейтинг темы: голосов - 8, средняя оценка - 5.00
3 / 3 / 1
Регистрация: 17.04.2011
Сообщений: 52

Как хранить огромное количество данных?

27.01.2022, 08:39. Показов 1819. Ответов 24
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть массив данных, он огромен и к нему постоянно идут обращения.
Хранит в себе данные типа
C#
1
2
3
4
5
6
public class Blabla
{
    public int num1 = 0;
    public int num2= 0;
    public int num3= 0;
}
Сейчас при выходе из приложения происходит сохранение данных в файл, при помощи бинарной сериализации и соответсвенно загрузка десериализацией.
Так вот проблема в том что когда массив очень большой то при сохранение происходит зависание на время, а во время загрузки приложение вообще зависает, сжирает кучу памяти и вылетает.

Собственно вопрос есть ли какие то другие способы хранения данных или вообще чтобы этот массив хранился не в памяти во время работы приложения а на диске?

Добавлено через 7 минут
Извиняюсь, забыл добавить что массив многомерный.
Масив такого плана:
C#
1
public static Blabla[,,] Massiv;
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
27.01.2022, 08:39
Ответы с готовыми решениями:

Где хранить большое количество данных
Добрый день! Сегодня задумался вопросом, где можно хранить огромное количество данных. К примеру есть сайт , где зарегистрированные...

Как сохранить строку в файле .bin с учетом, что исходная строка будет иметь огромное количество символов
Есть программа, которая генерит нужное количество нулей и единиц в случайном порядке. А далее, она должна это значение из label2 сохранить...

Огромное количество записей в БД
у меня допустим есть файл в 100 000 тыс. строк, мне надо каждую строку записать в БД, я пишу допустим в 3 таблицы, тойсть 1 строка, должна...

24
 Аватар для Voronkin
469 / 296 / 166
Регистрация: 18.03.2018
Сообщений: 960
27.01.2022, 11:59
Студворк — интернет-сервис помощи студентам
Вот Вам сравнение скорости массива в памяти и записи в файл. 85 млн строк (файл около гига получается)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
        static void Main(string[] args)
        {
            Stopwatch stopWatch = new Stopwatch();
            Random random = new Random();
            stopWatch.Start();
 
            int[] x = new int[85000000];
            stopWatch.Start();
            for (int i = 0; i < x.Length; i++)
            {
                x[i] = random.Next();
            }
            var timeArray = stopWatch.Elapsed.TotalSeconds;
            stopWatch.Stop();
 
            StreamWriter sr = new StreamWriter("C:\\1.txt");
            stopWatch.Start();
            for (int i = 0; i < x.Length; i++)
            {
                sr.WriteLine(random.Next());
            }
            sr.Close();
            var timeFile = stopWatch.Elapsed.TotalSeconds;
            stopWatch.Stop();
 
            Console.WriteLine($"Запись в массив - {timeArray} сек, запись в файл - {timeFile} сек");
            Console.ReadKey();
        }
Запись в массив - 1,4159674 сек, запись в файл - 24,0174177 сек

разница - примерно 17 раз (для ssd, HDD -естественно больше). Но это просто запись в файл, С БД - будет быстрее, и это не сотни раз

Добавлено через 4 минуты
Запись в массив - 1,4595308 сек, запись в файл - 36,4473843 сек
HDD
0
Эксперт .NET
 Аватар для Wolfdp
3790 / 1767 / 371
Регистрация: 15.06.2012
Сообщений: 6,543
Записей в блоге: 3
27.01.2022, 13:25
Цитата Сообщение от dystopiate Посмотреть сообщение
Приложение: генератор фигур из вокселей.
Ух, графика...

Если обьекты будут небольшие, скажем 500х500х500, можно попробывать такой подход
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
    class Program
    {
        static void Main(string[] args)
        {
            Stopwatch sw = new();
            const int length1 = 500;
            const int length2 = 500;
            const int length3 = 500;
            Random random = new();
            int[,,] originalArr = new int [length1, length2, length3];
            for (var i = 0; i < length1; i++)
                for (var j = 0; j < length2; j++)
                    for (var k = 0; k < length3; k++)
                        originalArr[i, j, k] = random.Next();
 
            var file = @"D:\Temp\nya_array.dat";
            sw.Start();
            FileService.Write(file, originalArr);
            Console.WriteLine($"writed - {sw.Elapsed}");
            var arr = FileService.Read(file);
            Console.WriteLine($"readed - {sw.Elapsed}");
            sw.Stop();
 
//проверка данных
            Console.WriteLine(originalArr.GetLength(0) == arr.GetLength(0));
            Console.WriteLine(originalArr.GetLength(1) == arr.GetLength(1));
            Console.WriteLine(originalArr.GetLength(2) == arr.GetLength(2));
            Console.WriteLine(Enumerable.SequenceEqual(originalArr.Cast<int>(), arr.Cast<int>()));
            Console.ReadKey();
        }
    }
 
    class FileService
    {
        public static int[,,] Read(string file)
        {
            using FileStream stream = new(file, FileMode.Open);
            using BinaryReader reader = new(stream, Encoding.Unicode);
            var length1 = reader.ReadInt32();
            var length2 = reader.ReadInt32();
            var length3 = reader.ReadInt32();
            var arr = new int[length1, length2, length3];
            for (var i = 0; i < length1; i++)
                for (var j = 0; j < length2; j++)
                    for (var k = 0; k < length3; k++)
                        arr[i, j, k] = reader.ReadInt32();
            return arr;
        }
 
        public static void Write(string file, int[,,] arr)
        {
            using FileStream stream = new(file, FileMode.OpenOrCreate);
            using BinaryWriter writer = new(stream, Encoding.Unicode);
            var length1 = arr.GetLength(0);
            var length2 = arr.GetLength(1);
            var length3 = arr.GetLength(2);
            writer.Write(length1);
            writer.Write(length2);
            writer.Write(length3);
            for (var i = 0; i < length1; i++)
                for (var j = 0; j < length2; j++)
                    for (var k = 0; k < length3; k++)
                        writer.Write(arr[i, j, k]);
 
 
        }
    }
Оба массива съело 1Гб ОЗУ, файл вышел на ~480Мб, чтение 5 сек, запись 2 (странно, но не важно). Если объекты нужно создавать более жирные... тут нужно подумать, сразу так не скажу. Я бы все же сохранял в "своп" и подгружал по мере необходимости. Можно и в БД, главное "попиксельно" не хранить.

Добавлено через 7 минут
Цитата Сообщение от Voronkin Посмотреть сообщение
Вот Вам сравнение скорости массива
На линейную запись не коректно сравнивать даже SSD vs HDD. Вся боль начинается в Select/Update/Delete с Where и в (не)наличии индексов. Ну и как бы разница 1 сек (вычтем работу random.Next) и 23 сек на мой скромный взгляд "ощутимо".
0
3 / 3 / 1
Регистрация: 17.04.2011
Сообщений: 52
27.01.2022, 13:31  [ТС]
Да вот я склоняюсь к БД, щас пытаюсь придумать как по трем координатам вытаскивать данные из таблицы
0
3 / 3 / 1
Регистрация: 17.04.2011
Сообщений: 52
28.01.2022, 04:32  [ТС]
Чето пока фигня какая то получается, я вот задумался, в играх типо майнкраф и 7 days to die тоже ведь воксельный мир(особенно в майнкрафт, он еще и бесконечный), как в них столько данных сохраняется? Сомневаюсь что в БД.
0
Эксперт .NET
 Аватар для Usaga
14370 / 9471 / 1360
Регистрация: 21.01.2016
Сообщений: 35,741
28.01.2022, 06:47
dystopiate, в этих играх данные без БД, всё в памяти.

Вам СУБД порекомендовали исходя из абстрактной фразы "как хранить огромное количество данных". Это вы уже потом про воксели заговорили. Игры в не в List<T> данные втупую хранят.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.01.2022, 06:47

Огромное количество рекламы
Появилось большое количество вирусной рекламы, не помню, что я скачивал, что могло бы вызвать эти проблемы. Прошу помогите

Blockandsurf и огромное количество рекламы
Собственно огромное кол-во различной рекламы, абсолютно на всех сайтах, реклама на главной странице браузера. Из ПО ничего не нашёл, в...

Wi-Fi раздача на огромное количество абонентов
Добрый день всем. Появился такой вопрос: Проводятся большие выездные мероприятия по Москве и Области. Необходимо найти беспроводного...

DataGridView и огромное количество колонок
Добрый день форумчане, есть программа по работе с матрицей n*n. по условию матрица не больше 6000*6000. отображаю ее в гриде все бы ничего...

Огромное количество таблиц, которые не создавал
На днях поставил oracle sql developer, и следуя инструкциям создал подключение. Но, почему-то в папке с таблицами около 260-300 таблиц,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
25
Ответ Создать тему
Новые блоги и статьи
Теория всего 12. ВГК
anaschu 21.07.2026
### Главные семантические изменения и дешифровка новой физики 1. **`REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`)**: Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .
Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание
Hrethgir 21.07.2026
https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .
Теория всего 11. Основные параметры
anaschu 21.07.2026
Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .
Теория всего 10. Клод трусишка
anaschu 21.07.2026
Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .
Теория всего 9. Окончательная проработка метафоры "дерево = традиции"
anaschu 21.07.2026
Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .
Теория всего 8. Clauude трусишка. Ответ джемени
anaschu 21.07.2026
Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .
Теория всего 7. Дерево - это патриархат, грибы - это феминизм
anaschu 21.07.2026
Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .
История и социология Терры на примере борьбы микориз за пространство. 1. Глоссарий терры.
anaschu 21.07.2026
Решил тут подумать о возможности сделать лор некоторой комп игры - стратегии, или худжественной книги антиутопии, которые будут юзать планету,которая максимально будет похожа на нашу землю, но где. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru