Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.97/29: Рейтинг темы: голосов - 29, средняя оценка - 4.97
1 / 1 / 1
Регистрация: 13.08.2015
Сообщений: 45

Какой лучший способ хранения большого объема данных?

17.09.2015, 00:29. Показов 5616. Ответов 17
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброй ночи
Требуется простой совет, каким образом лучше всего хранить большой объем данных?
Приложение генерирует большой объем данных (как правило типа int и bool), и с ним работает. Объем записываемых данных в секунду большой, не важно сколько это будет весить, важно что бы записывал данные быстро.
Желательно еще скинуть литературу (или ссылки на хорошие статьи) как работать с этой записью на С#
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
17.09.2015, 00:29
Ответы с готовыми решениями:

Сереализация, бинарный формат, или лучший способ хранения информация
Много читал по поводу бинарных файлов, систем счисления, способов хранения информация и ничего не понял :D Допустим есть класс, мне...

Подскажите лучший способ хранения данных, чтение/запись файлов
Добрый день. Пишу тренажер для обучению слов (англ-рус). Слова хранятся в файле .txt в виде "arrow | стрела \n..." Мне...

Какой лучший способ считывать txt файл по букве?
Проблема заключается в том что мне надо брать из файла по одной литере и закидывать в кучу. С помощью string getline я могу только брать...

17
 Аватар для VLK
198 / 170 / 19
Регистрация: 05.05.2013
Сообщений: 1,236
17.09.2015, 16:44
о чем идет речь, нужна БД, которая будет хранить данные на жестком диске или вопрос как это хранить лучше в оперативной памяти?
0
1 / 1 / 1
Регистрация: 13.08.2015
Сообщений: 45
17.09.2015, 20:23  [ТС]
VLK, Хранение на жестком диске
0
Заблокирован
17.09.2015, 20:28
Цитата Сообщение от babanty Посмотреть сообщение
Хранение на жестком диске
согласен на все 100%
0
1 / 1 / 1
Регистрация: 13.08.2015
Сообщений: 45
17.09.2015, 20:50  [ТС]
Я возможно не правильно выразился...
Как сделать бд что бы инфа типа int и bool в нее максимально быстро записывалась, может быть в xml или с помощью sql?
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10425 / 5155 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
17.09.2015, 20:54
Лучший ответ Сообщение было отмечено babanty как решение

Решение

babanty, максимально быстро - прямая запись в файл через BinaryWriter. Быстрее прямой записи в файл ничего нет.
Если данные приходят неравномерно - можно сделать очередь и отдельный поток для разгрузки очереди в файл.
1
 Аватар для VLK
198 / 170 / 19
Регистрация: 05.05.2013
Сообщений: 1,236
17.09.2015, 21:34
что за данные, для чего они нужны, как в дальнейшем будут использоваться.

если они активно будут использоваться (поиски и т.д.) тогда запускай сервер MySQL или MS SQL, если это мертвый груз, ну тогда записывай в файлы, именно в файлы, а схему как разбивать по частям уже сам придумай, допустим каждый час создается новый файл и в него записывается или веди учет сколько в файл записано данных, допустим записал 100 000 строк, создаешь новый, как то так.
1
1 / 1 / 1
Регистрация: 13.08.2015
Сообщений: 45
18.09.2015, 11:24  [ТС]
Storm23, Спасибо, думаю это то что нужно
0
Эксперт .NET
 Аватар для Casper-SC
4434 / 2094 / 404
Регистрация: 27.03.2010
Сообщений: 5,657
Записей в блоге: 1
18.09.2015, 15:56
Цитата Сообщение от VLK Посмотреть сообщение
допустим записал 100 000 строк, создаешь новый, как то так
Можно в начале файла сохранять кол-во элементов этом файле. Далее писать размер текущей записи (чтобы знать насколько нужно смещаться, чтобы прочесть следующую запись, сама запись (байты). То есть можно записать так, чтобы можно было легко найти запись в файле по её индексу/номеру, а не читать целиком все данные из этого файла.

Например:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
using System;
 
namespace DataToBinary
{
    public class Data
    {
        public Data()
            : this(-1, String.Empty)
        {
        }
 
        public Data(int id, string text)
        {
            Id = id;
            Text = text;
        }
 
        public int Id { get; set; }
 
        public string Text { get; set; }
    }
}
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
using System;
using System.IO;
using System.Text;
 
namespace DataToBinary
{
    class Program
    {
        static void Main(string[] args)
        {
            Data[] datas =
            {
                new Data(1, "Text 1"), 
                new Data(2, "Текст 2"), 
                new Data(3, "Text 3"), 
                new Data(4, "Text 4"), 
                new Data(5, "Текст 5"), 
            };
            string fileName = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.DesktopDirectory), "Data.dat");
 
            Console.WriteLine("Сохраняем данные...");
            Save(datas, fileName);
 
            Console.WriteLine("Читаем данные...");
            Data[] loaded = Load(fileName);
 
            Console.WriteLine("Выводим на экран:");
            DisplayData(loaded);
 
            Console.ReadKey();
        }
 
        static void DisplayData(Data[] datas)
        {
            foreach (Data data in datas)
            {
                Console.WriteLine("Id: {0}; Text : {1}", data.Id, data.Text);
            }
        }
 
        static void Save(Data[] datas, string fileName)
        {
            FileStream fs = new FileStream(fileName, FileMode.OpenOrCreate);
            using (var writer = new BinaryWriter(fs, Encoding.UTF8))
            {
                writer.Write(datas.Length);  //Int32
                foreach (Data data in datas)
                {
                    byte[] idBytes = BitConverter.GetBytes(data.Id);
                    byte[] textBytes = GetBytes(data.Text);
                    int recordLength = idBytes.Length + textBytes.Length;
                    writer.Write(recordLength); //Размер записи
                    writer.Write(idBytes); //Id
                    writer.Write(textBytes.Length); //Размер записи текста
                    writer.Write(textBytes); //Text
                }
            }
        }
 
        static Data[] Load(string fileName)
        {
            Data[] datas = null;
            FileStream fs = new FileStream(fileName, FileMode.Open);
            using (var reader = new BinaryReader(fs, Encoding.UTF8))
            {
                int arraySize = reader.ReadInt32();  //Int32
                datas = new Data[arraySize];
 
                for (int i = 0; i < arraySize; i++)
                {
                    int recordSize = reader.ReadInt32();
                    int id = reader.ReadInt32();
                    int sizeOfText = reader.ReadInt32();
                    string text = GetString(reader.ReadBytes(sizeOfText));
 
                    datas[i] = new Data(id, text);
                }
            }
 
            return datas;
        }
 
        static byte[] GetBytes(string text)
        {
            byte[] bytes = new byte[text.Length * sizeof(char)];
            System.Buffer.BlockCopy(text.ToCharArray(), 0, bytes, 0, bytes.Length);
            return bytes;
        }
 
        static string GetString(byte[] bytes)
        {
            char[] chars = new char[bytes.Length / sizeof(char)];
            System.Buffer.BlockCopy(bytes, 0, chars, 0, bytes.Length);
            return new string(chars);
        }
    }
}
Вложения
Тип файла: rar DataToBinary.rar (8.6 Кб, 6 просмотров)
1
Эксперт .NET
 Аватар для Casper-SC
4434 / 2094 / 404
Регистрация: 27.03.2010
Сообщений: 5,657
Записей в блоге: 1
18.09.2015, 15:58
А вообще, можно даже в начале писать все смещения для всех индексов, чтобы по всему файлу не прыгать в поиске нужной записи, а сразу прочесть её смещение.

Добавлено через 26 секунд
Ну и да, делить файлы, если они становятся слишком большими тоже вполне себе здравая идея.
0
Master of Orion
Эксперт .NET
 Аватар для Psilon
6101 / 4957 / 905
Регистрация: 10.07.2011
Сообщений: 14,522
Записей в блоге: 5
19.09.2015, 00:21
Storm23, разве БД не быстрее? Она там и в памяти может записывать, и всё прочее. Если много нужно записывать, то БД лучший вариант.
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10425 / 5155 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
19.09.2015, 07:38
Цитата Сообщение от Psilon Посмотреть сообщение
разве БД не быстрее?
С чего бы это? Давайте посмотрим:
1) Сколько бы БД в память не записывала - ей все равно придется это скидывать на диск. Какова скорость скидывания на диск? Точно такая же как у FileStream.
2) "Записывать в память" и вот это все. Нам никто не мешает тоже делать буферизацию. Более того, FileStream уже содержит буфер (по умолчанию 4кб, можно менять). Да и современные ОС буферизируют файлы на уровне ядра. Кроме того, максимальная скорость потока данных не зависит от буферизации. Буфер полезен только тогда, когда поток данных - неравномерный. Тогда, пока данные не поступают, можно потихоньку писать на диск. Снова же - никто нам не мешает это сделать самим, без БД.

Это все было о том, почему у БД нет преимуществ. Теперь о том, почему БД хуже:

3) Жуткий оверхед. Для того, что бы отправить один байт в БД, нужно: преобразовать байт в строку, создать SQL команду, отправить на севрер через TCP/IP, серверу нужно распрасить строку запроса, выполнить запрос и сохранить данные.
4) А ведь еще есть: логирование (MS SQL ведет лог всех операций, в текстовом виде!), а еще есть поддержка транзакций и возможностей отката. А еще есть оверхед на хранение структуры таблицы, индексы. И т.д.

И вы думаете это все будет работать быстрее, чем просто скинуть байт в файл?
Конечно MSSQL это монстр, но даже если взять SQLite, все равно будет все тоже самое, только в меньших масштабах.
Цитата Сообщение от Psilon Посмотреть сообщение
Если много нужно записывать, то БД лучший вариант.
А вопрос не стоял "много", вопрос стоял "быстро". А кроме того, Psilon, вы наверно дома видеофайлы на 4гб храните побайтно в БД?

Конклюжен: БД это хорошо, когда у вас есть реляционный набор данных, и вам нужна инфраструктура по их хранению. Если вам нужно быстро и эффективно сохранять бинарные данные - стандартные БД неэффективны.
1
 Аватар для VLK
198 / 170 / 19
Регистрация: 05.05.2013
Сообщений: 1,236
19.09.2015, 14:06
ну надо еще узнать что за данные, как они потом будут использоваться, сколько они хранится будут и т.д.
0
 Аватар для Konctantin
970 / 773 / 171
Регистрация: 12.04.2009
Сообщений: 1,700
19.09.2015, 15:02
вы наверно дома видеофайлы на 4гб храните побайтно в БД?
автор сказал про данные (bool, int, ect) и если они таковы, то писать их надо для чего-то, а не просто так.
складывать чтобы они висели мертвым грузом можно, но как потом с ними работать?

С БД дела обстоят намного лучше, тот же sqllite к примеру.
Либо придумать такой формат файла, который бы давал возможность максимально доступно обращаться к данным.

Вообще то вы развели демагогию, а автор так толком и не объяснил - нафига ему это надо.
0
 Аватар для m0nax
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
19.09.2015, 16:40
если бы автор еще уточнил что такое "большой объем" было бы проще
в обычном dictionary можно хранить миллионы записей с мгновенным доступом и записью в файл обычным binaryfromatter

Добавлено через 51 секунду
ну да память скушает, аж несколько мегабайт..
0
 Аватар для VLK
198 / 170 / 19
Регистрация: 05.05.2013
Сообщений: 1,236
19.09.2015, 18:28
Цитата Сообщение от m0nax Посмотреть сообщение
с мгновенным доступом и записью в файл обычным binaryfromatter
можно небольшой примерчик.
0
1 / 1 / 1
Регистрация: 13.08.2015
Сообщений: 45
19.09.2015, 23:43  [ТС]
Всем спасибо за ответы и рассуждения
Наверное это не стоило таких глубоких Ваших рассуждений, но в обще я делаю клеточный автомат типа "жизнь". Хочу сохранить историю "деятельности клеток" и ее интересные моменты при необходимости загружать
0
Эксперт Python
 Аватар для dondublon
4649 / 2069 / 366
Регистрация: 17.03.2012
Сообщений: 10,172
Записей в блоге: 6
21.09.2015, 11:58
Быстрее прямой записи на диск, как тут верно заметили, ничего быть не может.
А вот если нужны "удобства" - тут уже можно искать и выбирать.
Про xml, очевидно, можно забыть сразу. SQL, во всех вариантах - только если использовать BLOB-ы. Правда, тогда теряется и смысл SQL.
Для хранения массивов бинарных данных хорош формат HDF5.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
21.09.2015, 11:58
Помогаю со студенческими работами здесь

UI в играх XNA, какой лучший и простой способ организации
Хотел бы обсудить вопрос организации UI в играх XNA. Какой лучший и простой способ? Создавать свои контролы с помощью графики XNA? ...

Какой лучший способ сделать статический сайт с блогом?
Здравствуйте, уважаемые форумчане. Столкнулся я с проблемой, над которой думаю уже не один месяц. Внятно решений в интернетах я не...

Какой способ хранения анимации эффективнее?
Есть набор кадров с анимацией &quot;персонажа&quot;. Можно хранить каждый кадр в виде отдельной картинки и загружать их в массив, чтобы по номеру...

Какой способ хранения переменных выбрать
День добрый! Есть web-приложение для добавления документов в базу. Данных было очень много, поэтому его разделили по шагам, на три части,...

Дорогие знатоки! Какой по вашему мнению самый лучший способ перевести кракозябры на русский?
Сканирую директорию(scandir()),проблемы с русским языком, вместо русского кракозябры. Неужели только один вариант поставить кодировку cp1251


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
18
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru