Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/4: Рейтинг темы: голосов - 4, средняя оценка - 4.50
управление сложностью
 Аватар для Почтальон
1693 / 1306 / 259
Регистрация: 22.03.2015
Сообщений: 7,545
Записей в блоге: 5

Не хватает памяти

29.08.2018, 10:22. Показов 938. Ответов 10

Студворк — интернет-сервис помощи студентам
Приветствую, ребята.
Есть вот такой код:
C#
1
2
3
Task<ObservableCollection<RecordRegZhur>> task_get_data = new Task<ObservableCollection<RecordRegZhur>>(()=> db_work.GetDataFromFile());
task_get_data.Start();
CollectionData = task_get_data.Result;
Пытаюсь загрузить файл 11 Гб, валится с ошибкой о недостатке памяти. Что можно сделать в этом случае ?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
29.08.2018, 10:22
Ответы с готовыми решениями:

Выводится сообщение о том, что не хватает памяти, хотя памяти хватает
Файлы подкачки отключил и включать не собираюсь. Когда свободной памяти остаётся примерно гиг-полтора начинают &quot;помирать&quot;...

Не хватает памяти
Здравствуйте! В задаче &quot;E. ОПТОВОЛОКНО 2&quot; (условия прикрепляю) во входных данных оговорено, что максимально может быть 4*10^6=4 000 000...

Не хватает памяти
У меня курсовая работа по теме фракталы Серпинского, уже вроде готова(исходники ниже) но есть одно но когда отрисовываю фрактал глубиной...

10
Эксперт .NET
 Аватар для kolorotur
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
29.08.2018, 10:25
Цитата Сообщение от Почтальон Посмотреть сообщение
Что можно сделать в этом случае ?
При 11-гиговом файле — пожалуй, только брать только ту его часть, которая необходима в данный момент.
Ну или писать свою реализацию ObservableCollection, работающую с MemoryMappedFile, которая будет доставать записи из файла по требованию.
1
управление сложностью
 Аватар для Почтальон
1693 / 1306 / 259
Регистрация: 22.03.2015
Сообщений: 7,545
Записей в блоге: 5
29.08.2018, 10:35  [ТС]
Цитата Сообщение от kolorotur Посмотреть сообщение
Ну или писать свою реализацию ObservableCollection, работающую с MemoryMappedFile, которая будет доставать записи из файла по требованию.
Дело в том, что это файл БД, т.е. запросом читается все нормально, по всей видимости нужно пилить свою реализацию ObservableCollection. Сложно будет реализовать ?
0
Эксперт .NET
 Аватар для kolorotur
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
29.08.2018, 10:42
Цитата Сообщение от Почтальон Посмотреть сообщение
это файл БД
Может, в этом случае имеет смысл использовать настоящую БД для доступа к элементам?

Цитата Сообщение от Почтальон Посмотреть сообщение
Сложно будет реализовать ?
Зависит от формата файла
0
управление сложностью
 Аватар для Почтальон
1693 / 1306 / 259
Регистрация: 22.03.2015
Сообщений: 7,545
Записей в блоге: 5
29.08.2018, 10:43  [ТС]
Цитата Сообщение от kolorotur Посмотреть сообщение
Может, в этом случае имеет смысл использовать настоящую БД для доступа к элементам?
Это файл формата SQLite, выгруженный из другой программы
0
Эксперт .NET
 Аватар для kolorotur
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
29.08.2018, 10:58
Цитата Сообщение от Почтальон Посмотреть сообщение
Это файл формата SQLite
Так тогда вообще все просто: подключаете SQLite, поверх нее ставите Entity Framework и получаете доступ к нужным данным по необходимости
0
управление сложностью
 Аватар для Почтальон
1693 / 1306 / 259
Регистрация: 22.03.2015
Сообщений: 7,545
Записей в блоге: 5
29.08.2018, 11:02  [ТС]
Цитата Сообщение от kolorotur Посмотреть сообщение
подключаете SQLite, поверх нее ставите Entity Framework и получаете доступ к нужным данным по необходимости
Все так и есть, подключил необходимые ссылки в проекте. Я так понимаю валится именно из-за ObservableCollection, когда прочитанные данные пытается записать в коллекцию
0
Эксперт .NET
 Аватар для kolorotur
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
29.08.2018, 11:23
Цитата Сообщение от Почтальон Посмотреть сообщение
Я так понимаю валится именно из-за ObservableCollection, когда прочитанные данные пытается записать в коллекцию
Скорее всего, если вы пытаетесь выдернуть всю таблицу на пару миллиардов записей.
Попробуйте в запросах добавить ограничение на количество вытягиваемой информации: скажем, последние пару сотен записей.
Остальное — по запросу.
0
Неадекват
 Аватар для freeba
1501 / 1237 / 248
Регистрация: 02.04.2010
Сообщений: 2,807
29.08.2018, 11:26
Так у EF есть же Local который суть ObservableCollection для таблицы, просто получаете коллекцию, редактируете ее как хотите и вызываете SaveChanges, остальное EF сделает за вас.
0
управление сложностью
 Аватар для Почтальон
1693 / 1306 / 259
Регистрация: 22.03.2015
Сообщений: 7,545
Записей в блоге: 5
29.08.2018, 11:39  [ТС]
Цитата Сообщение от kolorotur Посмотреть сообщение
Скорее всего, если вы пытаетесь выдернуть всю таблицу на пару миллиардов записей.
Да, так и есть.

Цитата Сообщение от freeba Посмотреть сообщение
Так у EF есть же Local который суть ObservableCollection для таблицы, просто получаете коллекцию, редактируете ее как хотите и вызываете SaveChanges, остальное EF сделает за вас.
Можно чуть подробнее ?
0
Неадекват
 Аватар для freeba
1501 / 1237 / 248
Регистрация: 02.04.2010
Сообщений: 2,807
29.08.2018, 14:46
Небольшой пример на 10кк записей. В качестве базы mssql, ибо кунфу быстрого запихивания больших объемов данных в sqlite мне не доступно, а для данной задачи это не принципиальный момент.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.ComponentModel;
using System.ComponentModel.DataAnnotations.Schema;
using System.Data;
using System.Data.Entity;
using System.Data.SqlClient;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
 
namespace ConsoleApp12
{
    class Program
    {
        const int COUNT_RECORD = 10_000_000;
 
        static DatabaseContext context = new DatabaseContext();
        static Random rnd = new Random();
 
        static void Main(string[] args)
        {
            Console.OutputEncoding = Encoding.UTF8;
 
            CheckTableIsEmpty();
 
            //Загружаем всю таблицу в память
            context.Records.Load();
            //Получаем таблицу в виде ObservableCollection<RecordDb>, ее можно менять как угодно context.SaveChanges() синхронизирует ее с базой данных.
            var ourCollection = context.Records.Local;
 
        }
 
        private static void CheckTableIsEmpty()
        {
            if (!context.Records.Any())
            {
                Console.WriteLine($"Таблица пуста. Генерируем {COUNT_RECORD} записей...");
 
                var alpabet = "qwertyuioplkjhgfdsazxcvbnmMNBVCXZASDFGHJKLPOIUYTREWQ";
                var buffer = new BlockingCollection<RecordDb>(COUNT_RECORD);
 
                Parallel.For(0, COUNT_RECORD, i =>
                {
                    buffer.Add(new RecordDb()
                    {
                        Id = Guid.NewGuid(),
                        Field1 = $"Record {i}",
                        Field2 = string.Join("", alpabet.OrderBy(x => rnd.Next()).Take(6)),
                        Field3 = string.Join("", alpabet.OrderBy(x => rnd.Next()).Take(12)),
                    });
                });
 
                Console.WriteLine("Сохранение...");
 
                var objBulk = new BulkUploadToSql<RecordDb>()
                {
                    InternalStore = buffer.ToList(),
                    TableName = "RecordDbs",
                    CommitBatchSize = 1000,
                    ConnectionString = context.Database.Connection.ConnectionString
                };
 
                objBulk.Commit();
                Console.WriteLine("Готово.");
            }
        }
    }
 
    public class RecordDb
    {
        public Guid Id { get; set; }
        public string Field1 { get; set; }
        public string Field2 { get; set; }
        public string Field3 { get; set; }
    }
 
    public class DatabaseContext : DbContext
    {
        public DbSet<RecordDb> Records { get; set; }
 
        public DatabaseContext() : base("DatabaseContext") { }
 
        protected override void OnModelCreating(DbModelBuilder modelBuilder)
        {
            base.OnModelCreating(modelBuilder);
 
            modelBuilder.Entity<RecordDb>().HasKey(x => x.Id).Property(x => x.Id).HasDatabaseGeneratedOption(DatabaseGeneratedOption.Identity);
        }
    }
 
    #region SqlBulkUpload
    public class BulkUploadToSql<T>
    {
        public IList<T> InternalStore { get; set; }
        public string TableName { get; set; }
        public int CommitBatchSize { get; set; } = 1000;
        public string ConnectionString { get; set; }
 
        public void Commit()
        {
            if (InternalStore.Count > 0)
            {
                DataTable dt;
                int numberOfPages = (InternalStore.Count / CommitBatchSize) + (InternalStore.Count % CommitBatchSize == 0 ? 0 : 1);
                for (int pageIndex = 0; pageIndex < numberOfPages; pageIndex++)
                {
                    dt = InternalStore.Skip(pageIndex * CommitBatchSize).Take(CommitBatchSize).ToDataTable();
                    BulkInsert(dt);
                }
            }
        }
 
        public void BulkInsert(DataTable dt)
        {
            using (SqlConnection connection = new SqlConnection(ConnectionString))
            {
                SqlBulkCopy bulkCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.TableLock | SqlBulkCopyOptions.FireTriggers | SqlBulkCopyOptions.UseInternalTransaction, null)
                {
                    DestinationTableName = TableName
                };
 
                connection.Open();
                bulkCopy.WriteToServer(dt);
                connection.Close();
            }
        }
    }
 
    public static class BulkUploadToSqlHelper
    {
        public static DataTable ToDataTable<T>(this IEnumerable<T> data)
        {
            PropertyDescriptorCollection properties = TypeDescriptor.GetProperties(typeof(T));
            DataTable table = new DataTable();
            foreach (PropertyDescriptor prop in properties)
                table.Columns.Add(prop.Name, Nullable.GetUnderlyingType(prop.PropertyType) ?? prop.PropertyType);
            foreach (T item in data)
            {
                DataRow row = table.NewRow();
                foreach (PropertyDescriptor prop in properties)
                    row[prop.Name] = prop.GetValue(item) ?? DBNull.Value;
                table.Rows.Add(row);
            }
            return table;
        }
    }
    #endregion
 
}
PS: Не уверен, что это именно то, что нужно. Да и практика ворочать гигабайты данных в оперативке, без острой нужды, так себе выглядит.
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
29.08.2018, 14:46
Помогаю со студенческими работами здесь

не хватает памяти
создаю bitmap unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, ...

Не хватает памяти
Привет всем! Ребята,может я что-то не так понимаю,но по скрину видно,что у меня 8гб.памяти а в диспетчере показывает,что используется около...

Не хватает памяти
Здравствуйте, недавно поменял gtx 750 на 1070, после смены видеокарты в некоторых играх спустя несколько минут игры, вылазит ошибка о...

Не хватает памяти
Здрасьте всем. Не пойму в чем дело: В коде создаю документ ... Set uidoc = ws.ComposeDocument(,,&quot;Форма&quot;) Set doc =...

На ПК не хватает виртуальной памяти
люди добрые помоги пожалусто :-[ у меня такая проблема. У меня нехватает виртуальной памяти. я долго лазил в инете :umnik: и с моим...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка SDL3 и Box2D из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru