Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 11.10.2018
Сообщений: 4
.NET Core

Ошибка System.OutOfMemoryException: "Array dimensions exceeded supported range."

21.04.2020, 20:18. Показов 3948. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Написала код консольной программы простой нейросети с одним персептроном. На маленькой выборке данных (20-30) элементов отлично работает. Но нужно, чтобы работал на большом потоке данных (около 900 000 строк на вход). Если я запускаю программу на большой выборке данных, то, спустя 5 минут работы, выводит ошибку System.OutOfMemoryException: "Array dimensions exceeded supported range." Помогите, пожалуйста, исправить код, чтобы программа нормально работала и на большом потоке данных.
Вот сам код:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
using System;
using System.IO;
 
namespace neuroi
{
    class Program
    {
        static void Main(string[] args)
        {
            int x = 2;
            string[] trs_in = new string[x];
            int r = 0;
            int kol = 0;
            int r1 = 0;
            int t = -1;
            FileStream fin;
            fin = new FileStream("D:\\neuro\\данные\\большие данные тренинг вход.txt", FileMode.Open);
            using (StreamReader sr = new StreamReader(fin, System.Text.Encoding.Default))
            {
 
 
                string line;
                string[] a = new string[3];
                line = sr.ReadLine();
                int i = 0;
 
 
                string c;
                int j = 0;
                for (i = 0; i < line.Length; i++)
                {
                    c = Convert.ToString(line[i]);
                    if (c == ",")
                        j = j + 1;
                    else
                        a[j] = a[j] + line[i];
 
 
                }
                trs_in[0] = a[0];
                trs_in[1] = a[1];
                while ((line = sr.ReadLine()) != null)
                {
                    j = 0;
                    t = t + 1;
                    a[0] = null;
                    a[1] = null;
                    a[2] = null;
                    for (i = 0; i < line.Length; i++)
                    {
                        c = Convert.ToString(line[i]);
                        if (c == ",")
                            j = j + 1;
                        else
                            a[j] = a[j] + line[i];
 
 
                    }
 
                    int r2 = 0;
                    for (int u = 0; u < trs_in.Length; u++)
                    {
 
                        if (a[0] != trs_in[u])
                        {
                            r2 = r2 + 1;
                        }
                        if (a[1] != trs_in[u])
                        {
                            r1 = r1 + 1;
                        }
                    }
 
                    if (r2 == trs_in.Length)
                    {
                        Array.Resize<string>(ref trs_in, trs_in.Length + 1);
                        trs_in[trs_in.Length - 1] = a[0];
                        r = -1;
                    }
                    if (((r1 == trs_in.Length) && (r == 0)) || ((r1 == trs_in.Length - 1) && (r == -1)))
                    {
                        Array.Resize<string>(ref trs_in, trs_in.Length + 1);
                        trs_in[trs_in.Length - 1] = a[1];
                        r = 0;
                    }
                    r = 0;
                    r2 = 0;
                    r1 = 0;
                }
            }
            fin.Close();
            kol = t + 2;
            double[,] tr_in = new double[kol, trs_in.Length];
            double[,] tr_out = new double[kol, 1];
            int[,] tr_side = new int[kol, trs_in.Length];
            fin = new FileStream("D:\\neuro\\данные\\большие данные тренинг вход.txt", FileMode.Open);
            using (StreamReader sr = new StreamReader(fin, System.Text.Encoding.Default))
            {
 
 
                string line;
                string[] a = new string[3];
                int i = 0;
 
 
                string c;
                int j = 0;
 
                t = -1;
 
                while ((line = sr.ReadLine()) != null)
                {
                    j = 0;
                    t = t + 1;
                    a[0] = null;
                    a[1] = null;
                    a[2] = null;
                    for (i = 0; i < line.Length; i++)
                    {
                        c = Convert.ToString(line[i]);
                        if (c == ",")
                            j = j + 1;
                        else
                            a[j] = a[j] + line[i];
                    }
                    for (int u = 0; u < trs_in.Length; u++)
                    {
                        if ((a[0] == trs_in[u]) || (a[1] == trs_in[u]))
                            tr_in[t, u] = 1;
                        if (a[0] == trs_in[u])
                            tr_side[t, u] = 1;
                        if (a[1] == trs_in[u])
                            tr_side[t, u] = 2;
                        if ((a[2] == "left"))
                        {
                            tr_out[t, 0] = 1;
                        }
                        else
                        if (a[2] == "right")
                        {
                            tr_out[t, 0] = 2;
                        }
 
                    }
 
 
                }
                string b = "D:\\neuro\\данные\\большие данные тренинг выход.txt";
                using (StreamWriter sw = new StreamWriter(b, true, System.Text.Encoding.Default))
                {
                    sw.WriteLine("List:");
                    for (int k = 0; k < trs_in.Length; k++)
                        sw.WriteLine(trs_in[k] + " " + k);
                    for (int l = 0; l < kol; l++)
                    {
                        sw.WriteLine();
                        for (int k = 0; k < trs_in.Length; k++)
                        {
 
                            sw.Write(tr_in[l, k] + " ");
                        }
                    }
 
                }
                Random rnd = new Random();
                double[,] random = new double[trs_in.Length, 1];
                using (StreamWriter sw = new StreamWriter(b, true, System.Text.Encoding.Default))
                {
 
                    sw.WriteLine("Random:");
                    //Получить случайное число 
 
                    for (i = 0; i < trs_in.Length; i++)
                    {
                        sw.WriteLine();
                        for (j = 0; j < 1; j++)
                        {
                            random[i, j] = 2 * (float)rnd.Next(-1, 1) / 10f;
                            sw.Write(random[i, j] + " ");
                        }
                    }
                    sw.WriteLine();
 
 
                    double[,] outs = new double[kol, 1];
                    sw.WriteLine("Обр распр");
                    for (int k = 0; k < 4000; k++)
                    {
                        outs = mult(tr_in, random);
                        for (i = 0; i < tr_in.GetLength(0); ++i)
                        {
                            for (j = 0; j < random.GetLength(1); ++j)
                            {
                                outs[i, j] = sigma(outs[i, j]);
                            }
                        }
                        double[,] err = new double[kol, 1];
                        double[,] errs = new double[kol, 1];
                        for (i = 0; i < tr_out.GetLength(0); ++i)
                        {
                            for (j = 0; j < random.GetLength(1); ++j)
                            {
                                err[i, j] = tr_out[i, j] - outs[i, j];
                                errs[i, j] = err[i, j] * (outs[i, j] * (1 - outs[i, j]));
                            }
                        }
                        double[,] adj = mult(transp(tr_in), errs);
                        for (i = 0; i < trs_in.Length; ++i)
                        {
                            for (j = 0; j < 1; ++j)
                            {
                                random[i, j] += adj[i, j];
                            }
                        }
                    }
 
                    sw.WriteLine();
                    sw.WriteLine("Vesa");
                    for (i = 0; i < trs_in.Length; ++i)
                    {
                        for (j = 0; j < 1; ++j)
                        {
                            sw.WriteLine(random[i, j] + " ");
                        }
                    }
 
                    sw.WriteLine();
                    sw.WriteLine("Res");
                    double max = outs[0, 0];
                    int i_max = 0;
                    sw.WriteLine();
                    string[,] tr_outs = comp(tr_in, random, tr_side);
                    for (i = 0; i < kol; ++i)
                    {
                        for (j = 0; j < 1; ++j)
                        {
                            if (outs[i, j] > max)
                            {
                                max = outs[i, j];
                                i_max = j;
                            }
                        }
                        if (tr_side[i, i_max] == 1)
                            sw.WriteLine("left (" + i_max + ")");
                        else
                            sw.WriteLine("right (" + i_max + ")");
                    }
                    sw.WriteLine("tr_in");
                    for (i = 0; i < kol; ++i)
                    {
                        for (j = 0; j < trs_in.Length; ++j)
                        {
                            sw.Write(tr_in[i, j] + " ");
                        }
                        sw.WriteLine();
                    }
                    sw.WriteLine("tr_out");
                    for (i = 0; i < kol; ++i)
                    {
                        for (j = 0; j < 1; ++j)
                        {
                            sw.Write(tr_out[i, j] + " ");
                        }
                        sw.WriteLine();
                    }
                    sw.WriteLine();
                    sw.WriteLine("tr_outSSS");
                    for (i = 0; i < tr_in.GetLength(0); ++i)
                    {
                        for (j = 0; j < 1; ++j)
                        {
                            sw.Write(tr_outs[i, j] + " ");
                        }
                        sw.WriteLine();
                    }
                    sw.WriteLine();
                }
                fin.Close();
 
                double[] random2 = new double[trs_in.Length];
                for (i = 0; i < trs_in.Length; ++i)
                {
                    for (j = 0; j < 1; ++j)
                    {
                        random2[i] = random[i, j];
                    }
                }
 
                Console.WriteLine("Test");
 
                FileStream fins;
                 r=0;
                 r1=0;
                t = -1;
            fins = new FileStream("D:\\neuro\\данные\\большие данные тест вход.txt", FileMode.Open);
                using (StreamReader srt = new StreamReader(fins, System.Text.Encoding.Default))
            {
 
                string[] at = new string[3];
                i = 0;
                 j = 0;
                while ((line = srt.ReadLine()) != null)
                {
                    j = 0;
                    t = t + 1;
                    at[0] = null;
                    at[1] = null;
                    at[2] = null;
                    for (i = 0; i < line.Length; i++)
                    {
                        c = Convert.ToString(line[i]);
                        if (c == ",")
                            j = j + 1;
                        else
                            at[j] = at[j] + line[i];
 
 
                    }
                    
 
                    int r2 = 0;
                    for (int u = 0; u < trs_in.Length; u++)
                    {
 
                        if (at[0] != trs_in[u])
                        {
                            r2 = r2 + 1;
                        }
                        if (at[1] != trs_in[u])
                        {
                            r1 = r1 + 1;
                        }
                    }
 
                    if (r2 == trs_in.Length)
                    {
                        Array.Resize<string>(ref trs_in, trs_in.Length + 1);
                        trs_in[trs_in.Length - 1] = a[0];
                        r = -1;
                        Array.Resize<double>(ref random2, random2.Length + 1);
                        
                    }
                    if (((r1 == trs_in.Length) && (r == 0)) || ((r1 == trs_in.Length - 1) && (r == -1)))
                    {
                        Array.Resize<string>(ref trs_in, trs_in.Length + 1);
                        trs_in[trs_in.Length - 1] = at[1];
                        r = 0;
                        Array.Resize<double>(ref random2, random2.Length + 1);
                    }
                    r = 0;
                    r2 = 0;
                    r1 = 0;
                }
            }
            fins.Close();
             kol = t + 2;
            double[,] test_in = new double[kol, trs_in.Length];
            int[,] test_side = new int[kol, trs_in.Length];
            fins = new FileStream("D:\\neuro\\данные\\большие данные тест вход.txt", FileMode.Open);
                using (StreamReader srt = new StreamReader(fins, System.Text.Encoding.Default))
                {
 
                    i = 0;
                    j = 0;
                    t = -1;
 
                    while ((line = srt.ReadLine()) != null)
                    {
                        j = 0;
                        t = t + 1;
                        a[0] = null;
                        a[1] = null;
                        a[2] = null;
                        for (i = 0; i < line.Length; i++)
                        {
                            c = Convert.ToString(line[i]);
                            if (c == ",")
                                j = j + 1;
                            else
                                a[j] = a[j] + line[i];
                        }
                        for (int u = 0; u < trs_in.Length; u++)
                        {
 
                            if ((a[0] == trs_in[u]) || (a[1] == trs_in[u]))
                                test_in[t, u] = 1;
                            if (a[0] == trs_in[u])
                                test_side[t, u] = 1;
                            if (a[1] == trs_in[u])
                                test_side[t, u] = 2;
                        }
                    }
                    double[,] random3 = new double[trs_in.Length,1];
                    for (i = 0; i < trs_in.Length; ++i)
                    {
                        for (j = 0; j < 1; ++j)
                        {
                            random3[i,j] = random2[i];
                        }
                    }
                    string[,] test_outs = comp(test_in, random3, test_side);
                    string d = "D:\\neuro\\данные\\большие данные тест выход.txt";
                    using (StreamWriter swt = new StreamWriter(d, true, System.Text.Encoding.Default))
                    {
                        for (i = 0; i < test_in.GetLength(0); ++i)
                        {
                            for (j = 0; j < 1; ++j)
                            {
                                swt.Write(test_outs[i, j] + " ");
                            }
                            swt.WriteLine();
                        }
                        swt.WriteLine();
                    }
                }
            }
        }
        public static double[,] mult(double[,] train_in, double[,] random)
        {
            double[,] m = new double[train_in.GetLength(0), random.GetLength(1)];
 
            for (int i = 0; i < train_in.GetLength(0); ++i)
                for (int j = 0; j < random.GetLength(0); ++j)
                    for (int k = 0; k < random.GetLength(1); ++k)
                        m[i, k] += train_in[i, j] * random[j, k];
            return m;
        }
 
        public static string[,] comp(double[,] train_in, double[,] random, int [,] tr_side)
        {
            string[,] m = new string[train_in.GetLength(0), 1];
            double[,] a = new double[train_in.GetLength(0), 2];
            double[,] b = new double[train_in.GetLength(0), 2];
            int k = 0;
            for (int i = 0; i < train_in.GetLength(0); ++i)
            {
                 k = -1;
                for (int j = 0; j < train_in.GetLength(1); ++j)
                {
 
                    if (train_in[i, j] == 1)
                    {
                        k = k + 1;
                        a[i, k] = random[j, 0];
                        b[i,k]= tr_side[i, j];
                    }
                }
            }
            for (int i=0;i<train_in.GetLength(0); i++)
            { 
                    if (a[i,0]<a[i,1])
                {
                    if ((b[i, 0] == 1) || (b[i, 1] == 2))
                    {
                        m[i, 0] = "right";
                    }
                    else
                    if ((b[i, 1] == 1) || (b[i, 0] == 2))
                    {
                        m[i, 0] = "left";
                    }
                }
                    else
                     if (a[i, 0] >= a[i, 1])
                {
                    if ((b[i, 0] == 1) || (b[i, 1] == 2))
                    {
                        m[i, 0] = "left";
                    }
                    else
                    if ((b[i, 1] == 1) || (b[i, 0] == 2))
                    {
                        m[i, 0] = "right";
                    }
                }
                    else
                {
                    m[i, 0] = "error ! (" + a[i, 0] + "( " + b[i, 0] + ") , " + a[i, 1] + " ( " + b[i, 1] + ")";
                }
                }
 
                
            return m;
        }
 
 
        static double sigma(double x)
        {
            return (1 / (1 + Math.Exp(-x)));
        }
 
        static double[,] transp(double[,] mas)
        {
            double[,] temp = new double[mas.GetLength(1), mas.GetLength(0)];
 
            for (int i = 0; i < temp.GetLength(0); i++)
            {
                for (int j = 0; j < temp.GetLength(1); j++)
                {
                    temp[i, j] = mas[j, i];
                }
 
            }
            return temp;
 
        }
    }
}
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
21.04.2020, 20:18
Ответы с готовыми решениями:

Ошибка System.OutOfMemoryException
Получил вот такую ошибку. Зачем происходит такая ошибка?

Ошибка System.OutOfMemoryException
Здравствуйте, есть программа в WinForms, работает с текстовиками. вытаскивает данные из одного, обрабатывает по определенному алгоритму...

Ошибка System.OutOfMemoryException
string MX= new string Я понимаю что ошибка выдает исключение о том что не хватает памяти. Вот вопрос - почему? Сколько памяти...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
21.04.2020, 20:18
Помогаю со студенческими работами здесь

Занимаемая память приложения. System.OutOfMemoryException: "Выдано исключение типа "System.OutOfMemoryException"."
Спустя несколько часов работы приложения выдаёт вот такую ошибку: System.OutOfMemoryException: &quot;Выдано исключение типа...

Объясните, почему возникает ошибка: ValueError: all the input array dimensions except for the concatenation axis must ma
Провожу оптимизацию функции на Python при помощи...

Ошибка System.OutOfMemoryException - как обойти?
Добрый день. На данный момент в коде в 2-х местах встречаются подобные исключения, т.е. как я понимаю не хватает оперативной памяти....

Ошибка Exception of type System.OutOfMemoryException was thrown.
При большой нагрузке на сервере получаю: Exception of type System.OutOfMemoryException was thrown. После чего проект перестает...

Ошибка System.OutOfMemoryException при загрузки картинки
Здравствуйте. При загрузке большого изображения на pictureBox1 вылетает ошибка нехватки памяти - OutOfMemoryException. Надеялся...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Перемещение выделенных строк ТЧ из одного документа в другой
Maks 30.03.2026
Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
Functional First Web Framework Suave
DevAlt 30.03.2026
Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .
Автоматическое создание документа при проведении другого документа
Maks 29.03.2026
Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .
Настройка движения справочника по регистру сведений
Maks 29.03.2026
Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru