Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.88/8: Рейтинг темы: голосов - 8, средняя оценка - 4.88
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54

Ошибка SystemOutOfMemory при работе с большой разреженной матрицей

25.03.2015, 21:17. Показов 1676. Ответов 12
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте уважаемые программисты, помогите пожалуйста. Проблема следующая: В моем проекте строится очень большая разреженная матрица порядка 1500на900, из-за нее проект вылетает с ошибкой SystemOutOfMemory, вопрос что с ней делать? существует ли в C# класс/метод для обработки разреженных матриц? Спасибо.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
25.03.2015, 21:17
Ответы с готовыми решениями:

Ошибка при работе с матрицей
Всем доброго времени суток, делаю контрольную в Маткаде и нужно вычислить сумму всех элементов матрицы. Причем матрица задана с помощью...

Ошибка сегментирования при работе с матрицей
Матрица m на n Ошибка сегментирования в строке 25. Подскажите где ошибка? #include <stdio.h> #include <stdlib.h> ...

Ошибка при работе с матрицей "Subscript out of range"
Всем привет, есть код : Private Sub cmd_start_Click() Dim x(4) As Single, y(7) As Single, S As Single, z() As Single, task1 As...

12
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10425 / 5155 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
25.03.2015, 23:04
Нет, встроенного нет. Нужно писа́ть. Ручками.

Добавлено через 2 минуты
Кстати 1500на900 - это не очень то и большая. От одной такой матрицы OutOfMemory быть не может.
0
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54
25.03.2015, 23:12  [ТС]
Цитата Сообщение от Storm23 Посмотреть сообщение
Нет, встроенного нет. Нужно писа́ть. Ручками.

Добавлено через 2 минуты
Кстати 1500на900 - это не очень то и большая. От одной такой матрицы OutOfMemory быть не может.
Ну может машина у меня слабая. А Как человечество решало эту задачу до меня? есть ли стандартные решения? как обычно поступают в этом случае? или кто как может?
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10425 / 5155 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
25.03.2015, 23:16
Лучший ответ Сообщение было отмечено Student_Vova как решение

Решение

Человечество до вас хранило координаты элемента и его значение:
http://alglib.sources.ru/articles/zeromatr.php

А если матрица действительно большая - то я бы еще и зиповал бы в памяти.
1
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54
25.03.2015, 23:25  [ТС]
спасибо
0
80 / 58 / 11
Регистрация: 16.12.2013
Сообщений: 175
27.03.2015, 08:18
Лучший ответ Сообщение было отмечено Student_Vova как решение

Решение

Вы что делаете-то? Так, вообще-то задача очень редкая, но мне попалась однажды. Вот код. Идея в том, что значения, очень близкие к нулю ни в матрице ни в векторе не хранятся вообще. В итоге, при умножении вектора на матрицу выполняются только операции со значениями, существенно большими нуля. Но у вас очень маленькая матрица. Ищите проблему в другом месте. Ну-и это очень было экзотическое дело. Даже не верится, что у вас может быть та же проблема.
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
using System;
using System.Collections.Generic;
using System.Text;
 
using DotNetMatrix;
 
namespace Fairport.Geostatistics {
 
    class FastVector {
        private int _Count; // The number of nonzero values
        private int _Length;        
        private int[] Map;
        private double[] Values;
        // Total length
        public int Length { get { return _Length; } }
        // Nonzero values count
        public int Count { get { return _Count; } }
        public double this[int idx] { get { return Values[idx]; } set { Values[idx] = value; } }
 
        public FastVector(int ALength) {
            Values = new double[ALength]; _Length = ALength;            
        }
 
        // Precision in the parts of Mean of absolute value
        public void Overdrive(double Precision) {
            double sum = 0;
            foreach (double x in Values) sum += Math.Abs(x);
            double t = sum * Precision / _Length;
            Map = new int[_Length];
            _Count = 0;
            for (int ct = 0; ct < _Length; ct++) if (Math.Abs(Values[ct]) > t) Map[_Count++] = ct;
        }
 
        public static double operator *(FastVector v1, FastVector v2){
            // The Idea: use one which is shorter!
            double r = 0;
            if (v1._Count < v2._Count) {
                for (int ct = 0; ct < v1._Count; ct++) r += v1.Values[v1.Map[ct]] * v2.Values[v1.Map[ct]];
            }
            else {
                for (int ct = 0; ct < v2._Count; ct++) r += v1.Values[v2.Map[ct]] * v2.Values[v2.Map[ct]];
            }
            return r;
        }
 
        public override string ToString() {
            return _Length.ToString() + "/" + _Count.ToString();
        }
 
    }
 
    class FastMatrix {
        private int _Width, _Height;        
        private FastVector[] Data;
 
        public FastMatrix(GeneralMatrix m, double APrecision) {
            _Width = m.ColumnDimension;
            _Height = m.RowDimension;
            Data = new FastVector[_Width];
            for (int y = 0; y < _Height; y++) {
                Data[y] = new FastVector(_Width);
                for (int x = 0; x < _Width; x++) Data[y][x] = m.Array[y][x];
                Data[y].Overdrive(APrecision);
            }
        }
 
        public static FastVector operator *(FastMatrix m, FastVector v) {
            FastVector r = new FastVector(m._Height);
            for (int y = 0; y < m._Height; y++) {
                r[y] = v * m.Data[y];
            }
            return r;
        }
 
    }
}
1
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54
27.03.2015, 14:28  [ТС]
Да действительно матрица у меня получается немного побольше чем я говорил 2213на78377.
Спасибо большое Австрал за код, попробую применить.
Миниатюры
Ошибка SystemOutOfMemory при работе с большой разреженной матрицей  
0
80 / 58 / 11
Регистрация: 16.12.2013
Сообщений: 175
27.03.2015, 14:45
Ой, у вас в массивах на картинке строки... а не числа, как тому в настоящих матрицах должно быть.
0
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54
27.03.2015, 15:00  [ТС]
В матрице хранятся числа, создается она по размерам строковых массивов.
0
80 / 58 / 11
Регистрация: 16.12.2013
Сообщений: 175
27.03.2015, 15:10
А, понятно, у вас получается порядка 1.4 Гб матрица с учётом, что вы уже там сколько-то памяти заняли другими вещами. Если система 32 бит, то на этом память действительно и закончится. Надо Win7+ и 64 бита. Ну или подумать, как всю матрицу в памяти не хранить.
1
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54
27.03.2015, 15:18  [ТС]
Да и система у меня слабоватая (3Гб оперативки). Даже не знаю, что проще винду преустановить или код переписать .... Еще раз спасибо.
Миниатюры
Ошибка SystemOutOfMemory при работе с большой разреженной матрицей  
0
80 / 58 / 11
Регистрация: 16.12.2013
Сообщений: 175
27.03.2015, 15:31
Кстати, да, может, код, который я запостил, вам может помочь в данной ситуации. Если близкие к нулю значения вам не нужны. У меня было 90..95% нулей. Но все они были на самом деле очень маленькими положительными величинами. Настолько маленькими, что на точность решения не влияли.

Добавлено через 8 минут
Переставляйте конечно. Я вижу, у вас ultimate, значит, знаете где брать. А то 32-разрядная даже и ваши 3 Гб не адресует нормально.
1
3 / 3 / 2
Регистрация: 20.12.2014
Сообщений: 54
27.03.2015, 15:51  [ТС]
(Админ, прости, что не по теме) .... сделаю так, как Вы рекомендуете ... была вообщето лицензионная HomeBasic , считаю, что в условиях санкций, весь пиратский софт нужно считать трофейным
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.03.2015, 15:51
Помогаю со студенческими работами здесь

Как можно распараллелить решение СЛАУ с разреженной матрицей?
Пусть система уравнений имеет n^3 неизвестных и столько же уравнений, а максимальное расстояние вдоль строки от главной диагонали до не...

Переполнение стека при работе с матрицей
Доброго времени суток. У меня такой вопрос: у меня есть матрица 1000x1000 тип float компиллятор на эту матрицу не ругается, но во время...

утечка памяти при работе с матрицей
нужно сформировать массив, в который записываем 0, если все элементы столбца матрицы равны нулю, в противном случае пишем 1 Происходит...

Перегрузка операторов при работе с матрицей
Ребята, помогите пожалуйста исправить ошибку. У меня в программе вроде не работает два оператор-функции. С ними работаю первый раз. За...

Проблема при работе с большой БД
Проблема в следующем - есть скрипт, который выполняет запрос к БД, в которой много записей, при этом возникает загрузка сервера на 100%....


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
13
Ответ Создать тему
Новые блоги и статьи
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru