Форум программистов, компьютерный форум, киберфорум
C для начинающих
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.60/5: Рейтинг темы: голосов - 5, средняя оценка - 4.60
0 / 0 / 0
Регистрация: 12.11.2009
Сообщений: 11
1

Как организована работа с большим объемом данных

12.11.2009, 16:04. Показов 973. Ответов 4
Метки нет (Все метки)

Программа выдаёт stack overflow при запуске, рекурсию не использую.

Кто-нибудь сталкивался с большими объёмами данных? Массив 200000 - это только для отработки программы, дальше потребуется уже объёмом [5400000000][3]. СИ может работать с такими массивами?

код программы:

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#include <stdio.h>
#include <math.h>
 
void main (void)
{
   FILE *F = fopen("C:\\output.txt", "r");
   FILE *W = fopen("C:\\prog2result.txt", "w");
   double A [200000][3];
   int i,j,z,m,n,ik = 100,jk = 100, zk = 20;
   double dg = 0,dgg = 0;
   if (F == NULL)
   {
     printf("file doesn't exist\n");
     return;
   }
   if (W == NULL)
   {
     printf("file doesn't exist\n");
     return;
   }
  for (i=0;i<200000;i++)
     fscanf(F,"%lf %lf %lf %lf\n",&A[i][0],&A[i][1],&A[i][2],&A[i][3]);
   fclose(F);
  fprintf(W,"            X            Y           dG\n");
   for (i=1; i<=ik; i++)
    for (j=1; j<=jk; j++)
      {
        for (z=1; z<=zk; z++)
          for (m=1; m<=ik; m++)
            for (n=1; n<=jk; n++)
            {
               dgg = A[(z-1)*zk+(m-1)*ik+n-1][3]*z/pow((m-i)*(m-i)+(n-j)*(n-j)+z*z,3/2);
               dg += dgg;
            }
       fprintf(W,"%14i %14i %14.9lf\n",i,j,dg);
       dg = 0;
      }
  fclose(W);
  fclose(H);
}
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
12.11.2009, 16:04
Ответы с готовыми решениями:

Работа с большим объемом данных
Всем привет! Всегда создавал коллекцию List&lt;List&lt;xxx&gt;&gt;, заносил в нее данные из txt файла, а потом...

Работа с большим объемом данных
Всем привет! Работа с большим объемом данных заставляет задуматься над всевозможными способами...

Работа с большим объемом данных
Коллеги, подскажите по такому вопросу. Есть выборка, несколько миллионов записей. Каким образом...

работа с большим объемом данных
большим я называю от 300000Rx50C судя по информации из диспетчера задач происходит накопление...

4
2 / 2 / 0
Регистрация: 28.03.2009
Сообщений: 61
12.11.2009, 16:08 2
Нет, насколько я знаю! Когда мне нужно было работать с большими обьемами данных я юзал STL-овский вектор... Около 2 миллионов он держал! Больше не пробовал...
0
MCSD: APP BUILDER
8790 / 1068 / 104
Регистрация: 17.06.2006
Сообщений: 12,604
12.11.2009, 16:25 3
tretstoun,

СИ может работать с такими массивами?

лехко.
устанавливаешь 64-битную OS (Windows, Unix, ...), покупаешь 120гигов памяти (30 плашек по 4 гига) и вперед, с песней.
0
Модератор
Эксперт PythonЭксперт JavaЭксперт CЭксперт С++
10912 / 6838 / 1625
Регистрация: 25.07.2009
Сообщений: 12,544
12.11.2009, 16:43 4
Цитата Сообщение от Rififi Посмотреть сообщение
tretstoun,

СИ может работать с такими массивами?

лехко.
устанавливаешь 64-битную OS (Windows, Unix, ...), покупаешь 120гигов памяти (30 плашек по 4 гига) и вперед, с песней.
Призадумался, сколько будет стоить комп с поддержкой 120GB RAM... Да ещё и при их наличии...
0
0 / 0 / 0
Регистрация: 12.11.2009
Сообщений: 11
13.11.2009, 16:05  [ТС] 5
Спасибо! попробую разобраться с STL.
Мне надо сделать безразмерные массивы?
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
13.11.2009, 16:05

Заказываю контрольные, курсовые, дипломные работы и диссертации здесь.

Работа с большим объемом данных
Имеется загруженное изоображение с помощью opencv. Задача: вывести цвета изображения с из...

QtSerialPort Работа с большим объемом данных
Добрый день. Я пишу приложение, которое работает с последовательным портом при помощи...

Cron задание, работа с большим объемом данных
К примеру есть скрипт, который должен делать коррекцию данных на сайте. Данных много и к примеру...

Работа с большим объемом данных в реальном времени
Добрый день! Недавно решил перевести один проект с Delphi на C#. Проект связан с получением и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.