Массив на 1000000000000000 элементов

@Rosochka · Регистрация: 16.06.2018

Author24 — интернет-сервис помощи студентам

Есть ли что-то наподобие массива, но с максимальным количеством элементов не меньше 1000000000000000?

Croessmah · 30.06.2018, 22:49

1000000000000000 - дохреналиард.
Даже если каждый элемент будет весить 1 байт, то это займет 909 терабайт памяти.

@Rosochka · 30.06.2018, 22:51 **[ТС]**

Спасибо, поняла, что тупанула

Байт · 30.06.2018, 22:55

Rosochka, тут надо подумать о задаче и подходящем алгоритме.

ValeryS · 30.06.2018, 23:07

Не по теме:

Сообщение от Croessmah

дохреналиард

классное название:D а самое главное, все объясняет :)

Croessmah · 30.06.2018, 23:09

Не по теме:

ValeryS, это из Comedy Club, вроде. :)

@Mirmik · 01.07.2018, 09:10

Не по теме:

Сообщение от Croessmah

909 терабайт

терибайт

Croessmah · 01.07.2018, 12:27

Не по теме:

Сообщение от Mirmik

терибайт

Зависит от используемой системы именования. :)

@Mirmik · 01.07.2018, 17:36

Не по теме:

тоесть, тебибайт, конечно...

@gng · 01.07.2018, 20:21

Сообщение от Rosochka

Есть ли что-то наподобие массива, но с максимальным количеством элементов не меньше 1000000000000000?

Если у вас возникла нужда в таком кол-ве виртуальной памяти, а такое реально может понадобиться, например, для работы с разреженными матрицами. Физической памяти надо значительно меньше, а массив обрабатывать соотв. функциями нужно.
Тем не менее должен сказать, что задачу на x86_64 вы можете решить только поумерив аппетит. У меня получилось выделить только 82 TiB.
Если задача - не менее 1PiB, то придется искать другую архитектуру.
По порядку.
1. Процессоры x86_64 поддерживают виртуальное адресное пространство процесса - 48 бит. Это 2^48 = 256TiB. (Где-то читал, что у последних процессоров Интела есть режим с 64 бит, но реальных системных плат, поддерживающих такой режим нет.)
2. Основные дистрибутивы Линукс сейчас поддерживают 128TiB виртуальной памяти для одного процесса. Это уже меньше. Про Венду по понятным причинам не пишу.
3. На своей небольшой машине с 8 GiB физической памяти мне, как написал выше, удалось получить только 82TiB. А это еще меньше.

C

#include <stdio.h>
#include <malloc.h>
#include <string.h>
#include <err.h>
 
int main() {
  size_t n = (size_t)1024*1024*1024*1024*82;
  char *p = malloc (n);
  if (!p) err (-1, "malloc()");
  strcpy (p + n/2, "Yes!!!\n");
  printf (p + n/2);
  return 0;
}

вывод

Bash

1 2	$ ./a.out Yes!!!

Так что - увы :-(((

Croessmah · 01.07.2018, 20:24

Сообщение от gng

вывод

Проблемы могут начаться при использовании всей этой памяти. Возврат не нулевого указателя из malloc не гарантирует выделение памяти, т.е. при её заполнении может вылететь segfault.

@gng · 01.07.2018, 20:25

PS. Чтобы получить 82TiB пришлось менять параметры ядра. По умолчанию выделяет не больше, чем (физ памаять + своп).

Добавлено через 1 минуту

Сообщение от Croessmah

То ест ьвозврат не нулевого указателя из malloc не гарантирует выделение памяти, т.е. при её заполнении может вылететь segfault.

Естественно. Речь о специфических задачах.

Байт · 01.07.2018, 23:11

Я не очень понимаю, о чем разговор. Если задача потребовала 1000000000000000 - дохреналлиард, то через день она потребует на 1 нолик (справа) больше. А еще через день - еще один. И тут никакие рассуждения о мощности компьютеров не прокатят. Надо включать собственную башку. Хотя бы для того, чтобы найти в интернете приемлемое решение. И понимать, что компутер, хоть и очень большой, но все-таки КОНЕЧНЫЙ АВТОМАТ.

Добавлено через 2 минуты
И что решения, вполне годящиеся для небольших порядков, совсем не сработают для порядков более серьезных.

@Mournful Max · 02.07.2018, 02:53

Сообщение от Croessmah

Возврат не нулевого указателя из malloc не гарантирует выделение памяти, т.е. при её заполнении может вылететь segfault.

Это только если запрашивать 0 байт. В ином слечае Стандарт гарантирует :

Сообщение от 7.22.3 Memory management functions | 1

If the space cannot be allocated, a null pointer is returned.

Или там другие подводные камни, о которых я не знаю ?

Croessmah · 02.07.2018, 09:00

Сообщение от Captain Maxee

Или там другие подводные камни, о которых я не знаю ?

Угу. Система может сказать что память есть, хотя её нет. Указатель вернется валидный, а потом сегфолт при работе с этой памятью. После выделения всю память можно занулить, тогда увидим результат.

вот, собственно

C++

#include <iostream>
#include <cstdint>
#include <cstring>
 
 
 
 
int main()
{
    uint64_t size = 1000000000u;
    uint64_t c = 0;
    while (c < 2000u) {
        try {
            uint64_t *p = new uint64_t[size];
            std::cout << (++c) << " " << p << std::endl;
            memset(p, 0, size*sizeof(*p));
        } catch (...) {
            std::cout << "exception" << std::endl;
            break;
        }
    }
}

@hoggy · 02.07.2018, 12:00

Сообщение от Rosochka

Массив на 1000000000000000 элементов - C++

девчонки такие жлобяры!

@gng · 02.07.2018, 21:54

Сообщение от Croessmah

Угу. Система может сказать что память есть, хотя её нет. Указатель вернется валидный, а потом сегфолт при работе с этой памятью.

Не сегфолт, конечно. Система тупо убьет процесс, сделав запись в журнале, что "не шмогла". Но от этого не легче.

Байт Диссидент 27706 / 17322 / 3812 Регистрация: 24.12.2010 Сообщений: 38,979
	01.07.2018, 23:11	13
	Я не очень понимаю, о чем разговор. Если задача потребовала 1000000000000000 - дохреналлиард, то через день она потребует на 1 нолик (справа) больше. А еще через день - еще один. И тут никакие рассуждения о мощности компьютеров не прокатят. Надо включать собственную башку. Хотя бы для того, чтобы найти в интернете приемлемое решение. И понимать, что компутер, хоть и очень большой, но все-таки КОНЕЧНЫЙ АВТОМАТ. Добавлено через 2 минуты И что решения, вполне годящиеся для небольших порядков, совсем не сработают для порядков более серьезных. 1

@Mournful Max Велосипедист... 353 / 220 / 73 Регистрация: 15.12.2015 Сообщений: 785
	02.07.2018, 02:53	14
	Сообщение от Croessmah Возврат не нулевого указателя из malloc не гарантирует выделение памяти, т.е. при её заполнении может вылететь segfault. Это только если запрашивать 0 байт. В ином слечае Стандарт гарантирует : Сообщение от 7.22.3 Memory management functions \| 1 If the space cannot be allocated, a null pointer is returned. Или там другие подводные камни, о которых я не знаю ? 0

@Rosochka 0 / 0 / 0 Регистрация: 16.06.2018 Сообщений: 4
		1
	Массив на 1000000000000000 элементов 30.06.2018, 19:17. Показов 1852. Ответов 16 Метки нет (Все метки) Есть ли что-то наподобие массива, но с максимальным количеством элементов не меньше 1000000000000000? 0

Croessmah Неэпический 17870 / 10635 / 2054 Регистрация: 27.09.2012 Сообщений: 26,736 Записей в блоге: 1
	30.06.2018, 22:49	2
	Сообщение было отмечено Rosochka как решение Решение 1000000000000000 - дохреналиард. Даже если каждый элемент будет весить 1 байт, то это займет 909 терабайт памяти. 3

@Rosochka 0 / 0 / 0 Регистрация: 16.06.2018 Сообщений: 4
	30.06.2018, 22:51 [ТС]	3
	Спасибо, поняла, что тупанула 0

Байт Диссидент 27706 / 17322 / 3812 Регистрация: 24.12.2010 Сообщений: 38,979
	30.06.2018, 22:55	4
	Rosochka, тут надо подумать о задаче и подходящем алгоритме. 0

ValeryS
	30.06.2018, 23:07 #5
	Не по теме: Сообщение от Croessmah дохреналиард классное название:D а самое главное, все объясняет :) 0

Croessmah
	30.06.2018, 23:09 #6
	Не по теме: ValeryS, это из Comedy Club, вроде. :) 0

@Mirmik
	01.07.2018, 09:10 #7
	Не по теме: Сообщение от Croessmah 909 терабайт терибайт 0

Croessmah
	01.07.2018, 12:27 #8
	Не по теме: Сообщение от Mirmik терибайт Зависит от используемой системы именования. :) 0

@Mirmik
	01.07.2018, 17:36 #9
	Не по теме: тоесть, тебибайт, конечно... 0

Croessmah Неэпический 17870 / 10635 / 2054 Регистрация: 27.09.2012 Сообщений: 26,736 Записей в блоге: 1
	01.07.2018, 20:24	11
	Сообщение от gng вывод Проблемы могут начаться при использовании всей этой памяти. Возврат не нулевого указателя из malloc не гарантирует выделение памяти, т.е. при её заполнении может вылететь segfault. 0

@gng 923 / 639 / 198 Регистрация: 08.09.2013 Сообщений: 1,693
	01.07.2018, 20:25	12
	PS. Чтобы получить 82TiB пришлось менять параметры ядра. По умолчанию выделяет не больше, чем (физ памаять + своп). Добавлено через 1 минуту Сообщение от Croessmah То ест ьвозврат не нулевого указателя из malloc не гарантирует выделение памяти, т.е. при её заполнении может вылететь segfault. Естественно. Речь о специфических задачах. 0

@hoggy 8739 / 4317 / 960 Регистрация: 15.11.2014 Сообщений: 9,760
	02.07.2018, 12:00	16
	Сообщение от Rosochka Массив на 1000000000000000 элементов - C++ девчонки такие жлобяры! 0

@gng 923 / 639 / 198 Регистрация: 08.09.2013 Сообщений: 1,693
	02.07.2018, 21:54	17
	Сообщение от Croessmah Угу. Система может сказать что память есть, хотя её нет. Указатель вернется валидный, а потом сегфолт при работе с этой памятью. Не сегфолт, конечно. Система тупо убьет процесс, сделав запись в журнале, что "не шмогла". Но от этого не легче. 0

Массив на 1000000000000000 элементов

Решение