Дискуссия о распределении памяти в ОС

@locm · Регистрация: 28.10.2011

Студворк — интернет-сервис помощи студентам

Сообщение от Замабувараев

Картинку можно будет взять хоть миллион на миллион пикселей

Умножьте миллион на миллион и на 3. Узнаете сколько нужно памяти для хранения данных картинки.
Нужно 2793 ГБ. У вас установлено столько в компе?

@The trick · 12.02.2021, 23:00

Quiet Snow, это просто пример того что процесс может выделить памяти сколько ему нужно и работать с ней не смотря на то сколько у него установлено RAM. Тут нет никаких оптимизаций вообще, тут тупо массив от нулевого элемента и до конца забивается данными, т.е. когда физическая память кончается то система сначала одну страницу (4КБ) записывает в файл, а другую (4КБ) читает. По уму нужно делать это бОльшими регионами - это повысит быстродействие, но чудес не будет и все будет ограничено скоростью доступа к файлу.

Сообщение от Quiet Snow

Т.е. выходит что все эти вещи, если они нужны - нужно делать руками.

Зачем делать руками? Система уже предоставляет такой механизм. Более того она так работает сама. Ничего не нужно изобретать - спроецировали файл и работаем просто с адресами памяти, система сама позаботится о том когда подгрузить часть, выгрузить ненужное.

Сообщение от Quiet Snow

К слову сказать Pro_grammer, тоже таки прав, тут в проге маппинг организован руками

Какая разница? Ты думаешь память как-то по другому работает когда ты дергаешь VirtualAlloc? Оберни всю эту логику что я выше написал в функцию - возвращает такой же указатель на память. Просто в одном случае система страницы подгружает/выгружает в системный файл подкачки, в том примере что я скинул система выгружает в файл пользователя. Разницы нет.

Сообщение от Quiet Snow

Поэтому вполне возможно какие-то бенефиты во всём этом есть.

Конечно есть, при прямом чтении/записи файла данные проходят через буфера, при файл-маппинге этого не нужно память и есть буфер.

@Pro_grammer · 12.02.2021, 23:04

Сообщение от The trick

Можно и на 32 битах сделать

Так и на x64 не вышло

Уж извини, но это вообще не то, о чем я тут пишу.
Смотри, ты пишешь :

Сообщение от The trick

Ну вообще-то приложения работающие под виндой используют виртуальную память, а не физическую. Лимиты виртуальной памяти намного больше чем 2 ТБ на Win10.

Утверждаешь, что Винда сможет САМА (!) выделить память столько, сколько надо, независимо от физической оперативки.
Но выделить память напрямую у тебя не вышло, вот так:
Dim a(327680, 327680) As Byte
не 2ТБ, а всего 100ГБ.
Не умеет так Винда.
И ты решил схитрить, создал принудительно swap файл на моём HDD swap.map

Но вот облом, я запустил exe на диске, а там нету 100ГБ в наличии.
А я писал выше, что виртуальная память не берётся с Луны, она должна физически присутствовать в компьютере!
И чуда не вышло, израсходовав всю оперативку, ровно 16 ГБ, комп основательно затормозил, да так, что еле удалось вырубить через диспетчер задач.

@The trick · 12.02.2021, 23:26

Сообщение от Pro_grammer

Утверждаешь, что Винда сможет САМА (!) выделить память столько, сколько надо, независимо от физической оперативки.

Да так и есть. И пример это показывает. Только не сколько надо, а сколько прописано в лимитах которые я скинул.

Сообщение от Pro_grammer

Но выделить память напрямую у тебя не вышло, вот так:
Dim a(327680, 327680) As Byte

А зачем мне так выделять? Так она не сможет выделится т.к. у тебя отключен файл подкачки, ты сам это и написал. Я выделил по типу того как это делают функции винды типа VirtualAlloc.

Сообщение от Pro_grammer

Не умеет так Винда.

Умеет

ты читал что в мсдн написано? Будешь спорить с ними. Ок, я переубеждать не стану.

Сообщение от Pro_grammer

И ты решил схитрить, создал принудительно swap файл на моём HDD swap.map

Схитрил? Я об этом написал еще выше:

Сообщение от The trick

Так я просто создал 100ГБ файл на диске и система отобразила мне его в виртуальное адресное пространство. Работа с этой памятью для меня прозрачна и не зависит от того сколько оперативной памяти у меня установлено и включен ли файл подкачки. По сути это и есть файл подкачки только мой собственный.

Сообщение от Pro_grammer

Но вот облом, я запустил exe на диске, а там нету 100ГБ в наличии.

Ну нет, в программе идет проверка дисков и если нет 100ГБ, то конечно облом, выделяется столько сколько есть. Чуда не будет. Но памяти выделится больше чем у тебя установлено оперативки (если конечно у тебя на ЖД места больше чем свободной оперативки, но для этого я и сделал сканирование дисков).

Сообщение от Pro_grammer

А я писал выше, что виртуальная память не берётся с Луны, она должна физически присутствовать в компьютере!

Нет ты утверждал что можно отключить как-то виртуальную память, потом стал говорить о том что при отключенном файле подкачки нельзя выделить виртуальной памяти больше чем установлено оперативной. Я же скинул пример в котором вместо системного файла подкачки (который может быть отключен), используется файл-маппинг и памяти может быть выделенно больше чем установлено оперативки.

Сообщение от Pro_grammer

И чуда не вышло, израсходовав всю оперативку, ровно 16 ГБ, комп основательно затормозил, да так, что еле удалось вырубить через диспетчер задач.

Как раз-таки чудо случилось и твой комп израсходовав всю оперативку стал свопить данные в файл-маппинг. Для приложения же это происходило прозрачно, оно как писало в линейный массив - так и пишет. Ты же говорил что такое невозможно, ну и что теперь скажешь?

Сообщение от Pro_grammer

Так и на x64 не вышло

Ну да, ну да. Если бы не вышло комп бы у тебя не затормозил как ты написал. Ладно я не буду доказывать тебе прописные истины, можешь остаться при своем мнении.

@Quiet Snow · 13.02.2021, 00:09

Сообщение от Pro_grammer

а там нету 100ГБ в наличии.

У меня тоже столько нету на диске, за всю свою жизнь у меня не было собственных прог, которые
реально сжирали бы даже 4 Гб, т.е. лимит 32 битной системы. Ну т.е. сделать то это легко можно,
но так чтобы этого требовала задача - такого не было. Хотя чисто теоретичеки можно было бы
табличными оптимизациями занять неестественное пространство, но это нерациональный расход,
пользователи за такое покусают.
Ну кстати согласись, у нас мало народу, кто сможет так лаконично объяснить про такие глубокие
вопросы, и не просто объяснить, а ещё и код показать. Так что Анатолию респект однозначно.
Вот никогда особо не задумывался об этом, но профи так или иначе лезут в эти аспекты, колупают.
По сути же это всё сделано для просто нормального управления памятью, т.е. назначать программам
корректно свободные куски, не таская их туда сюда(это бы сильно замедлило процессы выделения
и уничтожения памяти и требовало бы остановки всех процессов).

Добавлено через 14 минут

Сообщение от The trick

Зачем делать руками?

Чтобы не уходить в своп, кто знает что взбредёт винде и что она начнёт выгружать во все свопы.
Т.е. своя архитектура под задачу. Она не даст, конечно, обратиться ко всему этому пространству,
как файл маппинг, но если этого и не требуется - отработает значительно быстрее.

Сообщение от The trick

Quiet Snow, это просто пример того что процесс может выделить памяти сколько ему нужно и работать с ней не смотря на то сколько у него установлено RAM. Тут нет никаких оптимизаций вообще, тут тупо массив от нулевого элемента и до конца забивается данными, т.е. когда физическая память кончается то система сначала одну страницу (4КБ) записывает в файл, а другую (4КБ) читает. По уму нужно делать это бОльшими регионами - это повысит быстродействие, но чудес не будет и все будет ограничено скоростью доступа к файлу.

Да это понятно.

@Замабувараев · 13.02.2021, 00:32

Сообщение от Quiet Snow

4 Гб, т.е. лимит 32 битной системы

Через PAE или AWE можно больше, до 64 ГБ на шиндоуз 2003.

@Quiet Snow · 13.02.2021, 00:35

Сообщение от Pro_grammer

не 2ТБ, а всего 100ГБ.

Ну да не эксабайты на маке))) Маки вообще уникальные в своём роде устройства.
И там где-то внизу зиждятся серверные винды, скромненько, со своими 24 терабайтами.

Code
1
Эксабайт(Эбайт) 10^18 байт  = 1 000 000 000 000 000 000 байт

@Pro_grammer · 13.02.2021, 08:06

Сообщение от The trick

Так она не сможет выделится т.к. у тебя отключен файл подкачки

Именно так она не сможет по любому, даже если я включу файл подкачки, всё равно для массива память не выделится в файл подкачки.

Сообщение от The trick

Я выделил по типу того как это делают функции винды типа VirtualAlloc.

В этом всё и дело! Ты выделил, а не Винда. Про это я и написал, что не может она сама.

Сообщение от The trick

это просто пример того что процесс может выделить памяти сколько ему нужно и работать с ней не смотря на то сколько у него установлено RAM.

Пример хороший, спору нет. Но это он реализован в коде, вот когда Винда сможет без всяких бубнов просто выполнить этот код Dim a(327680, 327680) As Byte при недостатке физической оперативки, тогда да, я подниму руки вверх, скажу сдаюсь!

А написать руками что угодно можно, особенно такому монстру как тебе. Я вообще удивился, что ты это не на VB6 написал, я был почти уверен, что сможешь

@Замабувараев · 13.02.2021, 08:19

Сообщение от Pro_grammer

Ты выделил, а не Винда

Шиндоуз загружает исполняемые файлы и DLL через отображение, это теперь тоже не считается за выделение памяти?

@Pro_grammer · 13.02.2021, 08:42

Сообщение от Замабувараев

Шиндоуз загружает исполняемые файлы и DLL через отображение, это теперь тоже не считается за выделение памяти?

А что, у нас внутри каждого экзешника и DLL есть код, который создает на диске swap.map?

@Замабувараев · 13.02.2021, 09:10

Вам дали указатель на область памяти. Вам есть разница каким образом этот указатель получен? Или вам конкретно нужно получить объект типа SafeArray, именно так в потрохах VB6 устроены массивы?

Добавлено через 15 минут
Если SafeArray, то количество элементов упирается в 32‐битное целое, такой массив не может занимать больше четырёх гигабайт.

@Pro_grammer · 13.02.2021, 09:43

Сообщение от Замабувараев

именно так в потрохах VB6 устроены массивы?

Я не привязываюсь к VB6.
Утверждение:

Сообщение от The trick

Лимиты виртуальной памяти намного больше чем 2 ТБ

Пояснение:
2ТБ это максимальная оперативка в win10 pro.
Иными словами The trick утверждает, что Винда сама может выделить память приложению столько, сколько оно запросит, если даже это будет больше, чем наличии оперативной памяти.

Я прошу написать на любом ЯП эквивалент кода:

Visual Basic
1
2
3
4
5
6
7
8
Dim a(327680, 327680) As Byte
For i = 0 To 327680
    For j = 0 To 327680
        a(i, j) = Int(Rnd() * 250)
    Next
Next
MsgBox a(10, 10)
MsgBox a(327680, 327680)

у него не вышло. Был написан совсем другой код, с использованием файла на диске, который завесил систему.

Ваш выход! FreeBasic x64 существует же? Пусть Винда сама выделит память под массив такого размера.

@Замабувараев · 13.02.2021, 09:53

Сообщение от Pro_grammer

Винда сама

Я правильно понимаю, что можно использовать только функцию HeapAlloc, но не MapViewOfFile?

@The trick · 13.02.2021, 10:03

Сообщение от Quiet Snow

Чтобы не уходить в своп, кто знает что взбредёт винде и что она начнёт выгружать во все свопы.
Т.е. своя архитектура под задачу. Она не даст, конечно, обратиться ко всему этому пространству,
как файл маппинг, но если этого и не требуется - отработает значительно быстрее.

Пожалуйста объясни это подробнее, я просто не могу понять как файл-маппинг может быть медленнее чем какое-то ручное решение.

Сообщение от Pro_grammer

Именно так она не сможет по любому, даже если я включу файл подкачки, всё равно для массива память не выделится в файл подкачки.

Если ты включишь файл подкачки необходимого размера то все спокойно выделится, т.к. механизм один и тот же. А все потому что память выделяется виртуальная, а не физическая.

Сообщение от Pro_grammer

В этом всё и дело! Ты выделил, а не Винда. Про это я и написал, что не может она сама.

Не нужно этого, ты изначально писал про другое. Windows мне выделила кусок виртуальной памяти в 100ГБ при установленной RAM меньше этого объема - о чем я изначально написал.

Сообщение от Pro_grammer

Но это он реализован в коде, вот когда Винда сможет без всяких бубнов просто выполнить этот код Dim a(327680, 327680) As Byte

Вот это поворот! Не важно как он реализован, через File-Mapping, через VirtualAlloc или через прослойки типа malloc. Факт того что ты говорил что это невозможно, а я показал что возможно. Что значит реализован в коде, я так и не понял. Ты что как-то выделяешь память не в коде?

Сообщение от Pro_grammer

А что, у нас внутри каждого экзешника и DLL есть код, который создает на диске swap.map?

Нет. Тебе написали про другое, про то что каждый исполняемый файл также маппится в АП процесса. Насчет файла swap.map у тебя система сама пишет в подобный файл называется pagefile.sys когда включен системный файл подкачки.

Сообщение от Pro_grammer

Я вообще удивился, что ты это не на VB6 написал, я был почти уверен, что сможешь

Я бы мог подобное написать и на VB6, но как я написал это менее наглядно т.к. в VB6 - 32 битные указатели.

@The trick · 13.02.2021, 10:07

Сообщение от Pro_grammer

Иными словами The trick утверждает, что Винда сама может выделить память приложению столько, сколько оно запросит, если даже это будет больше, чем наличии оперативной памяти.

Да, это так. Это основы и то для чего и создавался механизм виртуальной памяти. Для меня это странно что ты этого не знаешь.

Сообщение от Pro_grammer

у него не вышло. Был написан совсем другой код, с использованием файла на диске, который завесил систему.

Разницы нет. Память по факту выделилась в итоге? Вот этот кусок кода:

C
1
2
    for (UINT64 i = 0; i < szSwapSize.QuadPart; i++)
        pbData[i] = 1;

как-то по особому работает?

@Pro_grammer · 13.02.2021, 10:31

Сообщение от The trick

Разницы нет. Память по факту выделилась в итоге?

Есть.
И твой подход можно тупо заменить на файл с произвольным доступом. Без всяких танцев со swap.map, читать любые данные из файла и писать в файл. Даже массив не нужно создавать.

А DIM это другое. Это Винда сама берёт, и автоматически выделяет память для массива. Мы больше ни чего не пишем в коде. Только DIM. Разницу видишь? просто скомпилировать 1 строчу

Code
1
Dim a(327680, 327680) As Byte

@The trick · 13.02.2021, 10:41

Сообщение от Pro_grammer

И твой подход можно тупо заменить на файл с произвольным доступом. Без всяких танцев со swap.map, читать любые данные из файла и писать в файл. Даже массив не нужно создавать.

Ты не ответил на вопрос, память в итоге выделилась? Не нужно что-то сейчас левое придумывать и говорить об этом. Я написал что лимиты виртуальной памяти намного больше чем оперативной и что приложение без проблем сможет выделить памяти столько сколько ему нужно не взирая на объемы RAM. Ты же писал что это невозможно. Насчет файла с произвольным доступом ты конечно прав что можно заменить, только вот приложению которое работает с таким кодом от этого ни горячо ни холодно, оно ожидает получить блок памяти.

Сообщение от Pro_grammer

А DIM это другое. Это Винда сама берёт, и автоматически выделяет память для массива. Мы больше ни чего не пишем в коде. Только DIM. Разницу видишь? просто скомпилировать 1 строчу

DIM это тоже самое. Только касаемо механизма SAFEARRAY (те массивы что в VB6), там просто стоит ограничение на размеры внутри самой логики работы функции, а не ограничения памяти. Кстати созданные вручную такие массивы (c флагом FADF_AUTO), будут работать без проблем.

Сообщение от Pro_grammer

Мы больше ни чего не пишем в коде. Только DIM. Разницу видишь? просто скомпилировать 1 строчу

Послушай, при чем тут это? Не нужно сейчас уходить от темы. Я с тобой спорю не из-за этого сколько строчек написать нужно. Подумай и перечитай о чем я писал и на что ты отвечаешь.

@Замабувараев · 13.02.2021, 11:02

Сообщение от Pro_grammer

И твой подход можно тупо заменить на файл с произвольным доступом

Нельзя.

Потому что указатель, возвращённый MapViewOfFile — это настоящий указатель на память и его можно отправлять в любую функцию где требуется указатель, например, во всякие винапи. Выполнять по этому указателю Placement New, таким образом создавать объекты.

А с файлом что? Как HANDLE можно передать в функцию требующую указатель? Как на HANDLE можно создать объект?

@Pro_grammer · 13.02.2021, 11:11

Сообщение от Замабувараев

Потому что указатель, возвращённый MapViewOfFile — это настоящий указатель на память и его можно отправлять в любую функцию где требуется указатель, например, во всякие винапи. Выполнять по этому указателю Placement New, таким образом создавать объекты.

Мне этого не требуется.
Тупо выделить память под массив, которая больше оперативки.
Но не силами самого приложения, как у The trick, а это должна сделать Винда сама.

Вот такая простая задача.

@The trick · 13.02.2021, 11:18

Замабувараев, более того он не сможет с файлом разименовать указатель, а любой доступ ему придётся оборачивать в ReadFile/WriteFile/SetFilePointerEx. Я уже молчу о скорости при таком подходе.

Добавлено через 6 минут
Pro_grammer, что задачи теперь на ходу будем придумывать? Вот тебе простое решение - создай файл подкачки на 200гб и включи его, если тебя не устраивает чем то внешний файл подкачки. И все функции винды подхватят его и будут работать как ты хочешь. Только зачем это нужно, если и так уже удалось выделить виртуальной памяти больше чем оперативной хотя ты говорил что это невозможно. Я прекрасно понимаю почему ты так сказал, а теперь изворачиваешься, но тут не дураки сидят. Извини мб грубо, но так и есть.

@Замабувараев · 13.02.2021, 11:25

Сообщение от Pro_grammer

Тупо выделить память под массив

Вам так нужен массив? Вот код на фрибесике:

PureBasic
1
2
3
4
5
6
7
8
9
10
11
Const ARRAY_LENGTH As LongInt = 100 * (1024 * 1024 * 1024)
 
Function CreateArray(ByVal Length As LongInt)As UByte Ptr
    Return MapViewOfFile(…)
End Function
 
Dim pArray As UByte Ptr = CreateArray(ARRAY_LENGTH)
 
For i As LongInt = 0 To ARRAY_LENGTH - 1
    pArray[i] = Rnd() * 265
Next

Новые блоги и статьи Все статьи Все блоги /
Теория всего 12. ВГК anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .	Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .	Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .
Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .	Теория всего 7. Дерево - это патриархат, грибы - это феминизм anaschu 21.07.2026 Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .	История и социология Терры на примере борьбы микориз за пространство. 1. Глоссарий терры. anaschu 21.07.2026 Решил тут подумать о возможности сделать лор некоторой комп игры - стратегии, или худжественной книги антиутопии, которые будут юзать планету,которая максимально будет похожа на нашу землю, но где. . .

@Замабувараев COM‐пропагандист 936 / 785 / 149 Регистрация: 18.12.2014 Сообщений: 2,256 Записей в блоге: 4
	13.02.2021, 09:10
	Вам дали указатель на область памяти. Вам есть разница каким образом этот указатель получен? Или вам конкретно нужно получить объект типа SafeArray, именно так в потрохах VB6 устроены массивы? Добавлено через 15 минут Если SafeArray, то количество элементов упирается в 32‐битное целое, такой массив не может занимать больше четырёх гигабайт. 0

@The trick Модератор 10061 / 3906 / 885 Регистрация: 22.02.2013 Сообщений: 5,856 Записей в блоге: 79
	13.02.2021, 11:18
	Замабувараев, более того он не сможет с файлом разименовать указатель, а любой доступ ему придётся оборачивать в ReadFile/WriteFile/SetFilePointerEx. Я уже молчу о скорости при таком подходе. Добавлено через 6 минут Pro_grammer, что задачи теперь на ходу будем придумывать? Вот тебе простое решение - создай файл подкачки на 200гб и включи его, если тебя не устраивает чем то внешний файл подкачки. И все функции винды подхватят его и будут работать как ты хочешь. Только зачем это нужно, если и так уже удалось выделить виртуальной памяти больше чем оперативной хотя ты говорил что это невозможно. Я прекрасно понимаю почему ты так сказал, а теперь изворачиваешься, но тут не дураки сидят. Извини мб грубо, но так и есть. 0