Дискуссия о распределении памяти в ОС

Сообщение от Замабувараев Картинку можно будет взять хоть миллион на миллион пикселей

Умножьте миллион на миллион и на 3. Узнаете сколько нужно памяти для хранения данных картинки.
Нужно 2793 ГБ. У вас установлено столько в компе?

0

Сообщение от Замабувараев Вот код на фрибесике

Мой FB не знает MapViewOfFile
Не будем впадать в крайности, у меня оперативки 16 ГБ, а HDD меньше 100ГБ осталось
Достаточно заполнить байтовый массив размером 20 ГБ(21474836480 Байт) и вывести первое и последнее значение в сообщение msg.
Скомпилируйте пож-та, если не трудно, я только запущу на выполнение.

0

Вот программа, которая выделяет 20 гигабайт памяти, заполняет символами с «!» по «z» и выводит первый и последний символ на консоль.

Вложения

trunk.zip (60.0 Кб, 8 просмотров)

1

Сообщение от Замабувараев Вот программа, которая выделяет 20 гигабайт памяти

Спасибо, но!
Во первых, не 20, а все 36!
20 на диске и 16 оперативки скушало. Ну ладно, около 2-х гигов было уже занято, значит 14 ГБ +

Во вторых, после закрытия программы ни чего не освободило, так и осталось занятой оперативка и диск.
И самое главное, какое отличие от кода уважаемого The trick?
Точно так же создал программно из своего приложения Swap посредством CreateFile "Отображённый файл.bin".
А что же Винда сама не захотела использовать память свыше моей оперативки, 16 Гигов? Мы же ей явно говорим DIM(20ГБ), типа давай! А она пишет переполнение?

0

Сообщение от The trick Пожалуйста объясни это подробнее, я просто не могу понять как файл-маппинг может быть медленнее чем какое-то ручное решение.

Допустим врубил свою программу, попутно сидишь смотришь картинки в гугле, листаешь,
твоя прога заполняет всю имеющуюся физическую память и уходит в своп,
браузер делает тоже самое, хотя даже один браузер, при нехватке памяти делает полный
писец, который называется "работать на компе невозможно совсем". Диск начинает колбаситься
между четыремя операциями(запись свопа 1, чтение свопа 2, чтение свопа 1, запись свопа 2 )
в хаотичном порядке, как система решит расставить приоритеты. И это только две программы
которым нужна память, если на компе запущен ещё софт и ему потребуется память,
начнётся тройной расколбас, в таких случаях обычно по звукам из системника слышно, что
если такое продолжится ещё минут 5, то хард может попросту развалиться на части, ему
становится очень хреново, и комп практически зависает. Скорость всех вышеописанных
операций замедляется от 10 раз и ещё больше.
Т.е. дело не в маппинге, а в том, что эта подкачка и весь этот механизм вызывает в моменты,
когда память переполнена.

0

Сообщение от Pro_grammer Ну ладно, около 2-х гигов было уже занято, значит 14 ГБ +

Не следует суммировать длину файла и свободную память. Я отобразил 20 гигабайт в память, из них 14 гигабайт влезло в память, остальные шесть подкачиваются при ошибках страниц.

Сообщение от Pro_grammer Во вторых, после закрытия программы ни чего не освободило, так и осталось занятой оперативка и диск.

Шиндоуз ещё не успела сбросить на диск.

Сообщение от Pro_grammer И самое главное, какое отличие от кода уважаемого The trick?

У меня на бесике написано.

Сообщение от Pro_grammer DIM(20ГБ)

Во‐первых, SAFEARRAY не может индексировать больше 32‐битного значения, это ограничение структуры SAFEARRAY.
Во‐вторых, если вызвать прямо HeapAlloc или VirtualAlloc на отключённом файле подкачки, то то они в потрохах будет делать CreateFileMapping на INVALID_HANDLE_VALUE, а это ограничит наличием свободного блока максимального размера.
Если делать CreateFileMapping на действительном HANDLE, то свободным блоком максимального размера считается весь файл.

Добавлено через 5 минут

Сообщение от Quiet Snow подкачка и весь этот механизм вызывает в моменты, когда память переполнена

Распространённое заблуждение. Скидывание страниц происходит не тогда, когда памяти не хватает, а когда Швиндоуз решает, что это редкоиспользуемые страницы и к этим страницам долго не обращались. Например, 10 гигабайт памяти, открыто два блокнота, в первом блокноте печатают, второй бездействует. Вшиндоуз решает, что раз второй блокнот редко используется, то его страницы можно скинуть на диск — и выгружает его.

0

Сообщение от Замабувараев Распространённое заблуждение.

Расскажи об этом заблуждении людям, поставившим десятку на комп с 4-мя гигами,
пусть они откроют в браузере штук хотя бы 20 вкладок, заполненных гугловыми картинками.
И это только 1 прога, одна, понимаешь... Уход в своп это больно, абсолютно всегда.
Ну конечно, если не трогать совсем комп во время выполнения проги и чтобы он был чистый
без софта совсем, ну и чтобы сама прога не давала запросы на чтение и запись по всему map файлу,
т.е. сценарий то не особо частый. И чем меньше памяти, тем жопее ситуация и больнее своп.

0

Сообщение от Замабувараев Я отобразил 20 гигабайт в память, из них 14 гигабайт влезло в память, остальные шесть подкачиваются при ошибках страниц.

По факту занято всё, и диск и память. Подозреваю, что если бы у меня было 32ГБ оперы, то всё равно бы создался файл на 20 ГБ. Т.е. то, что написано в коде.
Я как раз за это и говорю - не Винда решает создать дополнительно 4ГБ, которых недостаёт, что было бы логично, а тупо создаётся файл кодом на максимальный объём на все 20ГБ. Почему?
Т.е. Винда не умеет определить и дополнить именно недостающий размер с диска.
Это означает дикие тормоза в любом раскладе, даже если у меня есть необходимая память, но код всё равно создаст файл.
Т.е. такой код бесполезен, вернее вреден.

0

Сообщение от Quiet Snow и чтобы сама прога не давала запросы на чтение и запись по всему map файлу

Даже если программа не выделяет память, не читает, не пишет, то Бесятка тоже может скинуть страницы на диск. Просто потому, что программа не используется.

0

Сообщение от Quiet Snow Т.е. дело не в маппинге, а в том, что эта подкачка и весь этот механизм вызывает в моменты, когда память переполнена

Никто не заставляет тебя занимать всю память, ты можешь смапить только регион, тогда приложение не будет отжирать всю оперативную память. Я же написал что это только пример что можно выделить намного больше чем установлено оперативной памяти. Более того, если мне не изменяет память можно просто ограничить процессу (а точнее Job) рабочий набор. Процесс в этом случае не должен потреблять сверх установленного рабочего набора.

Добавлено через 12 минут

Сообщение от Pro_grammer Подозреваю, что если бы у меня было 32ГБ оперы, то всё равно бы создался файл на 20 ГБ. Т.е. то, что написано в коде.

В нормальном режиме программа просто попытается выделить нужный блок, если не получится то создаст файл. Это если писать по уму. Само по себе создание 100ГБ файла ничто. Более того если ты как в начале темы написано планируешь делать изображение тебе в любом случае нужно писать его в файл. Но это не имеет значения, вопрос изначально был в другом, а именно в том что винда разрешает выделить виртуальной памяти гораздо больше чем установлено оперативки. Ты же говорил что невозможно.

Сообщение от Pro_grammer Т.е. Винда не умеет определить и дополнить именно недостающий размер с диска.

Нужен мне кусок в 100ГБ, и другому приложению 100ГБ. При твоем подходе получим облом, т.к. в таком случае второму приложению необходимо будет свопить все 100ГБ чтобы второе могло другие 100ГБ использовать. Куда оно денет 32ГБ если выделило на диске 100-32гб only?

Сообщение от Pro_grammer Это означает дикие тормоза в любом раскладе, даже если у меня есть необходимая память, но код всё равно создаст файл.

Ничего это не означает. Система не будет свопить данные в файл если это не нужно.

Сообщение от Pro_grammer Т.е. такой код бесполезен, вернее вреден.

Ну тогда весь механизм виртуальной памяти вреден и бесполезен по этой логике.

Сообщение от Quiet Snow Уход в своп это больно, абсолютно всегда.

Это неважно, при уходе в споп программа хоть как-то будет работать. В другом случае вообще не будет.

0

Даже если программа не выделяет память, не читает, не пишет, то Бесятка тоже может скинуть страницы на диск. Просто потому, что программа не используется.

Наверное может, просто она это делает, когда необходима память другим прогам.
Как бы не замечал такого поведения, если памяти хватает. Как это проверить?
Загрузить в GIMP-е толстую картинку, отойти на час, потом резко пройтись по всему изображению?

Добавлено через 24 минуты

Сообщение от The trick как-то будет работать. В другом случае вообще не будет.

Пример с браузером очень показателен, т.к. он жрёт память и плюсом пишет ещё на диск кучу всего.
Вот мы хотим имея 16 гигабайт завести 100. Это равносильно: имея 2 Гб памяти попытаться использовать 12.
Эта ситуация легко моделируется. Прошу попробовать и рассказать о своих впечатлениях о работе
за таким компом, т.е. взять например старенький кор дуо\квад, с XP\7 и загрузить на нём 70 вкладок
в браузере, это и будет примерно 12 Гб. И повторюсь это лишь одна программа. А софта который
может лопатить диск - тоже хватает, это и видеоконвертеры, и архиваторы (вообще дикая штука
в такой ситуации) и поиск по диску. А если оно всё вместе - это сразу кирдык)))

Сообщение от Quiet Snow Загрузить в GIMP-е толстую картинку, отойти на час, потом резко пройтись по всему изображению?

Ради прикола создал изображение 15000x15000, на 2 с фигом гигабайта, свернул прогу.
Через час разверну. Хоть это и не совсем правдивый тест, т.к. память может быть отожрана
другим софтом, но всё же интересно проверить сие.

0

Сообщение от Quiet Snow Пример с браузером очень показателен, т.к. он жрёт память и плюсом пишет ещё на диск кучу всего.

Вот смотри, я просто ограничил процессу размер рабочего набора. Он у меня не будет отжирать больше 1ГБ. Все остальные приложения отлично работают - кроме моего процесса никто не свопит данные т.к. оперативки еще валом:

Процессу все также доступно 100ГБ виртуальной памяти. Память для других процессов не отжирается, система постоянно свопит только мой процесс, т.к. файл подкачки отключен.

0

Сообщение от The trick Вот смотри, я просто ограничил процессу размер рабочего набора.

Что за "рабочий набор" и каким образом он ограничен? Сценарий выходит в корне другой. Так идеально не бывает.
Ну точнее бывает конечно, если купить соотв. железо и всё разграничить, на каждом диске держать
свою софтину и чтобы все вместе не драли один диск. Обычно таких идеальных условий нет.
Невозможно гарантировать отсутствие файла подкачки и умеренную работу с диском другого софта.
В общем-то про другие вещи говорил и они легко проверяются реальным софтом, но не прогой, которая
читает и пишет последовательно, это ничем сильно не отличается от того сценария, про который писал:
мол можно самому написать алгоритм и будет не хуже, если мы так делаем(пишем кусочками как в VESA).
А если прога пожрёт всю память начнётся своппинг и она будет писать и читать хаотично все эти 100ГБ,
раз на это делается упор, плюс своппинг не одного, а нескольких приложений, то это уже другой расклад
про который и говорю, расклад, когда включён файл подкачки и в приложениях заводится память
самым обычным образом, DIM-ами, ALLOCATE-ами и прочими подобными.

0

Сообщение от Quiet Snow Что за "рабочий набор" и каким образом он ограничен?

Рабочий набор. Ограничен так.

Сообщение от Quiet Snow Невозможно гарантировать отсутствие файла подкачки и умеренную работу с диском другого софта.

Ну а что ты предлагаешь? Я скинул уже всевозможные сценарии и все не то. Вы хотите волшебства, но такого не бывает. Вам предложили компромисс, но вас что-то не устраивает. Хотите использовать много памяти, но не хотите файл подкачки, ни системный ни внешний любой другой. Ок, не используйте, что я могу сказать еще?

Сообщение от Quiet Snow А если прога пожрёт всю память начнётся своппинг и она будет писать и читать хаотично все эти 100ГБ, раз на это делается упор, плюс своппинг не одного, а нескольких приложений, то это уже другой расклад про который и говорю, расклад, когда включён файл подкачки и в приложениях заводится память самым обычным образом, DIM-ами, ALLOCATE-ами и прочими подобными.

Я вообще не могу понять вашу логику. Я изначально говорил о лимитах виртуальной памяти которые намного больше чем имеется установленной RAM - все. Pro_grammer говорил что это не так, хотя ему и ссылки на MSDN кидал и программу написал - все не то. Ты мне что хочешь сказать? Что запись в файл напрямую быстрее? Нет - это не так, т.к. как минимум запись в файл проходит через буферизацию - это в идеальных условиях таких если ты тупо один-в-один скопируешь логику работы файл-маппинга. Файл маппинг работает напрямую с памятью, ты можешь просто обращаться к любым адресам в пределах отображения, система сама подгрузит/выгрузит страницы когда это необходимо.

0

Сообщение от The trick Система не будет свопить данные в файл если это не нужно.

При чем тут система? Система не умеет это делать, если ей не указать, что надо создать своп файл.
По крайней мере все ваши примеры содержали CreateFile.
Если я просто пишу DIM (20ТБ) система мне тупо отказывает.

0

Сообщение от Pro_grammer При чем тут система? Система не умеет это делать, если ей не указать, что надо создать своп файл.

Система умеет это делать. Если ты искусственно ограничиваешь и отключаешь системный своп - она естественно тебе и говорит что места нет. Ты можешь и дальше утверждать что если и системный своп включить ничего работать не будет, но от этого ничего не поменяется - все будет работать так как и должно.
Если у тебя есть достаточно памяти, то как я и написал ничего свопиться не будет.

Сообщение от Pro_grammer По крайней мере все ваши примеры содержали CreateFile.

И что? Это как-то сказывается на лимитах виртуальной памяти?

Сообщение от Pro_grammer Если я просто пишу DIM (20ТБ) система мне тупо отказывает.

Ну откуда она возьмет тебе память если ты ей сам запретил? Выдели файл подкачки она тебе не откажет.

0

Сообщение от The trick Выдели файл подкачки она тебе не откажет.

Думаешь я этот вопрос только вчера себе задавал?

0

Сообщение от Pro_grammer Думаешь я этот вопрос только вчера себе задавал?

Во-первых, я понятия не имею что там у тебя за Dim и как он работает. Если делать аналогию с VB6 то у тебя ошибка в том что файл подкачки 50ГБ (50 * 1024 * 1024 * 1024 = 0xC80000000), а выделяешь ты намного больше т.к. у тебя элементов не 231704 * 231704 = 0xC7FFAB240, а 231705 * 231705 = 0xC8001C471, что больше чем 50ГБ. Я тебе вчера скинул то как система благополучно вернула память через VirtualAlloc:


Во-вторых, вот те же самые условия как у тебя, только память я выделил правильно, а не как ты:

0

Сообщение от The trick а выделяешь ты намного больше т.к. у тебя элементов не 231704 * 231704 = 0xC7FFAB240, а 231705 * 231705 = 0xC8001C471, что больше чем 50ГБ.

Согласен, мой косяк. Но не влияет на результат

0

Сообщение от Pro_grammer Согласен, мой косяк. Но не влияет на результат

Сообщение от The trick я понятия не имею что там у тебя за Dim и как он работает.

Кидай exe, там видно будет. Скорее всего либо Dim запрашивает памяти больше чем нужно, либо там внутри ограничение стоит как в VB + еще нужно учитывать служебные данные, библиотеки с COPY-ON-WRITE доступом которые также занимают АП.

1

Сообщение от The trick Скорее всего либо Dim запрашивает памяти больше чем нужно

А по чесноку не мой косяк.
Не забываем, что у меня 16ГБ оперативки. И по уму система должна вначале кушать её, а как закончится, то добрать 40+ ГБ из файла подкачки. Но этого не происходит.

Сообщение от The trick Кидай exe

Вложения

Misc.zip (5.0 Кб, 6 просмотров)

0