Как оптимально обработать 3 миллиарда ячеек в одномерном массиве

@bloomder · Регистрация: 08.01.2013

Студворк — интернет-сервис помощи студентам

Надо обработать 3 миллиарда ячеек в одномерном массиве
Какой алгоритм посоветуете? тип переменных только short
Пробывал просто тупо переписывать ячейки в массиве, где 1024 элементов, так и не дождался конца выполнения, боялся проц или оперативка полетит(комп древний, пень 4ый одноядерный выдать с частотой 2Ггц и оперативкой 512 МБ)

@nick42 · 10.06.2015, 17:11

Сообщение от bloomder

Какой алгоритм посоветуете?

ДОС Ассемблер.

@volvo · 10.06.2015, 17:49

Какой ДОС? 3 миллиарда ячеек.

Добавлено через 36 минут
bloomder, а можно задачу озвучить? Я вот собираю задачи, для которых нужно выделение гигабайтов памяти, просто интересно, есть ли твое задание у меня в списке...

@Fulcrum_013 · 10.06.2015, 17:55

Сообщение от bloomder

Какой алгоритм посоветуете?

Я так думаю пилить их на винте с частичным кешированием ручками, не надеясь на винды а особенно под x86. бо как ты точно знаешь что и куда сваповать, а винда только догадывается

@gazlan · 11.06.2015, 01:46

Сообщение от bloomder

Какой алгоритм посоветуете?

Если возможна обработка InPlace - Memory mapping, без вариантов. Обрабатывать порциями, кратными 4K (по 64 Mb, например). Если InPlace невозможен, то также порциями, кратно размеру страницы.

@bloomder · 15.06.2015, 09:44 **[ТС]**

Сообщение от Fulcrum_013

Я так думаю пилить их на винте с частичным кешированием ручками, не надеясь на винды а особенно под x86. бо как ты точно знаешь что и куда сваповать, а винда только догадывается

а поподробнее?

@Fulcrum_013 · 15.06.2015, 09:56

Сообщение от bloomder

а поподробнее?

Подгружаешь буффер с винта, производишь над ним преобразования, записываешь обратно. Если преобразования заключаются в комбинации по какой либо формуле разных частей этого массива, то подгружаешь порциями исходные данные в разные буфера, комбинируешь, и записываешь результирующий буфер в нужную позицию файла.

Добавлено через 3 минуты
Естественно что куда когда и что продгружать зависит от алгоритма преобразования, поэтому винда только догадывается.

Добавлено через 3 минуты

Сообщение от bloomder

так и не дождался конца выполнения, боялся проц или оперативка полетит

Пропускная способность проц/оперативка гораздо выше пропускной способности винта, поэтому при своповании они по большому счету "отдыхают" пока винт пишет/читает

Новые блоги и статьи Все статьи Все блоги /
Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это дополнительная запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .

@bloomder 172 / 118 / 57 Регистрация: 08.01.2013 Сообщений: 664

	Как оптимально обработать 3 миллиарда ячеек в одномерном массиве 10.06.2015, 17:04. Показов 713. Ответов 6 Метки нет (Все метки) Надо обработать 3 миллиарда ячеек в одномерном массиве Какой алгоритм посоветуете? тип переменных только short Пробывал просто тупо переписывать ячейки в массиве, где 1024 элементов, так и не дождался конца выполнения, боялся проц или оперативка полетит(комп древний, пень 4ый одноядерный выдать с частотой 2Ггц и оперативкой 512 МБ) 0

@volvo Супер-модератор 33399 / 21509 / 8236 Регистрация: 22.10.2011 Сообщений: 36,907 Записей в блоге: 12
	10.06.2015, 17:49
	Какой ДОС? 3 миллиарда ячеек. Добавлено через 36 минут bloomder, а можно задачу озвучить? Я вот собираю задачи, для которых нужно выделение гигабайтов памяти, просто интересно, есть ли твое задание у меня в списке... 0