Хранение большого количества данных (5 миллиардов пар чисел)

@eg__13 · Регистрация: 05.07.2011

Студворк — интернет-сервис помощи студентам

Всем привет!
У меня возникла следующая проблема.
Необходимо хранить в программе последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger.
Сначала нужно составить эти пары чисел, а потом осуществлять по ним поиск.
Посоветуйте, где можно хранить все это? И главное, чтобы поиск и выборка чисел происходили очень быстро.
И еще хотелось бы иметь возможность сортировки.

@dondublon · 26.11.2013, 09:46

Вы про память или про диск?

@nio · 26.11.2013, 10:16

Сообщение от eg__13

последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger

Начнем с простой математики: по факту имеем 10 млрд чисел. Даже если это просто int, то получаем что для хранения понадобится 4*10*(10^9) ~ 40 ГБ памяти.

Сообщение от eg__13

главное, чтобы поиск и выборка чисел происходили очень быстро.

Для быстрой обработки нужно все числа держать в ОЗУ, что бы исключить работу с файлами. Ну и конечно не забываем про многопоточность, эффективность которой прямопропорциональна количеству ядер процессора
Таким образом получаем, что неообходим суперкомпьютер с несколькими десятками процессоров и 50ГБ ОЗУ (это только для int, для bigint в разы больше), ну и конечно спец ОС для управления этим хозяйством (скорее всего придется купить лицензию, т.к. на торентах такую не выкладывают)....

ЗЫ: ставьте себе достижимые цели

@ksk · 26.11.2013, 13:32

Может у ТС цели начальство ставит. А цели, поставленные начальством, всегда достижимые, вопрос только в том, кто и как будет их достигать.

Видел как машинка с 80 ГБ ОЗУ работает на Windows Server 2008R2 Enterprise.

@VTsaregorodtsev · 01.12.2013, 22:22

Сообщение от nio

Для быстрой обработки нужно все числа держать в ОЗУ, что бы исключить работу с файлами.

Под виндой - можно в программе использовать файлы, проецируемые в память, отключив при этом их буферизацию.
Ну и "нарезать" для хранения числа надо "правильно". Например, по некоторому числу старших бит числа можно определять/назначать "поляну" в памяти/файле, где это число будет лежать. Сортировка при этом будет выполняться только внутри каждой такой отдельной поляны, где лежат сравнимые по порядку величин числа.
Т.е. работа должна идти с использованием принципа "разделяй и властвуй" и путём нахождения какой-то очень быстрой хэш-функции (например, использования старших бит числа для локализации области хранения данных).

@агерон · 04.12.2013, 12:04

SSD + база данных, скорее всего NoSql к примеру MongoDB, + индекс на таблице,а может и не один все зависит от задачи, выборка будет летать, дешево и сердито, и не нужно будет супер наворотов

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@eg__13 0 / 0 / 0 Регистрация: 05.07.2011 Сообщений: 13

	Хранение большого количества данных (5 миллиардов пар чисел) 26.11.2013, 05:37. Показов 2040. Ответов 5 Метки нет (Все метки) Всем привет! У меня возникла следующая проблема. Необходимо хранить в программе последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger. Сначала нужно составить эти пары чисел, а потом осуществлять по ним поиск. Посоветуйте, где можно хранить все это? И главное, чтобы поиск и выборка чисел происходили очень быстро. И еще хотелось бы иметь возможность сортировки. 0

@dondublon 4649 / 2069 / 366 Регистрация: 17.03.2012 Сообщений: 10,178 Записей в блоге: 6
	26.11.2013, 09:46
	Вы про память или про диск? 0

@ksk 624 / 495 / 43 Регистрация: 05.07.2010 Сообщений: 1,589
	26.11.2013, 13:32
	Может у ТС цели начальство ставит. А цели, поставленные начальством, всегда достижимые, вопрос только в том, кто и как будет их достигать. Видел как машинка с 80 ГБ ОЗУ работает на Windows Server 2008R2 Enterprise. 0

@агерон 447 / 300 / 65 Регистрация: 12.10.2009 Сообщений: 1,162
	04.12.2013, 12:04
	SSD + база данных, скорее всего NoSql к примеру MongoDB, + индекс на таблице,а может и не один все зависит от задачи, выборка будет летать, дешево и сердито, и не нужно будет супер наворотов 0