Хранение большого количества данных (5 миллиардов пар чисел)

@eg__13 · Регистрация: 05.07.2011

Студворк — интернет-сервис помощи студентам

Всем привет!
У меня возникла следующая проблема.
Необходимо хранить в программе последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger.
Сначала нужно составить эти пары чисел, а потом осуществлять по ним поиск.
Посоветуйте, где можно хранить все это? И главное, чтобы поиск и выборка чисел происходили очень быстро.
И еще хотелось бы иметь возможность сортировки.

@dondublon · 26.11.2013, 09:46

Вы про память или про диск?

@nio · 26.11.2013, 10:16

Сообщение от eg__13

последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger

Начнем с простой математики: по факту имеем 10 млрд чисел. Даже если это просто int, то получаем что для хранения понадобится 4*10*(10^9) ~ 40 ГБ памяти.

Сообщение от eg__13

главное, чтобы поиск и выборка чисел происходили очень быстро.

Для быстрой обработки нужно все числа держать в ОЗУ, что бы исключить работу с файлами. Ну и конечно не забываем про многопоточность, эффективность которой прямопропорциональна количеству ядер процессора
Таким образом получаем, что неообходим суперкомпьютер с несколькими десятками процессоров и 50ГБ ОЗУ (это только для int, для bigint в разы больше), ну и конечно спец ОС для управления этим хозяйством (скорее всего придется купить лицензию, т.к. на торентах такую не выкладывают)....

ЗЫ: ставьте себе достижимые цели

@ksk · 26.11.2013, 13:32

Может у ТС цели начальство ставит. А цели, поставленные начальством, всегда достижимые, вопрос только в том, кто и как будет их достигать.

Видел как машинка с 80 ГБ ОЗУ работает на Windows Server 2008R2 Enterprise.

@VTsaregorodtsev · 01.12.2013, 22:22

Сообщение от nio

Для быстрой обработки нужно все числа держать в ОЗУ, что бы исключить работу с файлами.

Под виндой - можно в программе использовать файлы, проецируемые в память, отключив при этом их буферизацию.
Ну и "нарезать" для хранения числа надо "правильно". Например, по некоторому числу старших бит числа можно определять/назначать "поляну" в памяти/файле, где это число будет лежать. Сортировка при этом будет выполняться только внутри каждой такой отдельной поляны, где лежат сравнимые по порядку величин числа.
Т.е. работа должна идти с использованием принципа "разделяй и властвуй" и путём нахождения какой-то очень быстрой хэш-функции (например, использования старших бит числа для локализации области хранения данных).

@агерон · 04.12.2013, 12:04

SSD + база данных, скорее всего NoSql к примеру MongoDB, + индекс на таблице,а может и не один все зависит от задачи, выборка будет летать, дешево и сердито, и не нужно будет супер наворотов

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! в-строка - входное арифметическое выражение в инфиксной(обычной). . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@eg__13 0 / 0 / 0 Регистрация: 05.07.2011 Сообщений: 13

	Хранение большого количества данных (5 миллиардов пар чисел) 26.11.2013, 05:37. Показов 2055. Ответов 5 Метки нет (Все метки) Всем привет! У меня возникла следующая проблема. Необходимо хранить в программе последовательность примерно из 5 миллиардов пар чисел, где каждое из чисел имеет тип BigInteger. Сначала нужно составить эти пары чисел, а потом осуществлять по ним поиск. Посоветуйте, где можно хранить все это? И главное, чтобы поиск и выборка чисел происходили очень быстро. И еще хотелось бы иметь возможность сортировки. 0

@dondublon 4652 / 2072 / 366 Регистрация: 17.03.2012 Сообщений: 10,182 Записей в блоге: 6
	26.11.2013, 09:46
	Вы про память или про диск? 0

@ksk 624 / 495 / 43 Регистрация: 05.07.2010 Сообщений: 1,589
	26.11.2013, 13:32
	Может у ТС цели начальство ставит. А цели, поставленные начальством, всегда достижимые, вопрос только в том, кто и как будет их достигать. Видел как машинка с 80 ГБ ОЗУ работает на Windows Server 2008R2 Enterprise. 0

@агерон 447 / 300 / 65 Регистрация: 12.10.2009 Сообщений: 1,162
	04.12.2013, 12:04
	SSD + база данных, скорее всего NoSql к примеру MongoDB, + индекс на таблице,а может и не один все зависит от задачи, выборка будет летать, дешево и сердито, и не нужно будет супер наворотов 0