Нужен быстрый многомерный почти пустой массив неизвестного размера

@wingblack · Регистрация: 09.04.2013

Студворк — интернет-сервис помощи студентам

Решаю тут одну задачку где генерируются данные (точки) с многомерными координатами.
Координаты целочисленные.
У части координат заранее не известны ограничения, т.е. если точка задается координатами (А,В,С), то С допустим может быть из отрезка [0, 10], но А и В могут быть [-100 000, 100 000] или даже больше.
Скажем, известно что А и В все таки ограничены, но заранее нельзя сказать как именно.
Известно, что внутри "прямоугольника", задающего ограничения на координаты, "значимых" точек гораздо меньше чем "пустых".

Требуется - очень быстро записывать в такой "массив", и очень быстро брать значение точки по заданным координатам (или узнать что это точка "пустая" если там данных нет)

Количество записей в таком массиве может быть сильно больше миллиона, а в зависимости от настроек может превысить 10⁹ штук.
В каждой точке требуется хранить примерно 30 байт данных.
Операции чтения/записи по произвольным координатам производятся постоянно (впрочем, известно что небольшие последовательности запросов находятся в одной области)

@ТабуретY · 27.06.2018, 14:19

Под такие условия c++ sparse matrix

@Garry Galler · 27.06.2018, 14:24

Ну если sparse, то https://docs.scipy.org/doc/sci... parse.html
В основе лежит массивы библиотеки numpy.

@wingblack · 27.06.2018, 15:01 **[ТС]**

Хм, мне кажется что sparse matrix в Scipy не умеет в динамический размер.
Не, я конечно могу взять потолок с запасом и конвертировать отрицательные координаты, но такой подход немного смущает.

Добавлено через 6 минут
И еще, это 2D матрицы, а не многомерные массивы, мне тогда что, получается нужно - вложенные sparse матрицы городить ?

@Garry Galler · 27.06.2018, 15:10

Сообщение от wingblack

И еще, это 2D матрицы, а не многомерные массивы

Это прежде всего numpy.array. А как это называется - дело десятое. И не путайте python с С++ - здесь все динамическое и все высокоуровневая абстракция.

@dondublon · 27.06.2018, 16:32

Сообщение от wingblack

Требуется - очень быстро записывать в такой "массив", и очень быстро брать значение точки по заданным координатам (или узнать что это точка "пустая" если там данных нет)

Если это всё, что требуется - создайте словарь, в котором ключами будут кортежи из ваших кординат:

Code
1
{(x1, y1): z1, (x2, y2):z2, ...}

Будет быстро.
Scipy sparse matrices дадут вам несколько больше возможностей. Упрётесь ли вы в потолок - вопрос. Попробуйте на практике, это лучший способ.

Сообщение от wingblack

а в зависимости от настроек может превысить 10^9 штук.

То есть миллиард. В каждой точке 30 байт, получается 30 гигов чистых данных. Не на каждом компе такой массив создать получится. На таких объёмах уже спецсредства нужны.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@wingblack 294 / 265 / 48 Регистрация: 09.04.2013 Сообщений: 1,038

	Нужен быстрый многомерный почти пустой массив неизвестного размера 27.06.2018, 13:59. Показов 2582. Ответов 5 Метки нет (Все метки) Решаю тут одну задачку где генерируются данные (точки) с многомерными координатами. Координаты целочисленные. У части координат заранее не известны ограничения, т.е. если точка задается координатами (А,В,С), то С допустим может быть из отрезка [0, 10], но А и В могут быть [-100 000, 100 000] или даже больше. Скажем, известно что А и В все таки ограничены, но заранее нельзя сказать как именно. Известно, что внутри "прямоугольника", задающего ограничения на координаты, "значимых" точек гораздо меньше чем "пустых". Требуется - очень быстро записывать в такой "массив", и очень быстро брать значение точки по заданным координатам (или узнать что это точка "пустая" если там данных нет) Количество записей в таком массиве может быть сильно больше миллиона, а в зависимости от настроек может превысить 10⁹ штук. В каждой точке требуется хранить примерно 30 байт данных. Операции чтения/записи по произвольным координатам производятся постоянно (впрочем, известно что небольшие последовательности запросов находятся в одной области) 0

@ТабуретY 1741 / 913 / 480 Регистрация: 05.12.2013 Сообщений: 3,074
	27.06.2018, 14:19
	Под такие условия c++ sparse matrix 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	27.06.2018, 14:24
	Ну если sparse, то https://docs.scipy.org/doc/sci... parse.html В основе лежит массивы библиотеки numpy. 0

@wingblack 294 / 265 / 48 Регистрация: 09.04.2013 Сообщений: 1,038
	27.06.2018, 15:01 [ТС]
	Хм, мне кажется что sparse matrix в Scipy не умеет в динамический размер. Не, я конечно могу взять потолок с запасом и конвертировать отрицательные координаты, но такой подход немного смущает. Добавлено через 6 минут И еще, это 2D матрицы, а не многомерные массивы, мне тогда что, получается нужно - вложенные sparse матрицы городить ? 0

Опции темы