Арифметическая "сцепка" чисел в одно число с сохранением уникальности ряда

Приветствую!
По названию сложно понять, как тема относится к SQL. Поясняю.

Есть реальная таблица (на самом деле, это соединение нескольких таблиц, но упрощаю) с 12ю полями, участвующими в группировке (да — вот так и сократить вряд ли получится), а также 2мя полями (кол и сумм) для агрегации и 2мя полями, которые нужно будет "подтянуть" в сгруппированную таблицу.

Разумеется, группировка и, тем более, последующее "подтягивание" по такому количеству полей происходят очень долго.
Появилась идея для ускорения: математически "сцепить" построчно поля для группировки в одно с сохранением уникальности и однозначности ряда — так, чтобы значения рядов "1•2•3", "2•1•3", "3•2•1" (и так далее) сохранили уникальность.

Пока тестирую на простой текстовой сцепке — как показал, но, думаю, что математика будет лучше (и, скорее всего, быстрее), т.к. индекс по числу построить гораздо проще/быстрее, чем по строке (я так думаю, но не уверен).

Предлагаю рассмотреть вариант агрегации в Float (BigInt не хватит для этих целей). Вот эти поля участвуют в группировке и я хочу их заменить одним полем Float.

Алгоритм:

1. Приводим Float к целому, чтобы использовать дробную часть в дальнейших преобразованиях: 100* Round(Field, 2).

2. Четыре Bit-поля преобразуем в одно число до 4ёх знаков: 1000*B1 + 100*B2 + 10*B3 + B4
То есть, вместо "1•0•0•1" получим 1001, а вместо "0•0•1•1" получим 11.

0

Аватар, большое вам спасибо!

Сообщение от Аватар 4 байта на бинари достаточно

а — я понял)) Какой максимальный размер переменной — такой и бинари нужно закладывать, чтобы не обрезал данные

Добавлено через 4 часа 6 минут
Подскажите, пожалуйста, ссылку на формулу расчёта — явно же это как-то можно точно рассчитать

0

Jack Famous, вы чем то странным, ей богу, занимаетесь, на мой взгляд.

0

uaggster, возможно, но только время покажет.
Я отпишусь по итогу тестов.

Добавлено через 20 минут

Сообщение от Jack Famous Подскажите, пожалуйста, ссылку на формулу расчёта — явно же это как-то можно точно рассчитать

нашёл: математически число бит можно вычислить путем округления в большую сторону логарифма по основанию 2 от заданного числа N плюс 1: Log_2(N+1).
Помним, что логарифм по основанию 2 числа N это показатель степени, в которую нужно возвести 2, чтобы получить N.

То есть, если мне нужно узнать, сколько байт нужно для кодирования числа N, мне нужно вычислить Log_2(N + 1) / 8 и (если я получил НЕцелое число) округлить в большую строну до целого.
Например, для кодирования(перевода в Binary) числа 255 достаточно (Log_2(256) = 8 bit) 1 байта, а вот 256 уже потребует 2 байта.

0

На самом деле, вам же нужен просто некий уникальный маркер n каких-то полей, чтобы осуществлять по нему поиск или группировку?
Ну, возьмите MD5 хэш этих полей.
Он заведомо, для вашей задачи - уникален. И, кстати, довольно компактный, и весь из себя стандартный.
Конечно он тяжеловат, и налету его не особенно повычисляешь, но как калькулируемое persisted поле с индексом по нему - почему нет?

Или, если эти сами n полей - не слишком массивные, можно еще посчитать по ним бинарную хэш-сумму, тоже сделать ее persisted, и построить по ней индекс, include эти самые n полей.
Ну и, собственно, поиск осуществлять по равенству этой хеш - суммы, с дополнительным равенством по полям, и группировку тоже - по хеш-сумме, и по полям.

Я когда-то, очень давно, когда миллион строк считалось солидным размером таблицы, а сто миллионов - чем-то очень большим и невообразимым, делал похожим образом быстрый поиск по ~100 миллионной базе фио, с возможностью оператора ошибиться в нескольких буквах при вводе.
Соответственно, в виде хэша выступали первые буквы фамилии, имени, отчества, а индекс был, см. выше - ФИО + include (фамилия, имя, отчество).
Соответственно, сравнение шло по равенству хеша, и нечеткому поиску (на С написал расширенную хранимую процедуру, считающую дистанцию редактирования) со сравниваемыми полями.
Там, правда не все так просто было. Потому что исказить могли и первые буквы, да и буквосочетания типа КАА, САА - имеют по полмиллиона входов, а чтобы всё это работало с приемлимой скоростью порция должна была быть тысяч 10, но смысл был примерно такой. В реальном режиме времени работало, на пентиум-3 (или что-то типа того).

Так что подход рабочий, но, в целом, в современном мире - не нужный.
Ни место экономить не надо, ни ресурсы процессора.

1

Сообщение от Jack Famous 8ми байт не хватает, нужно 10

нет

(No column name)

0x423754673F701EB8

0x0000423754673F701EB8

1

Аватар, вы правы, спасибо — не учёл этот момент

uaggster, у меня сложная комплексная задача и я не хочу "с ходу" просить помощи без своих проб. Вот попробую несколько различных вариантов и создам тему не просто с вопросом, а с конкретными вариантами и их таймингами. Вот тогда и обсудим
Спасибо за пример задачи — я бы ещё Collate Cyrillic_General_BIN использовал. Должно быть сильно быстрее

0

Снова здравствуйте!
Друзья, подскажите, пожалуйста вот такой момент:
Есть 2 Int поля, но во 2ом значения могут быть только от 1 до 20. В 1ом могут быть сотни миллионов (Int до 2ух с лишним миллиардов).

Могу ли я сделать Binary(5) поле, в которое я сложу ( Cast F1 As Binary(4) ) + ( Cast F2 As Binary(1) )) и быть при этом уверенным, что коллизий и прочих неприятностей не будет?

0

1

invm, приветствую и спасибо!
Я правильно понимаю, что без конверта в более маленький тип я могу получить "обрезанное" число?

0

C tinyint исключение получишь если там не подходящее число, а без него просто обрежет

1

Аватар, это понятно, но, если я ПРЯМ УВЕРЕН, что в Int-поле будет не более TinyInt (просто начальник для целых только Int использует ) ?

0

Если ПРЯМ то результат аналогичен ) От 255 и получишь ff

0

Аватар, ну и отлично. Спасибо!

Сообщение от Jack Famous быть при этом уверенным, что коллизий и прочих неприятностей не будет

я имел в виду именно суммы бинарников. То, что в полях будут только указанные данные — я контролирую.
Но на будущее запомню о такой проверке.

0

Сообщение от Аватар C tinyint исключение получишь если там не подходящее число, а без него просто обрежет

Дык используйте Try_cast.
Что-то типа:

1

uaggster, не туда разговор зашёл
Но спасибо

0