Как правильно составить запрос для поиска телефона

Примерно речь о том, я ввожу число 23329873827 Из этого составляю паттерны вида 2_332_987_3827 Затем формирую запрос like %2_332_987_3827% Это задача, первое что возникло у меня, о предпологаемом решении о поиске номеров телефонах по введенному фильтру. Да, действительно, запросы достают нужные телефоны по фильтру, но как их ускорить, я не вижу вариантов. Задумка, чтобы уже при вводе 2332 - вернуло 2-332-987-3827 Возможно существует простой запрос, игнорирующий не числа или нужно писать процедуру и использовать ее при запросе(что тоже проще). Но, пока, такое решение через Expression формирование запроса, меня устроило. Конечно же надо уходить от этого, иначе, такие запросы съедят всю память... System.OutOfMemoryException

Всем привет, изначально создал тему тут: Разбить строку на множество подстрок
Хочу использую Expression, сформировать запрос в бд и найти нужный мне телефон.

Но такой вариант, описанный по ссылке, ну и перенесу код сюда
Формирует большие запросы, и соответственно, долгие, и едят много памяти.
Возможно есть более простое решение, как сделать запрос и проигнорировать не числовые символы.

Добавлено через 12 минут
Нагуглил вариант, возможно, это и будет решением
Добавлено через 11 минут
Только сейчас подумал, нет возможности проверить. Запрос вида replace(/^\d/gi, '') , использовал js синтаксис, так проще сформировать, может подойти. Сделать реплейс в запросе через c#, но вот с формируется-ли запрос, или выполнится на стороне клиента...

0

Телефонный номер - строка цифр.
Вот в БД и определите его как число. А при выборке можете представлять его в нужном шаблоне.
Поиск по числовому полю будет очень быстрым.
Если нужно по первым цифрам, то можно в Базе рядом с числовым номером держать строковый, к которому применять like. На это поле навесить вторичный индекс.

0

MsGuns, в родительской теме Разбить строку на множество подстрок я уже предлагал подобное решение: создать производное поле от номера телефона, в котором будут только числовые символы из него и искать по нему обычным Contains (это на C#, как будет в SQL - не знаю).

Но EveKS ответил, что БД не его и он не может влиять на её структуру.

Я плохо разбираюсь в БД, может есть какая-то возможность дополнить динамически существующую БД нужными значениями, или создать другую БД связанную с заданной....
Может ещё что-то придумать.

0

Элд Хасп,
Просмотрел указанную ветку.

1. Так и не увидел что за тип БД
2. Так и не понял, какие права на БД имеет ТС.
3. При чем тут DataBase First ? Можно на самом сервере создать все, что угодно, включая индексы, хранимки и т.д.
Нельзя прикрутить поле к базовой таблице ? И что - конец света ? Можно создать View с требуемым цифровым полем например и ее уже промапировать в Модель, которой и совать like.
4. Может, я чего-то не понял, но мне показалось, что ТС пытается на 90% оптимизировать код на клиенте, т.е. в шарпе.
Это не хорошее решение - надо долбать сервер. Вторичные индексы, UDF, планы запросов, временные таблицы, курсоры и т.д. - вариантов миллион.

0

Сообщение от MsGuns Просмотрел указанную ветку.

Ну, я не шибко в этом разбираюсь - не смогу ни чего уточнить.

Только слова самого ТС:

Сообщение от EveKS Сообщение от Элд Хасп Сообщение от EveKS Сообщение от Элд Хасп Специалисты подскажут лучше, но я бы в БД хранил кроме Представления телефона, ещё и его Значение в котором только цифровые символы. Это , конечно, если вы можете, сами влиять на структуру БД. Элд Хасп, влиять не могу, мало того - db first Не в вашем приложении? В чужом? Нет не в моем

Сообщение от MsGuns 4. ...Это не хорошее решение

Поэтому я посоветовал ТС обратиться в этот раздел.

0

Когда-то решал подобную задачку на большой базе (по тем временам большой - что-то около 500000 записей). Надо было поиск по фамилиям убыстрить. БД была допотопной - Paradox. Решение нашли введя дополнительный ключ-поле - первые 2 буквы фамилий.
Скорость сразу же резко возросла.

С базами работаю с начала 90-х. Понял одно железно - лучше и быстрее, чем сервер, поиск в базе никто не выполнит. Поэтому надо правильно проектировать базы данных + использовать по максимуму возможности SQL-серверов.

Добавлено через 2 минуты
Элд Хасп,
Вы дали правильное направление.
Я тоже не эксперт, просто есть некоторый опыт работы с разными SQL-серверами. И как прикладной программист и как архитектор СУБД.

Добавлено через 9 минут
Тут еще вот какая штукенция.
Вовсе не эксперт, но кое-что могу подсказать.

Полнотекстовый поиск (а like именно к нему и относится, особенно если еще насовать в запрос разные касты и реплейсы) - одна из "ахиллесовых пят" большинства SQL-серверов.
ORACLE, например, решает эту задачу чуть ли не лучше всех. Но этот сервер весьма чувствителен к "тонкой" настройке запросов, а именно играм с планами запросов. Эффект может быть просто фантастичен - на своем опыте знаю Но тут нужен спец в оракле
MS SQL с длинными строками работает заметно хуже - помогают вторичные индексы или распараллирование запросов - но тут тоже нужны эксперты.
My SQL - просто телега по сравнению с первыми двумя. Хотя, возможно, за последние 10 лет ситуация поменялась
PostgeSQL - добротный легкий надежный "байк" - базы до 1млн записей крутит не хуже оракла, включая полнотекстовый.
InterBase(Firebird) - давно с ним не работал, но ребята говорили, что не оракл, конечно, но с мелкомягким вполне спорит.

Добавлено через 1 минуту
В общем, я бы советовал ТС сходить на SQL.ru или даже на Стэк - там водятся монстры по базам

Добавлено через 7 минут
Тут вот подумал еще.. Может не лишним будет
Многажды проектировал базы, где были телефонные номера. Но ни разу не помню, чтобы кому-то приходило в голову требовать интерфейс с поиском или фильтрацией данных по номерам телефонов.
Ищут обычно по фамилии, адресу, конторе и т.д.

Возможно, ТС что-то не договаривает, шифруется

0

MsGuns, спасибо за слова

0

Сообщение от MsGuns Но ни разу не помню, чтобы кому-то приходило в голову требовать интерфейс с поиском или фильтрацией данных по номерам телефонов.

Элементарный пример: набор номера на телефоне.
По мере набора выходит подсказка со списком походящих телефонов.

0

Сообщение от Элд Хасп Элементарный пример: набор номера на телефоне. По мере набора выходит подсказка со списком походящих телефонов.

Стесняюсь спросить: А этот список откуда берется ? Из того, что в телефоне/симке или из откуда ? И там 100500 телефонов ?
Пример не удачный

Сообщение от EveKS Спасибо за слова

А Вам надо код ?

0

MsGuns,

3. При чем тут DataBase First ? Можно на самом сервере создать все, что угодно, включая индексы, хранимки и т.д.

Писал, нет возможности влиять на бд, вопросы к бизнесу о почему, не ко мне.

Нельзя прикрутить поле к базовой таблице ? И что - конец света ? Можно создать View с требуемым цифровым полем например и ее уже промапировать в Модель, которой и совать like

это очевидные вещи, как говорить почему << а не Math.Pow

Может, я чего-то не понял, но мне показалось, что ТС пытается на 90% оптимизировать код на клиенте, т.е. в шарпе.

Если говорить. Об этом. То логичнее создать тему в sql ветке, и говорить уже о совсем другом, а не о конкретном решении. А о том, что знает любой базист. Что было бы глупо, ибо гугл выдаст ответ в первом же запросе на подобный вопрос.

Когда-то решал подобную задачку на большой базе (по тем временам большой - что-то около 500000 записей). Надо было поиск по фамилиям убыстрить. БД была допотопной - Paradox. Решение нашли введя дополнительный ключ-поле - первые 2 буквы фамилий. Скорость сразу же резко возросла. С базами работаю с начала 90-х. Понял одно железно - лучше и быстрее, чем сервер, поиск в базе никто не выполнит. Поэтому надо правильно проектировать базы данных + использовать по максимуму возможности SQL-серверов.

Спасибо конечно, но это опять абстрактный разговор, о том, что можно было бы =)

Но ни разу не помню, чтобы кому-то приходило в голову требовать интерфейс с поиском или фильтрацией данных по номерам телефонов.

3 вас все ещё впереди
Поэтому, не в обиду, но это простой разговор.

А Вам надо код ?

А он есть)? RegExp. Replace, попробую, посмотрю, какой запрос сформирует.

Если 7оворить о том, что можно было бы... То самое простое, это или вьюаер или функция, функция была бы лучшим вариантом. Ибо речь о формировании iquerible через expression. Вьювер это лишнее, ибо пришлось ещё и его бы поддерживать. Но это можно было бы, но не в этом случае.

0

Сообщение от EveKS Писал, нет возможности влиять на бд

Вот это уже конкретика

Еще бы поподробнее о формализации условий выборки, ибо в топике как-то очень уж "универсально".
Неужели есть необходимости искать по фрагментам-серединкам ? Т.е. номер, содержащий '123' где-то посередине, а не в начале и не в конце.
Вы уж простите, но я действительно не понимаю зачем такое нужно
Разве что заказчик требует, а его "каприз" - наши проблемы

И еще хотя бы примерно размеры таблицы (порядок в нулях)

Добавлено через 4 минуты

Сообщение от EveKS Вьювер это лишнее, ибо пришлось ещё и его бы поддерживать

Вот это я не понял. Под "вьювером" имеется в виду VIEW в БД ? Если да, то что значит его "поддержка",- включение в модель ? Но этого ведь не нужно. Или "поддержка" это включение его в БЛ SQL-сервера ?

Добавлено через 8 минут
Ясно одно (для меня во всяком случае) - решить такую задачу (оптимизацию) средствами "штатной" ORM (например EF) крайне сложно, если вообще возможно.
Можно, например, соорудить скрипт для рулежки сервером как надо, т.е. фактически написать SQL-программу, которую запускать через SQLClient, а результат уже пихать в модель.

И что за SQL-сервер ? Если MS SQL, то я бы попробовал смоделировать вариантик.

0

MsGuns,
Так, в очередной раз, нельзя влиять на ДБ

Сообщение от MsGuns И что за SQL-сервер ?

MS SQL

Пока меня устроил вариант с
Regex.Replace(x.Phone ?? "", @"[^\d]", "")
Быстрее не стало, но теперь не ест память (уже прогресс)

Сообщение от MsGuns VIEW в БД

Да речь о нем, но это речь о том, что можно было бы, но не в данной ситуации
-----
Думаю, если у бизнеса возникнет вопрос, а как ускорить, тогда я полезу в бд. Сейчас же, это чисто моя хотелка, ибо вариант с генерацией вариантов, красивый, но запросы очень большие, я о генерируемых sql запросах.

0

EveKS, а кто и на что вообще память ест-то?

0

Usaga,

Сообщение от EveKS C# 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 var digits = new string(value.Where(char.IsDigit).ToArray()); var digitsLength = digits.Length; var variables = 1 << digitsLength; var resultVariables = new List<List<int>>(variables); for (int index = 0; index < variables; index++) {  var splits = new List<int>(digitsLength); for (int n = 0; n < digitsLength - 1; n++)  {  var x = index & (1 << n);  if (x != 0)  {  splits.Add(n);  }  }  resultVariables.Add(splits);

Если дальше собрать запрос (ef core генерирует), получаются большие строки. Скажем для 11+ значных чисел

0

Сообщение от EveKS var variables = 1 << digitsLength;

А это зачем?

0

Usaga,

А это зачем?

общее число вариантов

0

EveKS, я в исходной задаче не вижу такого требования.

0

Usaga,

я в исходной задаче не вижу такого требования

Разбить строку на множество подстрок
Сомневаюсь, что тут сложно понять по иному, кроме как найти количество вариантов. Найти варианты.

0

EveKS, зачем это делать? Вам же нужно только цифры сравнивать? Зачем пытаться составить список всех возможных вариантов номеров с подчёркиваниями, когда можно просто выкидывать подчёркивания и сравнивать только цифры?

Добавлено через 2 минуты
Кстати, а номера телефонов хранятся в своём отдельном поле или где-то в теле большего текста?

0

Usaga, хорошо, как засунуть это в iqueryable условие? Кроме как регулярной

0