@Захарка

Здравствуйте! Использую связку MS SQLServer Express 2017 + C#, и у меня достаточно специфичная проблема.
В приложение поступают данные, в районе 100к элементов, раз в 2 минуты. Из этих данных только небольшая часть (5-7%) - новые, остальное - дубли старых записей. Получать данные иначе не получится 100%.
По окончанию загрузки данных, программа записывает их в локальную БД, примерно таким вот образом:
Кроме того, id берётся из самих данных, и по сути является просто их хешем, чтобы строки можно было хоть как-то сравнить, не сравнивая все значения подряд.
Основная проблема в том, что каждый incert с проверкой, таким образом, занимает в районе 0,5 секунды, из-за чего программа просто "захлёбывается" поступающими данными.
Если делать incert без проверки - появится огромное количество дублей.
Фильтровать до вставки, я не совсем понимаю как - в программе хранится только текущий загружаемый набор данных, после сохранения они очищаются, т.е. сравнить не получится. Да и хранить в памяти несколько миллионов строк тоже не самая лучшая идея.

Подскажите пожалуйста, как лучше решить эту проблему.

0

@pincet

Прослойку написать не предлагать? Клиент в нее высерает , а уж там организовывай

0

@Захарка

pincet, можно чуть подробнее?

0

@Igr_ok

Захарка, создаете в БД таблицу со структурой, которая идентична получаемым данным. Сделайте в ней индекс на поле id. Назовем ее TempTable.
Из клиентского приложения выполняете:
1. truncate TempTable - быстрая очистка старых записей.
2. С помощью SqlBulcCopy импорт ваших данных в TempTable.
3. Выполнение запроса типа

0

@Захарка

Igr_ok, спорное решение - в итоге получится, что несколько миллионов записей будут гоняться между таблицами туда-сюда, при каждом обновлении.

0

@Igr_ok

Захарка, это стандартное решение для вашей "достаточно специфичной проблемы". Если вы опишите задачу целиком, не предлагая при этом собственного решения, то можно будет что-то оптимизировать.

0

@Захарка

Igr_ok, Печально, если более изящного решения нет. А, насчёт оптимизации - сегодня утром, до меня дошло, как можно отфильтровать данные, храня, относительно небольшое, количество информации. Так что тему можно закрывать...

Добавлено через 2 часа 7 минут
Igr_ok, не подскажите, насчёт ещё одного момента? Проблема такая появилась:
При работе с локальной тестовой БД, на моём пк - всё ок. Как только пытаюсь запустить приложение с бд на сервере, выкидывает ошибку:

При этом, эта ошибка выскакивает и, если подключаться к бд с моего ПК по ip, и, если подключаться локально, перенеся программу на сервер. Все коннекты всегда закрываю, везде использую Dispose. В интернетах пишут, что она возникает из-за кучи незакрытых коннектов, но я даже перезапускал сервер полностью, но всё равно - ошибка стабильно вылетает прямо на первых запросах. При этом, у тестовой бд на моём пк таких проблем нету.

Добавлено через 1 час 9 минут
Update: Так, причину ошибки нашёл - я создавал бд на своём компе, и переносил на сервак. Если создать бд на сервере, ошибки нет.

Добавлено через 1 час 39 минут
Update2: Хм... У меня неиллюзорное такое подозрение, что серверу не хватает оперативки. Залил данные в бд на сервере копированием из другой таблицы (3 миллиона записей) - программа вываливается с ошибкой. Очистил таблицу - отлично пашет.

0

@invm

Видимо какая-то секретная ошибка. Но зато доподлинно известно, что ее причина - нехватка памяти.

0

@Захарка

invm, О-о В смысле - секретная, я же в посте написал текст исключения, которое возникает при подключении запущенной в вижуал студии программы к серверной бд.
"Истекло время ожидания. Время ожидания истекло раньше, чем удалось получить подключение из пула. Возможно, все подключения в пуле уже используются и достигнут максимальный размер пула"
А на самом сервере программа вываливается с виндосовской ошибкой, без указания инфы.
А, на объём памяти я грешил потому, что её там (на сервере) банально мало, и при запуске было занято 99%.

0

@invm

Захарка, "Истекло время ожидания. Время ожидания истекло раньше, чем удалось получить подключение из пула. Возможно, все подключения в пуле уже используются и достигнут максимальный размер пула" - это не клиентская ошибка, а не серверная. При работе с SQL Server возможны два тайм-аута - logon и query. Неизвестно какой у вас, может вообще проблема только в клиенте.
Ошибка может быть без сообщения, но ошибок без кода не бывает. К тому же, SQL сервер не ругается виндосовскими ошибками.
Так что пока не будет конкретики, помочь трудно.

0

@Захарка

invm, Короче говоря, разобрался. Всё дело, в итоге, свелось к тому, что действительно была проблема с пулами. Не совсем понимаю, по какой причине (видимо, как раз, из-за разницы в ресурсах железа), моя локальная бд имела больший пул для коннектов. В итоге, проблему решил простым удалением коннекта из пула, при закрытии.

0