Архивирование записей из БД, через определённый промежуток времени. Как лучше сделать?

Предположим есть БД, в которую сервер сливает данные из большого кол-ва однотипных источников. Например, из ночных клубов финансовую информацию о покупках через кассу, не важно, просто пример.

Сейчас за одни сутки в БД накапливается ~10 Гб данных, а максимально допустимо 30 Гб в сутки.

В БД есть таблица Payment. Вот в эту таблицу за сутки может слиться очень большое кол-во записей с 1000 клубов. У нас есть условие, что нужно данные из этой таблицы через 2 года отправлять на архивный сервер. Вот как лучше организовать такие таблицы, чтобы это не тормозило. Если у нас MS SQL Server Standard.

Данные будут периодически как-то проверяться есть ли для репликации в архив что-то сегодня. Данные будут отбираться частями и отправляться, а не сразу всё за сутки, что есть. То есть обращений на чтение и поиск необходимых данных для отправки в архив может быть за день приличное кол-во.

Вариант 1:
Создать просто таблицу Payment и добавить в БД поле CreationDate типа Datetime2. Далее добавить индекс по этому полю.

Но непонятно, как будет это работать. Будет ли тормозить.

Вариант 2:
Сохранять в БД таблицы для каждого дня. Например: Payment_17_02_2016. Все данные пришедшие 17.02.2016 мы пишем в Payment_17_02_2016 и каждый день по той же схеме. Что даст возможность читать только из таблиц, название которых начинается с определённой даты, а не по одной гигантской таблице.
Создаём таблицу: Payment_Tables, в которую пишем имена всех существующих таблиц Payment_DD_ MM_HHHH Payment_01_01_2020...
Возле каждой таблицы Payment_DD_ MM_HHHH создаём Payment_DD_ MM_HHHH_NR (Not Replicated), в которой только идентификаторы записей из одноименной таблицы, но без _NR, записи, которые не были отправлены в архив. Суть в том, что когда таблица Payment_17_02_2016 _NR не содержит данных, то в таблице Payment_Tables мы помечаем таблицу Payment_17_02_2016, как реплицированную и удаляем сразу всю таблицу из БД, так как данные из неё отправлены.

Это вроде бы должно неплохо работать, но в реализации это будет не так уж и просто. Таблиц много разных. Ещё придётся писать всякие тригеры, представления, короче, такой вариант всё сильно усложняет.

Вообще, есть идеи, как это дело лучше организовать?

Миниатюры

 

0

Вам бы подошло секционирование. Но, увы, редакция сервера не позволит.
Попробуйте секционированное представление - https://technet.microsoft.com/... 05%29.aspx

Плюс DDL-триггер, который будет реагировать на создание таблицы, соответствующей определенному шаблону и добавлять ее к секционированному представлению, а так же генерировать instead of триггеры для этого представления.

1