Мониторинг изменений в базах данных

@GrossmasteR · Регистрация: 17.12.2019

Студворк — интернет-сервис помощи студентам

Уважаемые форумчане, здравствуйте!
Нужен ваш совет.

Алгоритм определения изменений схемы данных.
Введение:
В крупной системе, реализующей минросервисную архитектуру часто возникает необходимость синхронизации горячих данных между различными компонентами (исполняемыми модулями). Как правило единой точкой правды для всех компонентов является СУБД, а именно какая либо схема или набор объектов СУБД. Но частые обращения к этим объектам, в особенности запросы содержащие агрегатные или аналитические функции, негативно влияют на производительность СУБД в целом. Поэтому для разных ситуаций разрабатывают различные тактики определения разности состояний тех или иных объектов СУБД для синхронизации с приложением.
Что нужно сделать:
Спроектировать алгоритм (фунцию) определяющую есть ли изменения в СУБД или нет начиная с какого-либо времени или идентификатора.
Вариации:

[Вычисление изменение всей схемы целиком.
Вычисление изменений заданных объектов (таблиц, колонок).
Вычисление, реализованное только на JAVA без использования системных объектов СУБД.
(повышенной сложности) Вычисление, реализованное только на SQL на СУБД Postgres.
Вычисление допускает
Dведение дополнительных сущностей в схему данных, либо рекомендации к проектированию схемы.

Критерии оценки:
Код должен быть покрыт нагрузочными тестами, приведены оценки планов запроса.

Написано относительно сложно, суть, как я понимаю, необходимо написать на java какую-нибудь простую реализацию: класс, который будет отслеживать изменения данных.

Я гуглил-гуглил и так и этак. Кто-то предлагает на основе анализа журнала транзакций, использовать механизм триггеров. Вроде бы в MS Sql Server и в postgresql есть какие-то встроенные инструменты для этого, кто то предлагал делать это посредством контрольных сумм, в то же время чего-то простого доступного мне найти не удалось. Может быть есть возможность подсказать?

@xoraxax · 28.01.2020, 22:36

Судя по всему от тебя хотят, чтобы ты поработал с метаданными бд. Читаешь метаданные, сохраняешь в каком то формате, ставишь таймштамп... Профит. Но вообще описание упоротое какое то, микросервисы, какая то общая база, у которой меняется схема, причем как то отдельно от всех микроскрвисов - какой то норкоман писал, поэтому иди уточняй чо хотят.

@korvin_ · 29.01.2020, 00:24

GrossmasteR, «В крупной системе, реализующей минросервисную архитектуру часто» используют CQRS, Event Sourcing, DDD и EventBus а не перечисленные в задании костыли, подпорки и велосипеды.

@KEKCoGEN · 29.01.2020, 13:54

Это вроде тестовое задание в какой-то конторе. Мелькало уже тут.

@xoraxax · 29.01.2020, 14:01

Сообщение от korvin_

используют CQRS, Event Sourcing, DDD и EventBu

давно интересно было, что такое люди делают, чтобы им был нужен CQRS и Event sourcing

@korvin_ · 29.01.2020, 16:39

xoraxax, микросервисы же )

На ютубе есть какие-то доклады про практическое применение

@xoraxax · 29.01.2020, 17:06

korvin_, я, помнится, после попыток понять, что пишет об этом фаулер, как раз на ютюб ходил. Интересно, конечно, но так и не возникало мысли, что "вот в том то проекте было бы круто запилить cqrs", наверно, не дорос.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .

@GrossmasteR 0 / 0 / 0 Регистрация: 17.12.2019 Сообщений: 16

	Мониторинг изменений в базах данных 28.01.2020, 21:14. Показов 1621. Ответов 6 Метки java (Все метки) Уважаемые форумчане, здравствуйте! Нужен ваш совет. Алгоритм определения изменений схемы данных. Введение: В крупной системе, реализующей минросервисную архитектуру часто возникает необходимость синхронизации горячих данных между различными компонентами (исполняемыми модулями). Как правило единой точкой правды для всех компонентов является СУБД, а именно какая либо схема или набор объектов СУБД. Но частые обращения к этим объектам, в особенности запросы содержащие агрегатные или аналитические функции, негативно влияют на производительность СУБД в целом. Поэтому для разных ситуаций разрабатывают различные тактики определения разности состояний тех или иных объектов СУБД для синхронизации с приложением. Что нужно сделать: Спроектировать алгоритм (фунцию) определяющую есть ли изменения в СУБД или нет начиная с какого-либо времени или идентификатора. Вариации: [Вычисление изменение всей схемы целиком. Вычисление изменений заданных объектов (таблиц, колонок). Вычисление, реализованное только на JAVA без использования системных объектов СУБД. (повышенной сложности) Вычисление, реализованное только на SQL на СУБД Postgres. Вычисление допускает Dведение дополнительных сущностей в схему данных, либо рекомендации к проектированию схемы. Критерии оценки: Код должен быть покрыт нагрузочными тестами, приведены оценки планов запроса. Написано относительно сложно, суть, как я понимаю, необходимо написать на java какую-нибудь простую реализацию: класс, который будет отслеживать изменения данных. Я гуглил-гуглил и так и этак. Кто-то предлагает на основе анализа журнала транзакций, использовать механизм триггеров. Вроде бы в MS Sql Server и в postgresql есть какие-то встроенные инструменты для этого, кто то предлагал делать это посредством контрольных сумм, в то же время чего-то простого доступного мне найти не удалось. Может быть есть возможность подсказать? 0

@xoraxax 3639 / 2971 / 918 Регистрация: 05.07.2013 Сообщений: 14,220
	28.01.2020, 22:36
	Судя по всему от тебя хотят, чтобы ты поработал с метаданными бд. Читаешь метаданные, сохраняешь в каком то формате, ставишь таймштамп... Профит. Но вообще описание упоротое какое то, микросервисы, какая то общая база, у которой меняется схема, причем как то отдельно от всех микроскрвисов - какой то норкоман писал, поэтому иди уточняй чо хотят. 0

@korvin_ 4575 / 2774 / 491 Регистрация: 28.04.2012 Сообщений: 8,779
	29.01.2020, 00:24
	GrossmasteR, «В крупной системе, реализующей минросервисную архитектуру часто» используют CQRS, Event Sourcing, DDD и EventBus а не перечисленные в задании костыли, подпорки и велосипеды. 0

@KEKCoGEN 2399 / 2224 / 565 Регистрация: 28.12.2010 Сообщений: 8,672
	29.01.2020, 13:54
	Это вроде тестовое задание в какой-то конторе. Мелькало уже тут. 0

@korvin_ 4575 / 2774 / 491 Регистрация: 28.04.2012 Сообщений: 8,779
	29.01.2020, 16:39
	xoraxax, микросервисы же ) На ютубе есть какие-то доклады про практическое применение 0

@xoraxax 3639 / 2971 / 918 Регистрация: 05.07.2013 Сообщений: 14,220
	29.01.2020, 17:06
	korvin_, я, помнится, после попыток понять, что пишет об этом фаулер, как раз на ютюб ходил. Интересно, конечно, но так и не возникало мысли, что "вот в том то проекте было бы круто запилить cqrs", наверно, не дорос. 0