Найти поля с изменениями

@vpivo · Регистрация: 09.01.2018

Студворк — интернет-сервис помощи студентам

Всем привет. Ведение логов - задача важная... и ресурсоемкая. Возникла идея сохранять только поля с изменениями.
Т.е. в триггере каким-то образом сформировать таблицу из new с полями имя поля,значение поля. Аналогично поступить с таблицей old. Воспользовавшись операторами except и intersect на селекты из этих твух таблиц - задача решена. Но как их сформировать?
Возникла идея выгрузить записи из new и old в json, а потом из этих двух json-ов получить через select into.
Выгрузить-то выгрузилось... но слаб в json...
Как из json - [{"id":"cee8ea8c-c115-11ee-81f2-d090d09e20c2","createuser":"CrmID","crea tedate":"2024-02-01T18:23:10","changeuser":"AA.Pupkin","c hangedate":"2024-04-08T13:19:08.483","idrecstatus":0,"inn":n ull,"kpp":null}]
получить таблицу с записями (каждая запись - два текстовых поля, фактически имя поля и его значение из json):
id,cee8ea8c-c115-11ee-81f2-d090d09e20c2
createuser,CrmID
createdate, 2024-02-01T18:23:10
и т.д.
Подскажите, пожалуйста... Гугл не помог... Видимо вопрос сформулировать правильно не могу.
Можно, конечно в лоб отпарсить строку... но как-то не элегантно.
В Postgres же так развита обработка json... Просто я ее не знаю.

Добавлено через 2 часа 6 минут
Пока реализовал тупым парсингом json-а.
Датасет для фиксации разницы в лог делает за 20мсек.
Таблица из четырех десятков полей...
Может и не заморачиваться дальше?

@Swa111 · 11.07.2024, 23:22

https://postgrespro.ru/docs/po... tions-json\

Посмотрите в сторону функции jsonb_each.

SQL
1
SELECT * FROM jsonb_each(' {"id":"cee8ea8c-c115-11ee-81f2-d090d09e20c2","createuser":"CrmID","createdate":"2024-02-01T18:23:10","changeuser":"AA.Pupkin","changedate":"2024-04-08T13:19:08.483","idrecstatus":0,"inn":null,"kpp":null}'::jsonb)

Не понятно почему у Вас на входе массив объектов.

@vpivo · 12.07.2024, 08:11 **[ТС]**

Спасибо. То, что нужно.

Сообщение от Swa111

Не понятно почему у Вас на входе массив объектов.

Потому что json получен запросом

T-SQL
1
select json_agg(row_to_json(row)) into json_new from (select * from new) row;

Ну слаб я в работе с json, что первое попалось рабочее - то и применил.

Добавлено через 5 минут

Сообщение от vpivo

Потому что json получен запросом

Переделал на

SQL
1
SELECT row_to_json(ROW) INTO json_new FROM (SELECT * FROM NEW) ROW;

Стало совсем все быстро. Спасибо еще раз.

@fte65 · 12.07.2024, 10:14

Сохранить изменения при UPDATE

SQL
1
2
3
4
5
6
7
SELECT jsonb_object_agg(KEY,VALUE)
INTO _changed_fields
FROM (
    SELECT * FROM jsonb_each(to_jsonb(NEW.*) - _excluded_cols)
    EXCEPT
    SELECT * FROM jsonb_each(to_jsonb(OLD.*) - _excluded_cols)
) r;

Где _changed_fields - локальная переменная (результат), тип jsonb,
_excluded_cols - массив наименований колонок , которые исключаются из логгирования

При INSERT еще проще

SQL
1
_changed_fields := to_jsonb(NEW.*) - _excluded_cols;

@vpivo · 12.07.2024, 14:16 **[ТС]**

Сообщение от fte65

Сохранить изменения при UPDATE

Не выйдет. Например при UPDATE record NEW = null.
Возможно, что это зависит от настроек триггера, но тем не менее.
Сам удивился этому, пришел вот такому коду из-за этого

SQL
1
2
3
4
5
6
7
8
9
10
11
12
-- получаем json записи с новыми данными
    IF tg_op = 'INSERT'
    THEN
        v_idcounteragent = NEW.idcounteragent;
        SELECT row_to_json(NEW)
 INTO json_new;
    ELSE
        SELECT idcounteragent INTO v_idcounteragent
        FROM new_table;
        SELECT row_to_json(ROW) INTO json_new   
        FROM (SELECT * FROM new_table) ROW; 
    END IF;

Опять же, а если у триггера не "построчный" вызов? Тут как быть? Тут уже оба record-а null-ы, и нужно оперировать с new_table и old_table.

@fte65 · 13.07.2024, 09:58

Сообщение от vpivo

Не выйдет. Например при UPDATE record NEW = null

Выйдет если триггер будет FOR EACH ROW

@vpivo · 13.07.2024, 14:40 **[ТС]**

Сообщение от fte65

Выйдет если триггер будет FOR EACH ROW

Проверено, даже с такой настройкой при UPDATE NEW = NULL.

@fte65 · 14.07.2024, 08:38

Даже интересно, как проверяли? Давайте исходный код функции и определения всех триггеров

@vpivo · 14.07.2024, 11:29 **[ТС]**

Сообщение от fte65

Даже интересно, как проверяли?

Элементарно. Собственно вариантов немного.

SQL
1
2
SELECT row_to_json(NEW) INTO json_new;
raise notice '%', json_new::text;

Результат
NOTICE: <NULL>

Хотя по докам такого быть не может.
Настройки триггера прокомментировать не смогу... слаб в теории. Могу посмотреть то, что Вы скажете.

@fte65 · 15.07.2024, 10:28

Сообщение от vpivo

Настройки триггера прокомментировать не смогу... слаб в теории. Могу посмотреть то, что Вы скажете.

Из коммандной строки вызовите psql
выложите сюда результат комманды \d+ схема.имя_таблицы

@vpivo · 15.07.2024, 19:41 **[ТС]**

Сообщение от fte65

Из коммандной строки вызовите psql

Всегда рад... Только поясните как это сделать, если у меня доступ только через pgAdmin. Есть еще DataGrip, но его последняя версия мне не нравится.

@fte65 · 17.07.2024, 09:29

Сообщение от vpivo

через pgAdmin.

К окне справа находите свою таблицу, в окне слева, открываете вкладку SQL и видите полный скрипт создания таблицы, выкладываете сюда

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@vpivo 66 / 9 / 4 Регистрация: 09.01.2018 Сообщений: 277

	Найти поля с изменениями 11.07.2024, 18:21. Показов 583. Ответов 11 Метки нет (Все метки) Всем привет. Ведение логов - задача важная... и ресурсоемкая. Возникла идея сохранять только поля с изменениями. Т.е. в триггере каким-то образом сформировать таблицу из new с полями имя поля,значение поля. Аналогично поступить с таблицей old. Воспользовавшись операторами except и intersect на селекты из этих твух таблиц - задача решена. Но как их сформировать? Возникла идея выгрузить записи из new и old в json, а потом из этих двух json-ов получить через select into. Выгрузить-то выгрузилось... но слаб в json... Как из json - [{"id":"cee8ea8c-c115-11ee-81f2-d090d09e20c2","createuser":"CrmID","crea tedate":"2024-02-01T18:23:10","changeuser":"AA.Pupkin","c hangedate":"2024-04-08T13:19:08.483","idrecstatus":0,"inn":n ull,"kpp":null}] получить таблицу с записями (каждая запись - два текстовых поля, фактически имя поля и его значение из json): id,cee8ea8c-c115-11ee-81f2-d090d09e20c2 createuser,CrmID createdate, 2024-02-01T18:23:10 и т.д. Подскажите, пожалуйста... Гугл не помог... Видимо вопрос сформулировать правильно не могу. Можно, конечно в лоб отпарсить строку... но как-то не элегантно. В Postgres же так развита обработка json... Просто я ее не знаю. Добавлено через 2 часа 6 минут Пока реализовал тупым парсингом json-а. Датасет для фиксации разницы в лог делает за 20мсек. Таблица из четырех десятков полей... Может и не заморачиваться дальше? 0

@fte65 106 / 67 / 29 Регистрация: 22.04.2022 Сообщений: 231
	14.07.2024, 08:38
	Даже интересно, как проверяли? Давайте исходный код функции и определения всех триггеров 0

Найти поля с изменениями

Решение