Форум программистов, компьютерный форум, киберфорум
PostgreSQL
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
2 / 2 / 1
Регистрация: 16.04.2022
Сообщений: 1,032

Оптимизировать запрос

08.11.2023, 15:16. Показов 359. Ответов 8
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте!

Есть исходные данные
Кликните здесь для просмотра всего текста
SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
CREATE TABLE test.myTable1
(
    "column1" VARCHAR(20)
    "column2" VARCHAR(40),
    "column3" text,
    "column4" TIMESTAMP,
    "column5" INTEGER
);
 
INSERT INTO test.myTable1 VALUES
('c', 'aa', 'aaa', '2021_01-01', 1)
,('b', 'aa', 'aaa', '2021_01-01', 2)
,('a', 'aa', 'bbb', '2021_01-01', 3)
,('c', 'bb', 'ccc', '2021_01-01', 4)
,('b', 'bb', 'ddd', '2021_01-01', 5)
,('a', 'bb', 'ddd', '2021_01-01', 6)
--...
;

Нужно сделать специальную сверку по этой таблице. Есть такой скрипт
Кликните здесь для просмотра всего текста
SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
--Проверяем поле "column1" на null. Отсекаем период ноябрь 2021
SELECT
    'Проверка поля ''column1'' на наличие null as "Проверка"
    ,case when count(*) = 0 then 'OK' else 'Ошибка' end as 'Результат'
    ,null::text as "Комментарий"
from
    (select distinct
        "column1"
    from
        test.myTable1
    where
        "column1" is null
        and
        "column4" <> make_date(2021,11,1)
    ) t
 
union all
 
--Проверяем поле "column1" на наличие только трех значений ('a', 'b', 'c').Отсекаем период ноябрь 2021
select
    'Проверка поля ''column1''. Только три значения' as "Проверка"
    ,case when "count" = 3 then 'ОК' else 'Ошибка' end as "Результат"
    ,"column1"::text as "Комментарий"
from
    (select
        string_agg("column1", ', ' order by "column1") as "column1"
        ,count("column1") as count
    from
        (select distinct  
            "column1"
        from    
            test.myTable1
        where
            "column1" not is null       
            and
            "column4" <> make_date(2021,11,1)
        )t)tt);
 
--union all
--Аналогично
--Проверяем поле "column2" на null. Отсекаем период сентябрь 2021
--union all
--Проверяем поле "column2" на наличие только двух значений ('aa' и 'bb'). Отсекаем период сентябрь 2021
--union all
--Проверяем поле "column3" на null. Все периоды
--union all
--Проверяем поле "column3" на наличие только четырех значений ('aaa', 'bbb', 'ccc', 'ddd'). Все периоды

Вариант рабочий, но не оптимизированный.

Оптимизируем скрипт
Кликните здесь для просмотра всего текста
SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
SELECT
    'Проверка поля ''column1'' на наличие null as "Проверка"
    ,case when count(distinct "column1") = 0 then 'OK' else 'Ошибка' end as "Результат"
    ,null::text as "Комментарий"
from
    test.myTable1
where
    "column1" is null
    and
    "column4" <> make_date(2021,11,1)
 
union all
 
select
    'Проверка поля ''column1''. Только три значения' as "Проверка"
    ,case when count(distinct "column1") = 3 then 'ОК' else 'Ошибка' end as "Результат"
    ,string_agg(distinct "column1", ', ' order by "column1") as "Комментарий"
from
    test.myTable1
where
    "column1" not is null       
    and
    "column4" <> make_date(2021,11,1)
 
--union all
--Аналогично
--Проверяем поле "column2" на null. Отсекаем период сентябрь 2021
--union all
--Проверяем поле "column2" на наличие только двух значений ('aa' и 'bb'). Отсекаем период сентябрь 2021
--union all
--Проверяем поле "column3" на null. Все периоды
--union all
--Проверяем поле "column3" на наличие только четырех значений ('aaa', 'bbb', 'ccc', 'ddd'). Все периоды

Вариант тоже рабочий. Но есть но. В боевой версии в таблица не мало колонок. Количество строк 5 млн. и со временем растет. В результате запрос считает не быстро. В каждом запросе (между union all) идет отдельное обращение к таблице.

Скажите, эти записи
SQL
1
2
CASE WHEN COUNT(DISTINCT "column1") = 3 THEN 'ОК' ELSE 'Ошибка' END
string_agg(DISTINCT "column1", ', ' ORDER BY "column1")
как сильно подтормаживают выгрузку? Как можно более оптимальнее написать скрипт-проверку?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
08.11.2023, 15:16
Ответы с готовыми решениями:

Оптимизировать запрос
Всем здраствовать!!! Тут меня мой ребёночек озадачил и попросил помочь. У него на работе есть кажисть какая то БД типа - PostgreSQL ...

Оптимизировать запрос
Помогите мне оптимизировать запрос. Суть в чем. У меня есть две таблицы, одна с номерами телефоном, другая со звонками на эти номера. ...

Оптимизировать запрос Update
Всем добрый день! Есть 2 таблички, и я пытаюсь обновить поле CreatedOn в одной таблице данными из другой следующим запросом: Update...

8
912 / 286 / 57
Регистрация: 01.06.2023
Сообщений: 811
09.11.2023, 08:11
1) У Вас ошибка в логике проверки "column1" is null и далее when count(distinct "column1") = 0 всегда даст 0 даже если есть пустые колонки

2) По поводу COUNT(DISTINCT "column1") и string_agg - сами по себе не то чтоб много тратят времени, львиную часть занимает сканирование таблиц

Вам нужно за одно сканирование таблицы собрать все метрики проверок, а затем уже их анализировать.
Почитайте про агрегатные функции с фильтрацией https://postgrespro.ru/docs/po... AGGREGATES


SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
WITH qMetric AS (
  SELECT 
    --Правило 1
    SUM(1) FILTER (WHERE column1 IS NULL AND column4 <> make_date(2021,11,1)) nRule1Count,
    
    --Правило 2
    SUM(DISTINCT column1) FILTER (WHERE column1 IS NOT NULL AND column4 <> make_date(2021,11,1)) nRule2Count,
    string_agg(DISTINCT column1, ', ' ORDER BY column1) FILTER (WHERE column1 IS NOT NULL AND column4 <> make_date(2021,11,1)) sRule2Comment
    
    --Правило 3
    --...
  FROM 
    test.myTable1 
  
)
 
SELECT 
  'Проверка поля ''column1'' на наличие null' AS "Проверка",
  CASE WHEN COALESCE(nRule1Count,0) = 0 THEN 'OK' ELSE 'Ошибка' AS "Результат",
  ,NULL::text AS "Комментарий"
FROM qMetric
 
UNION ALL
 
SELECT 
  'Проверка поля ''column1'' только три значения' ,
  CASE WHEN COALESCE(nRule2Count,0) = 3 THEN 'OK' ELSE 'Ошибка' ,
  ,sRule2Comment AS "Комментарий"
FROM qMetric
Добавлено через 6 минут
Ну и в дополнение запускаете свой запрос с Explain Analyze в начале и увидите сколько времени потратилось на выполнение той или иной части. Советы по существу Вам смогут дать только если пришлете и сам запрос и его план выполнения.
1
2 / 2 / 1
Регистрация: 16.04.2022
Сообщений: 1,032
09.11.2023, 08:35  [ТС]
Цитата Сообщение от Swa111 Посмотреть сообщение
1) У Вас ошибка в логике проверки "column1" is null и далее when count(distinct "column1") = 0 всегда даст 0 даже если есть пустые колонки
Как эту ошибку можно обойти?
0
912 / 286 / 57
Регистрация: 01.06.2023
Сообщений: 811
09.11.2023, 08:36
см. пример
0
2 / 2 / 1
Регистрация: 16.04.2022
Сообщений: 1,032
09.11.2023, 08:38  [ТС]
Вижу, поторопился.
0
912 / 286 / 57
Регистрация: 01.06.2023
Сообщений: 811
09.11.2023, 08:40
только щас заметил

SQL
1
2
3
4
--Вместо 
SUM(DISTINCT column1) FILTER (WHERE column1 IS NOT NULL AND column4 <> make_date(2021,11,1)) 
--Должно быть
COUNT(DISTINCT column1) FILTER (WHERE column1 IS NOT NULL AND column4 <> make_date(2021,11,1))

Как эту ошибку можно обойти?
Особенность Count в том что функция не считает Null`ы, Обходится либо через Count(*) либо альтернатива Sum(1), если нужен просто маркер
0
2 / 2 / 1
Регистрация: 16.04.2022
Сообщений: 1,032
09.11.2023, 09:23  [ТС]
Провел эксперимент. Пусть в исходнике в колонке "column1" есть как и null, так и empty.
Кликните здесь для просмотра всего текста
SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
--Вариант 1
SELECT
    'Проверка поля ''column1'' на наличие null as "Проверка"
    ,case when count(*) = 0 then 'OK' else 'Ошибка' end as 'Результат'
from
    (select distinct
        "column1"
    from
        test.myTable1
    where
        "column1" is null
    ) t
 
union all
 
SELECT
    'Проверка поля ''column1'' на наличие empty
    ,CASE WHEN COUNT(*) = 0 THEN 'OK' ELSE 'Ошибка' END AS 'Результат'
FROM
    (SELECT DISTINCT
        "column1"
    FROM
        test.myTable1
    WHERE
        "column1" = ''
    ) t
;
 
--Вариант 2
SELECT
    'Проверка поля ''column1'' на наличие null as "Проверка"
    ,case when count(distinct "column1") = 0 then 'OK' else 'Ошибка' end as "Результат"
from
    test.myTable1
where
    "column1" is null
 
union all
 
SELECT
    'Проверка поля ''column1'' на наличие empty
    ,CASE WHEN COUNT(DISTINCT "column1") = 0 THEN 'OK' ELSE 'Ошибка' END AS "Результат"
FROM
    test.myTable1
WHERE
    "column1" = ''

Результат варианта 1
ПроверкаРезультат
Проверка поля 'column1' на наличие nullОшибка
Проверка поля 'column1' на наличие emptyОшибка

Результат варианта 2
ПроверкаРезультат
Проверка поля 'column1' на наличие nullОк
Проверка поля 'column1' на наличие emptyОшибка

Вариант 1 корректнее работает.
0
912 / 286 / 57
Регистрация: 01.06.2023
Сообщений: 811
09.11.2023, 09:46
в PG Null и '' разные значения и '' не есть null как это сделано к примеру в Oracle. Если нужно дополнительно обрабатывать пустые строки то проверку сделайте так:

SQL
1
NULLIF(column1,'') IS NULL
1
2 / 2 / 1
Регистрация: 16.04.2022
Сообщений: 1,032
09.11.2023, 09:59  [ТС]
Спасибо!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
09.11.2023, 09:59
Помогаю со студенческими работами здесь

PostgreSQL Оптимизировать запрос
Код выполняется от 13 минут, выдает 1 800 291 строк, хотелось бы при возможности упростить код запроса. Вроде бы все данные выдает верно....

Оптимизировать запрос с array_replace
Есть таблица Responsible, столбец Documents (тип bigint) ид. документа, User(тип text) - массив пользователей. Нужно при смене...

Оптимизировать запрос в котором группируется большое кол-во данных
Запрос WITH ar AS( SELECT * FROM &quot;ActualDocuments&quot; WHERE &quot;Account&quot; =...

Оптимизировать запрос
Вопрос в том, что данный запрос выполняется относительно долго можно ли ускорить выполнение? по задаче, нужно заменить null-значения...

Оптимизировать запрос
Помогите оптимизировать запрос. Имеются три таблицы Pervasive SQL - Sales(itemsId, Amount, Dates) , Groups(id, name), Items(id, name,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
9
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&amp;d=1772460536 Одним из. . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru