SQLAlchemy, ORDER_BY DESC NULLS LAST + OFFSET дают дубли

@Resistanse · Регистрация: 05.08.2017

Студворк — интернет-сервис помощи студентам

Всем привет, есть модель (урезал):

Python
1
2
3
4
5
class Ad(Base):
    __tablename__ = "ad"
 
    id = sqlalchemy.Column(sqlalchemy.Integer, primary_key=True, autoincrement=True)
    publish_date = sqlalchemy.Column(sqlalchemy.DateTime)

В БД предположим 25 записей и у 5 из них поле publish_date != None, я хочу получить значения в порядке убывания по полю publish_date, при этом чтобы записи == None были в конце, я делаю:

Python
1
2
3
4
with Session(main_engine) as session:
    for i in range(25):
        ad = session.query(Ad).order_by(Ad.publish_date.desc().nulls_last()).limit(1).offset(i).one()
        print(ad.id, ad.publish_date)

В итоге результатом данного куска программы является вывод в консоль ID и полей publish_date, в плане сортировки по убыванию код делает все корректно, но проблема начинается с записями, у которых publish_date == None, они дублируются. В чем может быть проблема?
Вывод скрипта:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
12521 2023-04-26 08:40:31
12697 2023-04-25 10:48:05
12630 2023-04-24 13:32:29
12598 2023-04-18 08:43:28
10325 2023-02-02 12:00:00
12700 None Вот отсюда начинается дублирование записей
12700 None
12766 None
12766 None
12766 None
12698 None
12698 None
13066 None
13099 None
13100 None
12833 None
12866 None
12899 None
12932 None
13101 None

При этом если убрать .nulls_last, то дубли убираются, но при этом нулевые значения встают первыми

@supmener · 29.07.2023, 20:37

Видел такое решение вашей проблемы.
Это происходит потому, что PostgreSQL (и то же относится к другим SQL-системам) не задает четкого порядка для равных значений. Когда вы сортируете значениях с NULL, все они равны, поэтому PostgreSQL может вернуть их в любом порядке. Вероятно, OFFSET "выбирает" одно и то же значение NULL несколько раз.

Есть несколько способов решения этой проблемы. Финальный выбор зависит от ваших требований и ограничений.

Использование дополнительных условий сортировки
Давайте добавим второе условие сортировки. Это может быть любое поле, которое является уникальным для каждой записи. Наиболее очевидный выбор — это по id:

Python
1
2
3
4
with Session(main_engine) as session:
    for i in range(25):
        ad = session.query(Ad).order_by(Ad.publish_date.desc().nulls_last(), Ad.id).limit(1).offset(i).one()
        print(ad.id, ad.publish_date)

Использование windows-функций
Если добавление дополнительного условия сортировки по какой-то причине не работает или создаёт другие проблемы, вы можете использовать window-функции.

Python
1
2
3
4
5
6
7
with Session(main_engine) as session:
    id_subquery = session.query(Ad.id).order_by(Ad.publish_date.desc().nulls_last(), Ad.id).subquery()
    for i in range(25):
        q = session.query(Ad).join(id_subquery, Ad.id == id_subquery.c.id).order_by(id_subquery.c.id).limit(1).offset(i)
        ad = q.one()
        print(ad.id, ad.publish_date)
Важно отметить, что в обоих случаях, новый код может слегка ухудшить производительность из-за дополнительного условия ORDER_BY или join'а.

Надеюсь, это поможет решить вашу проблему!

Новые блоги и статьи Все статьи Все блоги /
Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .