MS SQl. Airflow. Postgres

@yagrus2 · Регистрация: 30.05.2022

Студворк — интернет-сервис помощи студентам

Hello world!

Подскажите, с какой скоростью у вас переливаются данные MS SQl >> Postgres?

По моим логам 10000 строк в секунду. А это очень медленно.

@D1973 · 12.12.2023, 07:01

А чем переливали? У меня база из MS SQL 2017 (Windows), объемом порядка 600 Мб конвертировалась в PG 14 (Oracle Linux) около 2-х минут (точно не помню уже, давно было...)

@uaggster · 12.12.2023, 08:53

Если через ODBC - то там не быстро.
Советую выгрузить в csv и из него загружать.

@yagrus2 · 12.12.2023, 09:29 **[ТС]**

D1973,
А чем переливали?
apache airflow

Добавлено через 4 минуты
uaggster,
Если через ODBC - то там не быстро.
Советую выгрузить в csv и из него загружать.

Тоже думаю что airflow использует ODBC.
Вы пробовали предложенную схему(mssql>>csv>>postgres) на airflow?

@PaulWist · 12.12.2023, 10:21

Сообщение от yagrus2

А это очень медленно.

Вопросы:

На стороне ПГ

1. Наличие PK
2. Наличие FK?
3. Наличие триггеров?
4. Сколько транзакций при переливе?
5. 10000 записей - это сколько в К/М-байтах?
6. Какой драйвер используется (платный/бесплатный)?

PS судя по всему таблички небольшие по 10К записей.

@yagrus2 · 12.12.2023, 10:39 **[ТС]**

1. Наличие PK -->> Нет.
2. Наличие FK -->> Нет.
3. Наличие триггеров -->> Нет.
4. Сколько транзакций при переливе -->> Таблицы разные. от 3 строк до 10 мил записей
5. 10000 записей - это сколько в К/М-байтах --> 300 Мб
6. Какой драйвер используется (платный/бесплатный)--> бесплатный

Добавлено через 4 минуты
В моей компании есть платный драйвер от Intellisoft. Он используется для загрузки данных из Postgres в SSAS(куб)
Установлен он на сервер, на котором крутится Olap-куб.

@uaggster · 12.12.2023, 10:46

Сообщение от yagrus2

Вы пробовали предложенную схему(mssql>>csv>>postgres) на airflow?

Эээ... не. Выгружал в csv через bcp, грузил через COPY

@PaulWist · 12.12.2023, 10:54

Сообщение от yagrus2

4. Сколько транзакций при переливе -->> Таблицы разные. от 3 строк до 10 мил записей

Вот эти 10 млн записей выгружаются за сколько транзакций?? За одну или 10 млн?? (Если за одну транзакцию, то приведите пример кода где определяется автокоммит)

@yagrus2 · 12.12.2023, 11:09 **[ТС]**

1 транзакция = 10000 строк. Таблицы в 10 мил льется 1000 транзакция

10 000 000 / 10 000 = 1000

код который перекачивает данные такой:

Python
1
2
3
4
5
6
7
8
    @task
    def dataFlowStg():
        src = MsSqlHook(mssql_conn_id='upp')
        dest = PostgresHook(postgres_conn_id='dwh')
        src_conn = src.get_conn()
        cursor = src_conn.cursor()
        cursor.execute("SELECT * FROM [upp_dwh_metadata].[sourceEtl].[vCtgProduct]")
        dest.insert_rows(table="stg.t_utd_ctg_product", rows=cursor)

@PaulWist · 12.12.2023, 11:19

Сообщение от yagrus2

1 транзакция = 10000 строк.

И где это видно в коде?? Покажите плз.

@yagrus2 · 12.12.2023, 12:12 **[ТС]**

на порядок ошибся. Вставка идет по 1000 записей

Вот лог

@PaulWist · 12.12.2023, 13:20

Поставьте

Добавлено через 1 минуту
Измените дефолтное значение 1000 на 0.

insert_rows(self, table, rows, target_fields=None, commit_every=0, replace=False)

@yagrus2 · 12.12.2023, 14:42 **[ТС]**

Попробовал. Глобально ничего не изменилось.

Таблица около 500 тысяч записей
Время загрузки колеблется от 6,5 минут до 14

с commit_every=0, переливка данных заняла: 6 мин 33 сек

Новые блоги и статьи Все статьи Все блоги /
Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025	Расскажи мне о Мире, бродяга kumehtar 12.11.2025 — Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .	PowerShell Snippets iNNOKENTIY21 11.11.2025 Модуль PowerShell 5. 1+ : Snippets. psm1 У меня модуль расположен в пользовательской папке модулей, по умолчанию: \Documents\WindowsPowerShell\Modules\Snippets\ А в самом низу файла-профиля. . .

@yagrus2 5 / 4 / 2 Регистрация: 30.05.2022 Сообщений: 58

	MS SQl. Airflow. Postgres 11.12.2023, 20:30. Показов 1287. Ответов 12 Метки нет (Все метки) Hello world! Подскажите, с какой скоростью у вас переливаются данные MS SQl >> Postgres? По моим логам 10000 строк в секунду. А это очень медленно. 0

@D1973 Модератор 9902 / 6440 / 2454 Регистрация: 21.01.2014 Сообщений: 27,335 Записей в блоге: 3
	12.12.2023, 07:01
	А чем переливали? У меня база из MS SQL 2017 (Windows), объемом порядка 600 Мб конвертировалась в PG 14 (Oracle Linux) около 2-х минут (точно не помню уже, давно было...) 0

@uaggster 1302 / 356 / 97 Регистрация: 14.10.2022 Сообщений: 1,084
	12.12.2023, 08:53
	Если через ODBC - то там не быстро. Советую выгрузить в csv и из него загружать. 0

@yagrus2 5 / 4 / 2 Регистрация: 30.05.2022 Сообщений: 58
	12.12.2023, 09:29 [ТС]
	D1973, А чем переливали? apache airflow Добавлено через 4 минуты uaggster, Если через ODBC - то там не быстро. Советую выгрузить в csv и из него загружать. Тоже думаю что airflow использует ODBC. Вы пробовали предложенную схему(mssql>>csv>>postgres) на airflow? 0

@yagrus2 5 / 4 / 2 Регистрация: 30.05.2022 Сообщений: 58
	12.12.2023, 10:39 [ТС]
	1. Наличие PK -->> Нет. 2. Наличие FK -->> Нет. 3. Наличие триггеров -->> Нет. 4. Сколько транзакций при переливе -->> Таблицы разные. от 3 строк до 10 мил записей 5. 10000 записей - это сколько в К/М-байтах --> 300 Мб 6. Какой драйвер используется (платный/бесплатный)--> бесплатный Добавлено через 4 минуты В моей компании есть платный драйвер от Intellisoft. Он используется для загрузки данных из Postgres в SSAS(куб) Установлен он на сервер, на котором крутится Olap-куб. 0

@yagrus2 5 / 4 / 2 Регистрация: 30.05.2022 Сообщений: 58
	12.12.2023, 12:12 [ТС]
	на порядок ошибся. Вставка идет по 1000 записей Вот лог Миниатюры 0

@PaulWist 667 / 290 / 120 Регистрация: 12.04.2022 Сообщений: 998
	12.12.2023, 13:20
	Поставьте Добавлено через 1 минуту Измените дефолтное значение 1000 на 0. insert_rows(self, table, rows, target_fields=None, commit_every=0, replace=False) 0

@yagrus2 5 / 4 / 2 Регистрация: 30.05.2022 Сообщений: 58
	12.12.2023, 14:42 [ТС]
	Попробовал. Глобально ничего не изменилось. Таблица около 500 тысяч записей Время загрузки колеблется от 6,5 минут до 14 с commit_every=0, переливка данных заняла: 6 мин 33 сек Миниатюры 0