DuckDB - первые впечатления - 1

Запись от sqltd1 размещена 28.04.2022 в 19:02

Показов 3358 Комментарии 0

Метки duckdb

Я собрался использовать в своем новом проекте DuckDB в качестве встраиваемого SQL-движка. Возможно, мои эксперименты будут интересны другим и подвигнут кого-нибудь переехать с Sqlite на DuckDB.

Когда я первый раз услышал о DuckDB, он продвигался под слоганом "DuckDB - это Sqlite для аналитиков".
Сейчас этот слоган почти исчез из употребления, но тем не менее "уши" Sqlite остались торчать во многих местах.

С одной стороны это облегчает переезд с Sqlite на DuckDB, в некоторых аспектах они достаточно сильно похожи.
С другой стороны - это совершенно разные продукты как по сфере применения, так и по предоставлеяемому сторонним разработчикам АПИ.

Когда можно использовать DuckDB?

При обработке столбчатых(columnar) данных, предоставляемых в формате CSV или Parquet

Для решения аналитических задач, в которых требуется связывать, группировать и агрегировать данные из многих таблиц

Когда не стоит использовать DuckDB?

Запись/модификация данных от большого количества независимых клиентских приложений

Итак поехали.

В этой заметке я расскажу как устанавливается консольный клиент DuckDB.
Заодно проведем несколько экспериментов.

Загрузка.

Зайдите на страницу https://duckdb.org/docs/installation/
Выберите CLI в разделе Environment, Binary в разделе Package и ОС(Windows/MacOS/Linux) в разделе Platform

Загрузите zip-архив, потом распакуйте и переместите в любое удобное место. Я для экспериментов создал каталог test,
в который и поместил все файлы для тестирования (в моем случае там находятся еще sqlite3, с которым мы будем осуществлять сравнение, и некоторые другие файлы).

Сравним DuckDB и Sqlite по скорости загрузки CSV-файла. Для этого загрузим 250-мб файл с данными по Нью-Йоркским такси
https://nyc-tlc.s3.amazonaws.c... 022-01.csv

Все файлы (за исключением файла данных) с тестами для экспериментов прикреплены к этой заметке

Первый тест - загрузка в базу данных DuckDB.

Code
1
2
3
4
5
6
time ./duckdb testduck.db ".read test1duckdb.sql"
 
Время выполнения:
real    0m5.787s
user    0m4.061s
sys     0m0.789s

объем файла testduck.db - 149.2mb

Второй тест - загрузка в базу данных Sqlite.

Code
1
2
3
4
5
6
time sqlite3 testsqlite.db ".read test1sqlite.txt"
 
Время выполнения:
real    0m6.037s
user    0m5.076s
sys     0m0.519s

объем файла testsqlite.db - 271.4mb

Можно сделать первые выводы. Скорость загрузки данных в обоих случаях примерно одинакова. Но размеры файлов баз данных различаются почти в два раза.

Третий тест - суммирование значений столбца (DuckDB).

Code
1
2
3
4
5
6
time ./duckdb testduck.db ".read test2duckdb.sql"
 
Время выполнения:
real    0m0.072s
user    0m0.018s
sys     0m0.010s

Четвертый тест - суммирование значений столбца (Sqlite).

Code
1
2
3
4
5
6
time sqlite3 testsqlite.db ".read test2sqlite.txt"
 
Время выполнения:
real    0m0.300s
user    0m0.235s
sys     0m0.064s

DuckDB показал в четыре раза более высокую скорость, что вполне ожидаемо для движка, который работает со столбцами, а не с записями.

На сегодня все.

Метки duckdb

Размещено в DuckDB

Главная страница DuckDB - первые впечатления - 2 »

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

Всего комментариев 0

Комментарии

sqltd1

Регистрация 17.04.2022
Адрес Новосибирск
Сообщений 1,206
Записей в блоге 8

Новые блоги и статьи Все статьи Все блоги /
Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .

Наверх

	test1duckdb.txt (138 байт, 404 просмотров)
	test1sqlite.txt (108 байт, 300 просмотров)
	test2duckdb.txt (101 байт, 257 просмотров)
	test2sqlite.txt (102 байт, 402 просмотров)

Сообщение форума

Отменить изменения