DuckDB - первые впечатления - 1

Запись от sqltd1 размещена 28.04.2022 в 19:02

Показов 3331 Комментарии 0

Метки duckdb

Я собрался использовать в своем новом проекте DuckDB в качестве встраиваемого SQL-движка. Возможно, мои эксперименты будут интересны другим и подвигнут кого-нибудь переехать с Sqlite на DuckDB.

Когда я первый раз услышал о DuckDB, он продвигался под слоганом "DuckDB - это Sqlite для аналитиков".
Сейчас этот слоган почти исчез из употребления, но тем не менее "уши" Sqlite остались торчать во многих местах.

С одной стороны это облегчает переезд с Sqlite на DuckDB, в некоторых аспектах они достаточно сильно похожи.
С другой стороны - это совершенно разные продукты как по сфере применения, так и по предоставлеяемому сторонним разработчикам АПИ.

Когда можно использовать DuckDB?

При обработке столбчатых(columnar) данных, предоставляемых в формате CSV или Parquet

Для решения аналитических задач, в которых требуется связывать, группировать и агрегировать данные из многих таблиц

Когда не стоит использовать DuckDB?

Запись/модификация данных от большого количества независимых клиентских приложений

Итак поехали.

В этой заметке я расскажу как устанавливается консольный клиент DuckDB.
Заодно проведем несколько экспериментов.

Загрузка.

Зайдите на страницу https://duckdb.org/docs/installation/
Выберите CLI в разделе Environment, Binary в разделе Package и ОС(Windows/MacOS/Linux) в разделе Platform

Загрузите zip-архив, потом распакуйте и переместите в любое удобное место. Я для экспериментов создал каталог test,
в который и поместил все файлы для тестирования (в моем случае там находятся еще sqlite3, с которым мы будем осуществлять сравнение, и некоторые другие файлы).

Сравним DuckDB и Sqlite по скорости загрузки CSV-файла. Для этого загрузим 250-мб файл с данными по Нью-Йоркским такси
https://nyc-tlc.s3.amazonaws.c... 022-01.csv

Все файлы (за исключением файла данных) с тестами для экспериментов прикреплены к этой заметке

Первый тест - загрузка в базу данных DuckDB.

Code
1
2
3
4
5
6
time ./duckdb testduck.db ".read test1duckdb.sql"
 
Время выполнения:
real    0m5.787s
user    0m4.061s
sys     0m0.789s

объем файла testduck.db - 149.2mb

Второй тест - загрузка в базу данных Sqlite.

Code
1
2
3
4
5
6
time sqlite3 testsqlite.db ".read test1sqlite.txt"
 
Время выполнения:
real    0m6.037s
user    0m5.076s
sys     0m0.519s

объем файла testsqlite.db - 271.4mb

Можно сделать первые выводы. Скорость загрузки данных в обоих случаях примерно одинакова. Но размеры файлов баз данных различаются почти в два раза.

Третий тест - суммирование значений столбца (DuckDB).

Code
1
2
3
4
5
6
time ./duckdb testduck.db ".read test2duckdb.sql"
 
Время выполнения:
real    0m0.072s
user    0m0.018s
sys     0m0.010s

Четвертый тест - суммирование значений столбца (Sqlite).

Code
1
2
3
4
5
6
time sqlite3 testsqlite.db ".read test2sqlite.txt"
 
Время выполнения:
real    0m0.300s
user    0m0.235s
sys     0m0.064s

DuckDB показал в четыре раза более высокую скорость, что вполне ожидаемо для движка, который работает со столбцами, а не с записями.

На сегодня все.

Метки duckdb

Размещено в DuckDB

Главная страница DuckDB - первые впечатления - 2 »

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

Всего комментариев 0

Комментарии

sqltd1

Регистрация 17.04.2022
Адрес Новосибирск
Сообщений 1,193
Записей в блоге 8

Новые блоги и статьи Все статьи Все блоги /
мат медиц модель 30. презентация проекта anaschu 27.08.2026 хоп хоп хоп хидахоп, а я кладую))	Как у меня протекала болезнь zorxor 27.08.2026 Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .	Нашел вот забавное видео о измерениях. Лучшее что я видел на эту тему kumehtar 26.08.2026 ILETXiw9bMQ Основная суть и тезисы по измерениям: 0D (Нулевое измерение): точка, не имеющая длины, ширины, высоты или объема. Объект не может перемещаться в 0D. 1D (Первое измерение):. . .	[EasyBuilder Pro] Памятка по разработке для панелей Weintek ФедосеевПавел 26.08.2026 Памятка по разработке для панелей Weintek ВВЕДЕНИЕ Ранее, при реализации проектов основное внимание уделял разработке управляющей программы для контроллера, а панели оператора доставалось время. . .
Модель по догадкам anaschu 25.08.2026 Прошло две недели. Я уже рассказывал, как разговаривал с сотрудниками у сортировки и как понял, что главная ветка — не про приёмку, а про отбор. Но тогда я думал, что понял механику. На этой неделе я. . .	Запись в регистр сведений независимо от заполненности табличной части Maks 25.08.2026 Реализация из решения ниже выполнена на нетиповом документе с несколькими табличными частями, разработанного в КА2. Задача: Обеспечить запись документа в регистр сведений независимо от. . .	Ноутбук Альфария kumehtar 24.08.2026 Встретился тут в сети ноутбук Альфария, примарха Альфа-Легиона. Хотя возможно, это ноутбук Омегона, разумеется. Ну как вам?	Мастера простых решений DevAlt 23.08.2026 В сишарп стэках winforms, да и wpf существует сложная система связывания источниках данных и элементов формы(текстовые поля и метки), опирается все это на технологию событий и мета. . .

Наверх

	test1duckdb.txt (138 байт, 348 просмотров)
	test1sqlite.txt (108 байт, 298 просмотров)
	test2duckdb.txt (101 байт, 253 просмотров)
	test2sqlite.txt (102 байт, 348 просмотров)

Сообщение форума

Отменить изменения