DuckDB - первые впечатления - 1

Запись от sqltd1 размещена 28.04.2022 в 19:02

Показов 3313 Комментарии 0

Метки duckdb

Я собрался использовать в своем новом проекте DuckDB в качестве встраиваемого SQL-движка. Возможно, мои эксперименты будут интересны другим и подвигнут кого-нибудь переехать с Sqlite на DuckDB.

Когда я первый раз услышал о DuckDB, он продвигался под слоганом "DuckDB - это Sqlite для аналитиков".
Сейчас этот слоган почти исчез из употребления, но тем не менее "уши" Sqlite остались торчать во многих местах.

С одной стороны это облегчает переезд с Sqlite на DuckDB, в некоторых аспектах они достаточно сильно похожи.
С другой стороны - это совершенно разные продукты как по сфере применения, так и по предоставлеяемому сторонним разработчикам АПИ.

Когда можно использовать DuckDB?

При обработке столбчатых(columnar) данных, предоставляемых в формате CSV или Parquet

Для решения аналитических задач, в которых требуется связывать, группировать и агрегировать данные из многих таблиц

Когда не стоит использовать DuckDB?

Запись/модификация данных от большого количества независимых клиентских приложений

Итак поехали.

В этой заметке я расскажу как устанавливается консольный клиент DuckDB.
Заодно проведем несколько экспериментов.

Загрузка.

Зайдите на страницу https://duckdb.org/docs/installation/
Выберите CLI в разделе Environment, Binary в разделе Package и ОС(Windows/MacOS/Linux) в разделе Platform

Загрузите zip-архив, потом распакуйте и переместите в любое удобное место. Я для экспериментов создал каталог test,
в который и поместил все файлы для тестирования (в моем случае там находятся еще sqlite3, с которым мы будем осуществлять сравнение, и некоторые другие файлы).

Сравним DuckDB и Sqlite по скорости загрузки CSV-файла. Для этого загрузим 250-мб файл с данными по Нью-Йоркским такси
https://nyc-tlc.s3.amazonaws.c... 022-01.csv

Все файлы (за исключением файла данных) с тестами для экспериментов прикреплены к этой заметке

Первый тест - загрузка в базу данных DuckDB.

Code
1
2
3
4
5
6
time ./duckdb testduck.db ".read test1duckdb.sql"
 
Время выполнения:
real    0m5.787s
user    0m4.061s
sys     0m0.789s

объем файла testduck.db - 149.2mb

Второй тест - загрузка в базу данных Sqlite.

Code
1
2
3
4
5
6
time sqlite3 testsqlite.db ".read test1sqlite.txt"
 
Время выполнения:
real    0m6.037s
user    0m5.076s
sys     0m0.519s

объем файла testsqlite.db - 271.4mb

Можно сделать первые выводы. Скорость загрузки данных в обоих случаях примерно одинакова. Но размеры файлов баз данных различаются почти в два раза.

Третий тест - суммирование значений столбца (DuckDB).

Code
1
2
3
4
5
6
time ./duckdb testduck.db ".read test2duckdb.sql"
 
Время выполнения:
real    0m0.072s
user    0m0.018s
sys     0m0.010s

Четвертый тест - суммирование значений столбца (Sqlite).

Code
1
2
3
4
5
6
time sqlite3 testsqlite.db ".read test2sqlite.txt"
 
Время выполнения:
real    0m0.300s
user    0m0.235s
sys     0m0.064s

DuckDB показал в четыре раза более высокую скорость, что вполне ожидаемо для движка, который работает со столбцами, а не с записями.

На сегодня все.

Метки duckdb

Размещено в DuckDB

Главная страница DuckDB - первые впечатления - 2 »

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

Всего комментариев 0

Комментарии

sqltd1

Регистрация 17.04.2022
Адрес Новосибирск
Сообщений 1,191
Записей в блоге 8

Новые блоги и статьи Все статьи Все блоги /
Был там один разговор по поводу свободы в материальном мире. kumehtar 19.08.2026 Суть: рассматривается живое существо, оказавшееся внутри довольно странной системы (этого мира) и пытающееся обустроить в ней свой кусок пространства. Жизнь действительно предъявляет каждому. . .	Когда логика программы не спасает от человеческих ошибок Maks 18.08.2026 В последнее время всё чаще и чаще сталкиваюсь с таким явлением, как абсолютная невнимательность (или глупость) пользователей. Проявляется это чаще всего на работе в коллективе. Допустим, человек с. . .	Лето уходит kumehtar 17.08.2026	Мысли в слух kumehtar 17.08.2026 Забавно, насколько сейчас стала доступна информация. Например о магии, духовном развитии, медитациях, и других подобных направлениях, ранее зачастую тайных, передаваемых от учителя к ученику. Хотя. . .
Перемещение строк из ТЧ в другой документ с учетом текущего пробега Maks 17.08.2026 Реализация из решения ниже выполнена на примере нетипового документа "Автозапчасти", с ТЧ "Шины". За основу взят алгоритм отсюда: https:/ / www. cyberforum. ru/ blogs/ 359708/ 10838. html Задача: . . .	Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .

Наверх

	test1duckdb.txt (138 байт, 338 просмотров)
	test1sqlite.txt (108 байт, 294 просмотров)
	test2duckdb.txt (101 байт, 250 просмотров)
	test2sqlite.txt (102 байт, 334 просмотров)

Сообщение форума

Отменить изменения