ClickHouse завтра пришло вчера

ClickHouse
[править | править вики-текст]Материал из Википедии — свободной энциклопедии

Логотип ClickHouse
ClickHouse - это столбцовая СУБД для OLAP (online обработки аналитических запросов).
ClickHouse был разработан в Яндексе для решения задач Яндекс.Метрики - второй по величине системы web-аналитики в мире[1][2][3][4]. ClickHouse позволяет выполнять аналитические запросы по обновляемым данным в режиме реального времени. Система линейно масштабируемая и способна работать с триллионами записей и петабайтами данных[5].
В июне 2016-го года был выложен в open-source под лицензией Apache 2.0[6].
ClickHouse используется в ряде проектов внутри Яндекса, например, в open-source проекте Яндекс.Танк для хранения данных о телеметрии[6], Яндекс.Маркете для мониторинга здоровья сервиса[7] и т.д. Кроме того, ClickHouse применяется и во внешних проектах, например, для анализа метаданных о событиях в LHCb эксперименте в CERN[8] (порядка миллиарда событий и 1000 параметров для каждого события) и как хранилище в проекте Тинькофф Банка[9].

Ограничения применения[править | править вики-текст]
Однако, у базы данных ClickHouse есть и ряд особенностей, которые могут считаться недостатками:
нет поддержки транзакций;
результат выполнения запроса в случае агрегации должен помещаться в оперативную память на одном сервере;
нет полноценной поддержки операций UPDATE и DELETE (есть возможность удалить PARTITION).
Область применения ClickHouse[править | править вики-текст]
ClickHouse разрабатывался для OLAP сценария работы[11]:
в системе несколько слабо связанных таблиц с большим количеством параметров/столбцов (порядка сотен);
запросы могут использовать большое количество строк, но только небольшое подмножество столбцов;
в основном, запросы на чтение и достаточно редкие (обычно не более 100 rps на сервер);
при выполнении простых запросов, допустимы задержки в районе 50 мс;
значения в столбцах достаточно мелкие - числа и небольшие строки (пример - 60 байт на URL);
требуется высокая пропускная способность при обработке одного запроса (до миллиардов строк в секунду на один сервер);
результат выполнения запроса существенно меньше исходных данных - то есть, данные фильтруются или агрегируются;
сравнительно простой сценарий обновления данных, обычно только добавление данных пачками; нет сложных транзакций.
ClickHouse не подходит для транзакционных систем, OLTP задач и использования как хранилища типа "ключ-значение" или в качестве документоориентированной системы.
Один из типичных сценариев использования ClickHouse - это анализ серверных логов. После настройки регулярной поставки серверных access или других логов (рекомендуется записывать строки батчами более 1000 записей) можно с помощью SQL запросов анализировать инциденты и мониторить метрики сервиса, такие как число ошибок, время ответа и т.д.
Еще одно возможное применение ClickHouse - это внутреннее хранилище данных для аналитиков. В ClickHouse можно сложить данные из различных систем (например, Hadoop или просто логи) и строить по ним отчеты для бизнес-нужд.

Существует open source проект Tabix от компании СМИ2, в котором реализован графический веб-интерфейс для работы с ClickHouse.

видимо еще настолько сырая.