SummingMergeTree ClickHouse заменяет все строки с одинаковым первичным ключом (или, точнее, с одинаковым ключом сортировки) одной строкой, содержащей суммарные значения в столбцах с числовым типом данных. Если ключ сортировки устроен так, что одному значению ключа соответствует большое количество строк, это значительно уменьшает объем хранимых данных и ускоряет выборку.
Мы рекомендуем использовать этот движок вместе с MergeTree. Храните полные данные в таблице MergeTree, а SummingMergeTree используйте для хранения агрегированных данных, например при подготовке отчетов. Такой подход поможет избежать потери ценных данных из-за неправильно составленного первичного ключа.
Создание таблицы
Параметры SummingMergeTree
Столбцы
columns — кортеж с именами столбцов, по которым будут суммироваться значения. Необязательный параметр.
Столбцы должны иметь числовой тип и не входить в партицию или ключ сортировки.
Если columns не указан, ClickHouse суммирует значения во всех столбцах с числовым типом данных, которые не входят в ключ сортировки.
Секции запроса
При создании таблицыSummingMergeTree требуются те же секции, что и при создании таблицы MergeTree.
Пример использования
Рассмотрим следующую таблицу:sum и предложение GROUP BY.
Обработка данных
Когда данные вставляются в таблицу, они сохраняются как есть. ClickHouse периодически выполняет слияние вставленных частей данных, и именно в этот момент строки с одинаковым первичным ключом суммируются и заменяются одной строкой в каждой результирующей части данных. ClickHouse может выполнять слияние частей данных так, что разные результирующие части данных могут содержать строки с одинаковым первичным ключом, то есть суммирование будет неполным. Поэтому в запросе следует использовать (SELECT) агрегатную функцию sum() и GROUP BY, как описано в примере выше.
Общие правила суммирования
Суммируются значения в столбцах с числовым типом данных. Набор столбцов задаётся параметромcolumns.
Если во всех столбцах, участвующих в суммировании, значения равны 0, строка удаляется при слиянии. Запрос с модификатором FINAL суммирует строки, но не удаляет такие строки, поэтому набор возвращаемых им строк не зависит от того, какие столбцы читает запрос. Обратите внимание, что FINAL обрабатывает вложенную структуру, имя которой оканчивается на Map, так же, как это происходит при слиянии, только если запрос читает все столбцы этой структуры.
Если столбец не входит в первичный ключ и не суммируется, из существующих значений выбирается произвольное.
Для столбцов, входящих в первичный ключ, значения не суммируются.
Суммирование в столбцах AggregateFunction
Для столбцов типа AggregateFunction ClickHouse работает как движок AggregatingMergeTree, выполняя агрегацию в соответствии с функцией.Вложенные структуры
Таблица может иметь вложенные структуры данных, которые обрабатываются особым образом. Если имя вложенной таблицы оканчивается наMap и она содержит как минимум два столбца, удовлетворяющих следующим критериям:
- первый столбец — числовой
(*Int*, Date, DateTime)или строковый(String, FixedString), назовём егоkey, - остальные столбцы — арифметические
(*Int*, Float32/64), назовём их(values...),
key => (values...), и при слиянии её строк элементы двух наборов данных объединяются по key с суммированием соответствующих (values...).
Примеры:
Map.
Для вложенной структуры данных не нужно указывать её столбцы в кортеже столбцов, используемом для суммирования.
Агрегация элементов Tuple
Когда настройкаallow_tuple_element_aggregation включена, столбцы Tuple рекурсивно разворачиваются, так что каждый конечный элемент независимо участвует в суммировании. Это позволяет хранить несколько метрик в одном столбце Tuple, а при слиянии они будут суммироваться поэлементно.
К развёрнутым подстолбцам применяются те же правила, что и к обычным столбцам:
- Суммируются только числовые подстолбцы.
- Подстолбцы, входящие в
Tupleв ключе сортировки или ключе партиционирования, исключаются из суммирования. - Если указан
columns, суммируются только подстолбцы перечисленных столбцовTuple. - Если после суммирования все числовые подстолбцы строки равны нулю, строка удаляется при слиянии (но не при выполнении запроса с
FINAL).
Эта настройка неизменяема и должна быть указана при создании таблицы.