Выявление ресурсоемких запросов по использованию памяти в ClickHouse

Использование таблицы `system.query_log`

Следующий полезный запрос показывает, какие из выполненных вами запросов использовали больше всего памяти. Пара замечаний к этому запросу:

результаты вычисляются за последний день (now() - toIntervalDay(1))), но вы можете легко изменить временной интервал
предполагается, что у вас есть кластер с именем default — так называется ваш кластер в ClickHouse Cloud. Замените default на имя вашего кластера
если у вас нет кластера, см. запрос, приведённый в конце этой статьи

SELECT
    count() as nb_query,
    user,
    query,
    sum(memory_usage) AS memory,
    normalized_query_hash
FROM
    clusterAllReplicas(default, system.query_log)
WHERE
    (event_time >= (now() - toIntervalDay(1)))
    AND is_initial_query = 1
    AND query_kind = 'Select'
    AND type = 'QueryFinish'
    and user != 'monitoring-internal'
GROUP BY
    normalized_query_hash,
    query,
    user
ORDER BY
    memory DESC;

Ответ выглядит так:

┌─nb_query─┬─user────┬─query─────────────────────────────────────────────────────────┬───memory─┬─normalized_query_hash─┐
│       11 │ default │ select version()                                              │ 46178924 │   7202516440347714159 │
│        2 │ default │ SELECT * FROM "system"."table_functions" LIMIT 31 OFFSET 0    │  8391544 │  12830067173062987695 │
└──────────┴─────────┴───────────────────────────────────────────────────────────────┴──────────┴───────────────────────┘

Если у вас нет таблицы system.query_log, скорее всего, у вас не включено логирование запросов. О том, как его включить, см. описание настройки query_log.

query_log содержит не только отправленные вами запросыОдин отправленный запрос может отображаться в виде нескольких строк: исходный запрос (is_initial_query = 1) и производные или внутренние шаги (is_initial_query = 0), например вторичные запросы для распределённого выполнения или внутренние запросы, используемые для вычисления представлений. У этих внутренних строк собственные значения query_id — их назначает ClickHouse, и иногда они содержат метку вроде queryView..., — поэтому не следует считать, что каждый query_id совпадает с тем, который сообщил ваш клиент. Чтобы отнести использование к запросу именно в том виде, в котором вы его выполнили, отфильтруйте по is_initial_query = 1 или сопоставьте query_id = initial_query_id. Подробности см. в разделе Как определить самые ресурсоёмкие запросы и в справочнике query_log.

Если у вас нет кластера, вы можете выполнять запросы напрямую к единственной таблице system.query_log:

SELECT
    count() as nb_query,
    user,
    query,
    sum(memory_usage) AS memory,
    normalized_query_hash
FROM
    system.query_log
WHERE
    (event_time >= (now() - toIntervalDay(1)))
    AND is_initial_query = 1
    AND query_kind = 'Select'
    AND type = 'QueryFinish'
    and user != 'monitoring-internal'
GROUP BY
    normalized_query_hash,
    query,
    user
ORDER BY
    memory DESC;

​Использование таблицы system.query_log

Использование таблицы `system.query_log`