pg_stat_ch,
расширения Postgres с открытым исходным кодом, которое передает счетчики по каждому оператору в
ClickHouse Cloud. Телеметрия нормализуется внутри Postgres до того, как покинет
базу данных: литералы удаляются и заменяются плейсхолдерами, поэтому
конкретные значения из ваших запросов никогда не попадают в поток телеметрии.
Откройте Query insights
Откройте свой экземпляр ClickHouse Managed Postgres в облачной консоли и нажмите Query insights на левой боковой панели. Страница разделена на пять областей в том порядке, в котором вы, скорее всего, будете их использовать:- обзор — сводка, в которой проверка состояния базы данных помещается на одном экране.
- Таблица Медленные шаблоны, где ранжируются все шаблоны запросов, которые выполнялись в вашей базе данных, с сортировкой по любому интересующему вас признаку.
- Панель Последние запросы, в которой отдельные выполнения перечислены в обратном хронологическом порядке.
- Таблица Waits, ранжирующая события ожидания по времени, которое на них пришлось у активных сеансов.
- Выдвижная панель сведений, в которой собраны все счётчики для одного шаблона запроса.
Обзор
Обзор представляет собой сетку 3×3 из девяти панелей. Первые две строки посвящены активности запросов:
Одного экрана достаточно, чтобы понять, здорова ли база данных. Для здорового экземпляра
характерна знакомая картина: коэффициент попаданий в буфер держится на уровне выше 90 %, объём запросов
меняется вместе с трафиком приложения, частота ошибок остаётся ровной или нулевой, а процентильные
задержки остаются близкими друг к другу.

Чарты ожиданий
В третьей строке показано, чего ожидали активные сеансы на основном экземпляре, по данным выборок, снимаемых каждые 30 секунд:
Обратите внимание на ситуацию, когда Blocked sessions остаётся выше нуля, а Lock wait
time растёт: это может указывать на устойчивую конкуренцию за блокировку. Нажмите на любой
чарт ожиданий, чтобы открыть таблицу Waits.

Медленные шаблоны
Когда сводка указывает на проблему, разбор обычно начинают с таблицы шаблонов. По одной строке на каждый нормализованный шаблон запроса: литералы удалены, поэтому все выполнения одного и того же оператора сводятся в одну строку.
- Общее время выполнения — где база данных потратила больше всего фактического времени.
- Время CPU — шаблоны с высокой вычислительной нагрузкой.
- Вызовы — часто выполняющиеся шаблоны.
- Ошибки — повторяющиеся сбои.
- Средняя / P50 / P95 / P99 / Максимальная задержка — выбросы по процентилям.
- Возвращено строк, Прочитано блоков, Попаданий блоков, Байты WAL — шаблоны, через которые прошло больше всего данных через движок, кэш или журнал предзаписи.
- База данных
- Пользователь
- Операция (
SELECT,INSERT,UPDATE,DELETE, …) - Приложение —
application_nameиз строки подключения
sales»
превращается в два выпадающих списка. Значения фильтров автоматически
заполняются на основе того, что фактически выполнялось в вашем
экземпляре.
Последние запросы
Под таблицей шаблонов панель Последние запросы показывает отдельные выполнения в обратном хронологическом порядке — одна строка на каждый выполненный оператор, а не на каждый шаблон. Используйте её, когда нужен поток необработанных событий, а не агрегированные данные, например чтобы выборочно проверить, что исправление применилось, или найти точный момент возникновения ошибки.
Ожидания
Разверните раздел Waits или нажмите на чарт ожиданий, чтобы увидеть события ожидания, ранжированные по среднему числу активных сеансов за выбранный период времени.
Описания отдельных событий см. в
справочнике событий ожидания Postgres.
Выдвижная панель сведений
Нажмите любую строку в таблице шаблонов или недавних запросов, и справа откроется выдвижная панель Сведения о запросе. На этой панели собраны все выполнения данного шаблона за выбранный диапазон времени и агрегированы счётчики, которые помогают понять, почему он работает медленно. Панель представляет собой одну прокручиваемую область с пятью разделами:- Шаблон запроса — нормализованный SQL, в котором литералы заменены на
$1,$2, …, и кнопка копирования в буфер обмена. - Агрегированное использование ресурсов — сетка из 13 карточек статистики, включающая общее число вызовов, среднюю/P95/P99/максимальную задержку, общее время выполнения, число возвращённых строк, долю попаданий в кэш, число прочитанных блоков, число блоков с попаданием в кэш, время CPU, байты WAL и ошибки.
- Контекст запроса — база данных, пользователь, операция и приложение, из которых пришёл этот шаблон.
- Примечательные выполнения — ошибки, необычно медленные запуски и выполнения с большим объёмом результатов, показанные перед полным списком недавних.
- Недавние выполнения — отдельные запуски одного и того же шаблона со счётчиками для каждого выполнения.


- Общие блоки — прочитанные и найденные в кэше показываются всегда; записанные и измененные показываются, только если их значение не равно нулю.
- Операции с локальными и временными блоками — ненулевые операции с временными блоками означают, что sort или hash были выгружены на диск.
- Время чтения / записи — время ввода-вывода, отдельно от времени CPU.
- Время CPU — пользовательское и системное, по отдельности.
- Параллельные воркеры — запланированные и фактически запущенные.
- JIT — общее время JIT-компиляции и количество функций.
- WAL — количество байтов и записей.
API Query Insights
Телеметрия по отдельным операторам также доступна через ClickHouse Cloud OpenAPI. Таблица Медленные шаблоны сопоставлена с конечной точкой получения списка шаблонов медленных запросов, а выдвижная панель сведений — с конечной точкой получения шаблона медленного запроса, которая возвращает агрегированные метрики одного шаблона вместе с его последними выполнениями.pg_stat_ch перехватывает фазу parse-analyze, заменяет каждый литерал на
плейсхолдер ($1, $2, …) и кэширует получившийся шаблон в
отдельном LRU-кэше для каждого backend-соединения с ключом по queryid. Когда выполнение
оператора завершается, именно этот кэшированный шаблон прикрепляется к событию. Точный
оператор со значениями никогда не покидает базу данных.
Продьюсер добавляет примерно 3% накладных расходов на каждый оператор. Путь добавления в очередь
использует неблокирующий try-lock для кольцевого буфера в общей памяти. При
перегрузке расширение отбрасывает события, увеличивая Counter, вместо того
чтобы создавать обратное давление на Postgres.
Ожидания собираются выборочно
Чарты ожиданий и таблица Waits строятся по снимкам, которые собираются каждые 30 секунд на основном сервере. Короткие ожидания могут целиком уложиться в интервал между снимками и не попасть в них, поэтому эти отображения лучше всего подходят для выявления продолжительных ожиданий и конкуренции за блокировку.pg_stat_ch генерирует по одному сырому событию для каждого выполненного оператора (как верхнего уровня, так и
вложенного) с учетом сэмплирования. Перцентили запросов, ранжирование и
разбивки вычисляются в ClickHouse на основе этого потока событий.
Бэкенд Insights — это ClickHouse Cloud.
Телеметрия по каждому запросу от загруженного экземпляра Postgres — это миллионы строк
в день; столбцовое сжатие позволяет недорого хранить детальные данные по каждому выполнению
месяцами, а агрегации по миллиардам строк, выполняющиеся за доли секунды, сохраняют
интерфейс отзывчивым, пока вы анализируете данные за неделю или месяц.
pg_stat_ch распространяется по лицензии Apache 2.0. Запускайте его с любым Postgres и отправляйте данные в любой
ClickHouse. Исходный код и баг-репорты — на
github.com/clickhouse/pg_stat_ch.
Связанные страницы
- Панель мониторинга — встроенные диаграммы ресурсов и активности
- Конечная точка Prometheus — собирайте метрики уровня хоста в собственный стек обсервабилити
- ClickHouse Managed Postgres OpenAPI — программно запрашивайте медленные шаблоны и последние выполнения
- Расширения — расширения, доступные в экземплярах ClickHouse Managed Postgres
pg_stat_chon GitHub — расширение с открытым исходным кодом, лежащее в основе Query Insights