ClickPipes для стриминга
ClickPipes для объектных хранилищ
ClickPipes для CDC
В ClickPipes будут добавляться новые коннекторы; подробнее можно узнать, связавшись с нами.
ClickPipes поддерживает аутентификацию к базе данных через AWS IAM для Amazon RDS и Aurora. Конфигурация зависит от движка базы данных и сервиса AWS, поэтому выберите руководство по настройке источника, соответствующее вашей базе данных:
Список статических NAT IP-адресов ClickPipes перенесён в документацию по сетевому взаимодействию ClickPipes.
ClickHouse Cloud предоставляет оптимальные настройки по умолчанию для большинства сценариев использования. Однако если вам нужно изменить некоторые параметры ClickHouse для целевых таблиц ClickPipes, наиболее гибким решением будет отдельная роль для ClickPipes.
Шаги:
- создайте пользовательскую роль
CREATE ROLE my_clickpipes_role SETTINGS .... Подробнее см. в разделе о синтаксисе CREATE ROLE. - добавьте пользовательскую роль пользователю ClickPipes на этапе
Details and Settingsпри создании ClickPipes.


ClickPipes хранит ошибки в двух отдельных таблицах в зависимости от типа ошибки, возникшей во время ингестии.
В настоящее время это не относится к CDC-пайпам (Postgres, MySQL и MongoDB): для них журналы операций и ошибок доступны непосредственно в консоли ClickHouse Cloud.
<destination_table_name>_clickpipes_error. В этой таблице будут содержаться все ошибки, вызванные некорректными данными или несоответствием схемы, а также полное содержимое недопустимого сообщения. Для этой таблицы установлен TTL 7 дней.
Ошибки, связанные с работой ClickPipe, будут храниться в таблице system.clickpipes_log. В ней будут храниться все прочие ошибки, связанные с работой вашего ClickPipe (сетевые ошибки, проблемы с подключением и т. д.). Для этой таблицы TTL составляет 7 дней.
Если ClickPipes не сможет подключиться к источнику данных в течение 15 минут или к пункту назначения в течение 1 часа, экземпляр ClickPipes будет остановлен, а в системной таблице ошибок будет сохранено соответствующее сообщение (при условии, что экземпляр ClickHouse доступен).
Помимо мониторинга в консоли, ClickPipes предоставляет метрики через совместимую с Prometheus конечную точку для сбора. Эти метрики публикуются вместе с другими метриками сервиса ClickHouse Cloud и позволяют интегрировать мониторинг ClickPipes с вашим существующим стеком обсервабилити (например, Grafana, Datadog). Полный список доступных метрик см. в разделе Мониторинг ClickPipes.
- Что такое ClickPipes? ClickPipes — это возможность ClickHouse Cloud, которая упрощает подключение сервисов ClickHouse к внешним источникам данных, в частности к Kafka. С ClickPipes for Kafka вы можете легко организовать непрерывную загрузку данных в ClickHouse, делая их доступными для Real-time аналитики.
- Поддерживает ли ClickPipes преобразование данных? Да, ClickPipes поддерживает базовое преобразование данных, предоставляя доступ к созданию DDL. Затем по мере загрузки данных в целевую таблицу в сервисе ClickHouse Cloud вы можете применять к ним более сложные преобразования с помощью возможности materialized view ClickHouse.
- Влечет ли использование ClickPipes дополнительные расходы? ClickPipes тарифицируется по двум параметрам: принимаемые данные и Compute. Подробная информация о ценах доступна на этой странице. Использование ClickPipes также может косвенно приводить к дополнительным затратам на compute и хранилище в целевом сервисе ClickHouse Cloud, как и любая рабочая нагрузка приёма данных.
- Есть ли способ обрабатывать ошибки или сбои при использовании ClickPipes for Kafka? Да, ClickPipes for Kafka автоматически выполняет повторные попытки при сбоях во время чтения данных из Kafka, вызванных любыми эксплуатационными проблемами, включая сетевые проблемы, проблемы с подключением и т. д. В случае некорректно сформированных данных или недопустимой схемы ClickPipes сохранит запись в таблицу record_error и продолжит обработку.