Skip to main content

​
Введение

ClickPipes — это управляемая интеграционная платформа, которая сводит ингестию данных из самых разных источников к нескольким нажатиям кнопок. Созданная для самых требовательных рабочих нагрузок, надёжная и масштабируемая архитектура ClickPipes обеспечивает стабильно высокую производительность и надёжность. ClickPipes можно использовать как для долгосрочного стриминга, так и для одноразовой загрузки данных. ClickPipes можно развёртывать и управлять ими вручную через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.

​
Поддерживаемые источники данных

В ClickPipes будут добавляться новые коннекторы; подробнее можно узнать, связавшись с нами.

​
Аутентификация к базе данных через AWS IAM

ClickPipes поддерживает аутентификацию к базе данных через AWS IAM для Amazon RDS и Aurora. Конфигурация зависит от движка базы данных и сервиса AWS, поэтому выберите руководство по настройке источника, соответствующее вашей базе данных:

​
Список статических IP-адресов

Список статических NAT IP-адресов ClickPipes перенесён в документацию по сетевому взаимодействию ClickPipes.

​
Настройка параметров ClickHouse

ClickHouse Cloud предоставляет оптимальные настройки по умолчанию для большинства сценариев использования. Однако если вам нужно изменить некоторые параметры ClickHouse для целевых таблиц ClickPipes, наиболее гибким решением будет отдельная роль для ClickPipes. Шаги:
  1. создайте пользовательскую роль CREATE ROLE my_clickpipes_role SETTINGS .... Подробнее см. в разделе о синтаксисе CREATE ROLE.
  2. добавьте пользовательскую роль пользователю ClickPipes на этапе Details and Settings при создании ClickPipes.

​
Настройка расширенных настроек ClickPipes

ClickPipes предлагает разумные настройки по умолчанию, подходящие для большинства сценариев использования. Если в вашем случае требуется более тонкая настройка, вы можете изменить следующие параметры:

​
ClickPipes для объектного хранилища

​
ClickPipes для стриминга

​
Отчёт об ошибках

ClickPipes хранит ошибки в двух отдельных таблицах в зависимости от типа ошибки, возникшей во время ингестии.
В настоящее время это не относится к CDC-пайпам (Postgres, MySQL и MongoDB): для них журналы операций и ошибок доступны непосредственно в консоли ClickHouse Cloud.

​
Ошибки записей

ClickPipes создаст рядом с вашей целевой таблицей таблицу с постфиксом <destination_table_name>_clickpipes_error. В этой таблице будут содержаться все ошибки, вызванные некорректными данными или несоответствием схемы, а также полное содержимое недопустимого сообщения. Для этой таблицы установлен TTL 7 дней.

​
Системные ошибки

Ошибки, связанные с работой ClickPipe, будут храниться в таблице system.clickpipes_log. В ней будут храниться все прочие ошибки, связанные с работой вашего ClickPipe (сетевые ошибки, проблемы с подключением и т. д.). Для этой таблицы TTL составляет 7 дней. Если ClickPipes не сможет подключиться к источнику данных в течение 15 минут или к пункту назначения в течение 1 часа, экземпляр ClickPipes будет остановлен, а в системной таблице ошибок будет сохранено соответствующее сообщение (при условии, что экземпляр ClickHouse доступен).

​
Мониторинг

Помимо мониторинга в консоли, ClickPipes предоставляет метрики через совместимую с Prometheus конечную точку для сбора. Эти метрики публикуются вместе с другими метриками сервиса ClickHouse Cloud и позволяют интегрировать мониторинг ClickPipes с вашим существующим стеком обсервабилити (например, Grafana, Datadog). Полный список доступных метрик см. в разделе Мониторинг ClickPipes.

​
FAQ

  • Что такое ClickPipes? ClickPipes — это возможность ClickHouse Cloud, которая упрощает подключение сервисов ClickHouse к внешним источникам данных, в частности к Kafka. С ClickPipes for Kafka вы можете легко организовать непрерывную загрузку данных в ClickHouse, делая их доступными для Real-time аналитики.
  • Поддерживает ли ClickPipes преобразование данных? Да, ClickPipes поддерживает базовое преобразование данных, предоставляя доступ к созданию DDL. Затем по мере загрузки данных в целевую таблицу в сервисе ClickHouse Cloud вы можете применять к ним более сложные преобразования с помощью возможности materialized view ClickHouse.
  • Влечет ли использование ClickPipes дополнительные расходы? ClickPipes тарифицируется по двум параметрам: принимаемые данные и Compute. Подробная информация о ценах доступна на этой странице. Использование ClickPipes также может косвенно приводить к дополнительным затратам на compute и хранилище в целевом сервисе ClickHouse Cloud, как и любая рабочая нагрузка приёма данных.
  • Есть ли способ обрабатывать ошибки или сбои при использовании ClickPipes for Kafka? Да, ClickPipes for Kafka автоматически выполняет повторные попытки при сбоях во время чтения данных из Kafka, вызванных любыми эксплуатационными проблемами, включая сетевые проблемы, проблемы с подключением и т. д. В случае некорректно сформированных данных или недопустимой схемы ClickPipes сохранит запись в таблицу record_error и продолжит обработку.
Последнее изменение 14 августа 2026 г.