Перейти к основному содержанию
Все типы ClickPipes можно создавать и настраивать с помощью ресурса clickhouse_clickpipe в Terraform-провайдере ClickHouse. На этой странице описаны настройка провайдера и примеры конфигурации для каждого поддерживаемого типа ClickPipe.

Настройка провайдера

Поддержка ClickPipes доступна для общего использования начиная с версии провайдера v3.14.0. Если вы используете более раннюю версию, вам потребуется альфа-версия — подробности см. в changelog провайдера.
Добавьте провайдер ClickHouse в конфигурацию Terraform:
Инструкции по созданию ключа API для работы с провайдером см. в разделе Управление ключами API.

Обзор ресурса

Ресурс clickhouse_clickpipe поддерживает следующие аргументы верхнего уровня: Атрибуты id и state доступны только для чтения и заполняются ClickHouse Cloud после создания.

GCP Workload Identity (бета)

Прежде чем использовать приведённые ниже примеры с Workload Identity, выполните шаги из руководства по GCP Workload Identity: получите служебную учётную запись, управляемую ClickPipes, и предоставьте ей доступ к источнику.

Пункт назначения

Блок destination является общим для всех типов источников:
Для CDC-источников (Postgres, MySQL, MongoDB, BigQuery) целевые таблицы создаются автоматически на основе схемы источника — обычно требуется только database.

Примеры по типам ClickPipe

Kafka

Поддерживаемые значения для type: kafka, confluent, msk, azureeventhub, redpanda, warpstream, а также gcmk (закрытая предварительная версия).

Google Managed Kafka с использованием GCP Workload Identity

Перед созданием ClickPipe назначьте служебной учётной записи ClickPipes роль roles/managedkafka.client. Для Google Managed Kafka требуется TLS. ACL Kafka должны предоставлять служебной учётной записи (User:<service-account-email>) права READ и DESCRIBE на выбранные топики и группы потребителей.

Kafka с реестром схем

Amazon Kinesis

Kinesis с загруженной схемой Protobuf

Задайте для format значение Protobuf и передайте в protobuf_schema закодированный в base64 файл .proto или сериализованный FileDescriptorSet. При загрузке схемы не настраивайте schema_registry.

Kinesis с ролью IAM

Для аутентификации с помощью роли IAM требуется сервис ClickHouse, работающий в AWS.

Amazon S3

Непрерывная ингестия из S3 через SQS

Для непрерывной ингестии с использованием очереди SQS (неупорядоченный режим). Инструкции по настройке см. в разделе Настройка неупорядоченного режима.

Google Cloud Storage

service_account_key должен представлять собой содержимое JSON-файла ключа сервисного аккаунта GCP в кодировке base64.

GCS с GCP Workload Identity

Выдав служебной учётной записи ClickPipes необходимые разрешения GCS, замените приведённый выше блок source следующим:
Для неупорядоченной ингестии также задайте is_continuous = true и укажите полное значение queue_url в формате projects/<project-id>/subscriptions/<subscription-id>.

Google Cloud Pub/Sub

В следующем примере используется Workload Identity. Перед созданием ClickPipe предоставьте служебной учётной записи ClickPipes необходимые разрешения Pub/Sub.

Azure Blob Storage

Postgres CDC

Postgres с ролью IAM

Для аутентификации с использованием роли IAM требуется сервис ClickHouse, работающий в AWS.

MySQL CDC

MongoDB CDC

BigQuery

service_account_file должен содержать содержимое JSON-файла ключа сервисного аккаунта GCP, закодированное в base64.

BigQuery с GCP Workload Identity

Выдав служебной учётной записи ClickPipes необходимые разрешения BigQuery и GCS, замените приведённый выше блок source следующим:

Масштабирование

Все типы ClickPipe поддерживают блок scaling для настройки количества реплик и выделяемых им ресурсов:

Импорт существующих ClickPipes

Существующие ClickPipes можно импортировать в состояние Terraform, используя ID сервиса и ID ClickPipe: