clickhouse_clickpipe в Terraform-провайдере ClickHouse. На этой странице описаны настройка провайдера и примеры конфигурации для каждого поддерживаемого типа ClickPipe.
Настройка провайдера
Поддержка ClickPipes доступна для общего использования начиная с версии провайдера v3.14.0.
Если вы используете более раннюю версию, вам потребуется альфа-версия — подробности см. в
changelog провайдера.
Обзор ресурса
Ресурсclickhouse_clickpipe поддерживает следующие аргументы верхнего уровня:
Атрибуты
id и state доступны только для чтения и заполняются ClickHouse Cloud после создания.
GCP Workload Identity (бета)
Прежде чем использовать приведённые ниже примеры с Workload Identity, выполните шаги из руководства по GCP Workload Identity: получите служебную учётную запись, управляемую ClickPipes, и предоставьте ей доступ к источнику.Пункт назначения
Блокdestination является общим для всех типов источников:
database.
Примеры по типам ClickPipe
Kafka
Поддерживаемые значения дляtype: kafka, confluent, msk, azureeventhub, redpanda, warpstream, а также gcmk (закрытая предварительная версия).
Google Managed Kafka с использованием GCP Workload Identity
Перед созданием ClickPipe назначьте служебной учётной записи ClickPipes рольroles/managedkafka.client. Для Google Managed Kafka требуется TLS. ACL Kafka должны предоставлять служебной учётной записи (User:<service-account-email>) права READ и DESCRIBE на выбранные топики и группы потребителей.
Kafka с реестром схем
Amazon Kinesis
Kinesis с загруженной схемой Protobuf
Задайте дляformat значение Protobuf и передайте в protobuf_schema закодированный в base64 файл .proto или сериализованный FileDescriptorSet. При загрузке схемы не настраивайте schema_registry.
Kinesis с ролью IAM
Для аутентификации с помощью роли IAM требуется сервис ClickHouse, работающий в AWS.Amazon S3
Непрерывная ингестия из S3 через SQS
Для непрерывной ингестии с использованием очереди SQS (неупорядоченный режим). Инструкции по настройке см. в разделе Настройка неупорядоченного режима.Google Cloud Storage
service_account_key должен представлять собой содержимое JSON-файла ключа сервисного аккаунта GCP в кодировке base64.
GCS с GCP Workload Identity
Выдав служебной учётной записи ClickPipes необходимые разрешения GCS, замените приведённый выше блокsource следующим:
is_continuous = true и укажите полное значение queue_url в формате projects/<project-id>/subscriptions/<subscription-id>.
Google Cloud Pub/Sub
В следующем примере используется Workload Identity. Перед созданием ClickPipe предоставьте служебной учётной записи ClickPipes необходимые разрешения Pub/Sub.Azure Blob Storage
Postgres CDC
Postgres с ролью IAM
Для аутентификации с использованием роли IAM требуется сервис ClickHouse, работающий в AWS.MySQL CDC
MongoDB CDC
BigQuery
service_account_file должен содержать содержимое JSON-файла ключа сервисного аккаунта GCP, закодированное в base64.
BigQuery с GCP Workload Identity
Выдав служебной учётной записи ClickPipes необходимые разрешения BigQuery и GCS, замените приведённый выше блокsource следующим:
Масштабирование
Все типы ClickPipe поддерживают блокscaling для настройки количества реплик и выделяемых им ресурсов: