Перейти к основному содержанию
Все типы ClickPipes можно создавать, обновлять и удалять программно с помощью ClickHouse Cloud OpenAPI. На этой странице описаны аутентификация и доступные конечные точки ClickPipes, а также приведены примеры запросов curl для каждого типа ClickPipe.

Аутентификация

ClickHouse Cloud API использует аутентификацию HTTP Basic. Вам потребуется ключ API (ID ключа + секрет ключа) с разрешениями для целевого сервиса. Инструкции по созданию см. в разделе Управление ключами API. Перед запуском любого из приведённых ниже примеров задайте следующие переменные окружения:

Базовый URL

Конечные точки

Все конечные точки ClickPipes привязаны к сервису ClickHouse Cloud: Для CDC ClickPipes (Postgres, MySQL, MongoDB) также доступны дополнительные конечные точки на уровне организации для масштабирования общей CDC-инфраструктуры: Полные схемы запросов и ответов для каждой конечной точки см. в справочнике API.

Примеры

Получение списка ClickPipes

Получить ClickPipe

Остановить или запустить ClickPipe

Удалить ClickPipe

GCP workload identity (бета)

Прежде чем использовать приведённые ниже примеры с workload identity, выполните инструкции из руководства по GCP workload identity: получите служебную учётную запись, управляемую ClickPipes, и предоставьте ей доступ к источнику.

Создание ClickPipes

Тело запроса POST /clickpipes зависит от типа источника. В примерах ниже показана структура для каждого поддерживаемого типа ClickPipe. Эталонные JSON-схемы см. в справочнике API.

Kafka

Поддерживаемые источники, совместимые с Kafka: kafka, confluent, msk, azureeventhub, redpanda, warpstream, а также gcmk (закрытая предварительная версия).
Для Google Managed Kafka предоставьте субъекту Workload Identity роль roles/managedkafka.client в проекте кластера и настройте необходимые ACL Kafka. Затем используйте следующий объект source без поля credentials:
Для аутентификации через Workload Identity в Google Managed Kafka требуется TLS.

Amazon Kinesis

В этом примере настраивается Avro с AWS Glue Schema Registry. Чтобы декодировать Protobuf с помощью Glue, задайте для format значение Protobuf и оставьте schemaRegistry. Если же нужно загрузить схему Protobuf, задайте для format значение Protobuf и передайте в protobufSchema файл .proto в кодировке base64 или сериализованный FileDescriptorSet; в этом случае не указывайте schemaRegistry в запросе.

Amazon S3

Google Cloud Storage

serviceAccountKey должен содержать содержимое JSON-файла ключа служебной учётной записи GCP, закодированное в base64.
Чтобы использовать Workload Identity вместо ключа служебной учётной записи, предоставьте субъекту роль roles/storage.objectViewer для исходного бакета и используйте следующий объект source:
Для неупорядоченной ингестии также выдайте субъекту роли roles/pubsub.subscriber и roles/pubsub.viewer на подписку для уведомлений. Задайте для isContinuous значение true и укажите полный queueUrl в формате projects/<project-id>/subscriptions/<subscription-id>.

Google Cloud Pub/Sub

В следующем примере используется Workload Identity. Перед созданием ClickPipe предоставьте субъекту необходимые разрешения Pub/Sub.

Azure Blob Storage

Postgres CDC

MySQL CDC

MongoDB CDC

BigQuery

serviceAccountFile должен содержать содержимое JSON-файла ключа служебной учётной записи GCP в кодировке base64.
Чтобы использовать Workload Identity вместо ключа служебной учётной записи, предоставьте субъекту необходимые разрешения для BigQuery и GCS и используйте следующий объект source: