curl для каждого типа ClickPipe.
Аутентификация
ClickHouse Cloud API использует аутентификацию HTTP Basic. Вам потребуется ключ API (ID ключа + секрет ключа) с разрешениями для целевого сервиса. Инструкции по созданию см. в разделе Управление ключами API. Перед запуском любого из приведённых ниже примеров задайте следующие переменные окружения:Базовый URL
Конечные точки
Все конечные точки ClickPipes привязаны к сервису ClickHouse Cloud:
Для CDC ClickPipes (Postgres, MySQL, MongoDB) также доступны дополнительные конечные точки на уровне организации для масштабирования общей CDC-инфраструктуры:
Полные схемы запросов и ответов для каждой конечной точки см. в справочнике API.
Примеры
Получение списка ClickPipes
Получить ClickPipe
Остановить или запустить ClickPipe
Удалить ClickPipe
GCP workload identity (бета)
Прежде чем использовать приведённые ниже примеры с workload identity, выполните инструкции из руководства по GCP workload identity: получите служебную учётную запись, управляемую ClickPipes, и предоставьте ей доступ к источнику.Создание ClickPipes
Тело запросаPOST /clickpipes зависит от типа источника. В примерах ниже показана структура для каждого поддерживаемого типа ClickPipe. Эталонные JSON-схемы см. в справочнике API.
Kafka
Поддерживаемые источники, совместимые с Kafka:kafka, confluent, msk, azureeventhub, redpanda, warpstream, а также gcmk (закрытая предварительная версия).
roles/managedkafka.client в проекте кластера и настройте необходимые ACL Kafka. Затем используйте следующий объект source без поля credentials:
Amazon Kinesis
format значение Protobuf и оставьте schemaRegistry. Если же нужно загрузить схему Protobuf, задайте для format значение Protobuf и передайте в protobufSchema файл .proto в кодировке base64 или сериализованный FileDescriptorSet; в этом случае не указывайте schemaRegistry в запросе.
Amazon S3
Google Cloud Storage
serviceAccountKey должен содержать содержимое JSON-файла ключа служебной учётной записи GCP, закодированное в base64.
roles/storage.objectViewer для исходного бакета и используйте следующий объект source:
roles/pubsub.subscriber и roles/pubsub.viewer на подписку для уведомлений. Задайте для isContinuous значение true и укажите полный queueUrl в формате projects/<project-id>/subscriptions/<subscription-id>.
Google Cloud Pub/Sub
В следующем примере используется Workload Identity. Перед созданием ClickPipe предоставьте субъекту необходимые разрешения Pub/Sub.Azure Blob Storage
Postgres CDC
MySQL CDC
MongoDB CDC
BigQuery
serviceAccountFile должен содержать содержимое JSON-файла ключа служебной учётной записи GCP в кодировке base64.