Аутентификация через GCP workload identity находится в стадии бета-тестирования.
Перед началом работы
Вам потребуется:- Сервис ClickHouse Cloud, работающий в GCP. Его развертывание ClickPipes также должно работать в GCP.
- Ключ API ClickHouse Cloud с разрешением на управление ClickPipes в этом сервисе.
- Разрешение на назначение ролей IAM для исходных ресурсов Google Cloud.
- Для Terraform — релиз провайдера ClickHouse, в котором есть источник данных
clickhouse_clickpipes_service_context. Прежде чем выбрать версию, ознакомьтесь с журналом изменений провайдера.
Как это работает
- ClickPipes создаёт служебную учётную запись Google для вашего сервиса ClickHouse Cloud и управляет ею.
- Вы получаете эту служебную учётную запись из контекста сервиса ClickPipes.
- Вы предоставляете служебной учётной записи доступ к ресурсам-источникам в Google Cloud.
- С помощью workload identity ClickPipes получает краткосрочные учётные данные служебной учётной записи и обращается к источнику.
Получение служебной учётной записи ClickPipes
Получите контекст сервиса с помощью OpenAPI или Terraform. Не создавайте ClickPipe, пока контекст не сообщит, что workload identity поддерживается и готова к работе.- OpenAPI
- Terraform
Задайте учётные данные API и идентификаторы ресурсов:Получите контекст сервиса:Когда идентичность будет готова, ответ будет содержать управляемую служебную учётную запись в поле Если сервис ClickHouse ранее не использовал ClickPipes, ответ поначалу может содержать
principal:ready: false без principal. Повторяйте запрос, пока ready не примет значение true, а поле principal не будет заполнено.Полное описание схемы ответа приведено в справочнике API контекста сервиса.Предоставление доступа к источнику
УкажитеserviceAccount:<principal> в качестве участника IAM, где <principal> — адрес электронной почты, возвращаемый в контексте сервиса. Назначьте ему только те роли, которые нужны вашему источнику, — они перечислены в разделе о разрешениях для соответствующего источника:
- BigQuery
- Cloud SQL for Postgres
- Cloud SQL for MySQL
- Google Managed Service for Apache Kafka
- Google Cloud Storage
- Google Cloud Pub/Sub
depends_on, чтобы задать этот порядок.
Создание ClickPipe
Выберите для источника метод аутентификацииSERVICE_ACCOUNT_WORKLOAD_IDENTITY. Не настраивайте вместе с Workload Identity ключ сервисного аккаунта, ключ доступа, строку подключения или роль IAM.
Примеры программной настройки для каждого источника:
- Google Managed Kafka с использованием Terraform
- Google Cloud Storage с использованием Terraform
- Google Cloud Pub/Sub с использованием Terraform
- BigQuery с использованием Terraform
- Примеры OpenAPI
Устранение неполадок
Workload Identity не поддерживается
Workload Identity не поддерживается
Убедитесь, что сервис ClickHouse Cloud и его развертывание ClickPipes работают в GCP. Если сервис соответствует этим требованиям, но
supported имеет значение false, обратитесь в ClickHouse Support.Идентичность не готова
Идентичность не готова
Возможно, подготовка идентичности еще не завершена. Повторите запрос контекста сервиса или, если вы используете Terraform, увеличьте
ready_timeout. Не создавайте ClickPipe, пока ready не примет значение true, а поле principal не будет заполнено.Источник отклоняет доступ
Источник отклоняет доступ
Убедитесь, что участник IAM указан как
serviceAccount:<principal>, где <principal> — точное значение субъекта из контекста сервиса. Проверьте, что роли выданы на нужном уровне: проекта, набора данных, бакета, подписки или кластера. Для Google Managed Kafka также проверьте ACL Kafka на стороне брокера и настройку TLS.