Skip to main content
Аутентификация через GCP workload identity находится в стадии бета-тестирования.
GCP workload identity позволяет ClickPipes обращаться к поддерживаемым источникам Google Cloud без хранения ключа сервисного аккаунта клиента. В этом руководстве описано, как получить служебную учётную запись Google, управляемую ClickPipes, предоставить ей доступ к вашему источнику и создать ClickPipe, использующий краткосрочные учётные данные.

Перед началом работы

Вам потребуется:
  • Сервис ClickHouse Cloud, работающий в GCP. Его развертывание ClickPipes также должно работать в GCP.
  • Ключ API ClickHouse Cloud с разрешением на управление ClickPipes в этом сервисе.
  • Разрешение на назначение ролей IAM для исходных ресурсов Google Cloud.
  • Для Terraform — релиз провайдера ClickHouse, в котором есть источник данных clickhouse_clickpipes_service_context. Прежде чем выбрать версию, ознакомьтесь с журналом изменений провайдера.

Как это работает

  1. ClickPipes создаёт служебную учётную запись Google для вашего сервиса ClickHouse Cloud и управляет ею.
  2. Вы получаете эту служебную учётную запись из контекста сервиса ClickPipes.
  3. Вы предоставляете служебной учётной записи доступ к ресурсам-источникам в Google Cloud.
  4. С помощью workload identity ClickPipes получает краткосрочные учётные данные служебной учётной записи и обращается к источнику.
Служебная учётная запись уникальна для каждого сервиса ClickHouse Cloud. Вы управляете её доступом к своим ресурсам через Google Cloud IAM и можете в любой момент отозвать этот доступ. Сетевое подключение, включая частное сетевое подключение, настраивается отдельно.

Получение служебной учётной записи ClickPipes

Получите контекст сервиса с помощью OpenAPI или Terraform. Не создавайте ClickPipe, пока контекст не сообщит, что workload identity поддерживается и готова к работе.
Задайте учётные данные API и идентификаторы ресурсов:
Получите контекст сервиса:
Когда идентичность будет готова, ответ будет содержать управляемую служебную учётную запись в поле principal:
Если сервис ClickHouse ранее не использовал ClickPipes, ответ поначалу может содержать ready: false без principal. Повторяйте запрос, пока ready не примет значение true, а поле principal не будет заполнено.Полное описание схемы ответа приведено в справочнике API контекста сервиса.
Значения полей контекста сервиса:

Предоставление доступа к источнику

Укажите serviceAccount:<principal> в качестве участника IAM, где <principal> — адрес электронной почты, возвращаемый в контексте сервиса. Назначьте ему только те роли, которые нужны вашему источнику, — они перечислены в разделе о разрешениях для соответствующего источника: ClickPipes не может создавать привязки IAM в вашем проекте Google Cloud. Поэтому назначьте привилегии до создания ClickPipe. Если привилегии и ClickPipe описаны в одной конфигурации Terraform, используйте depends_on, чтобы задать этот порядок.

Создание ClickPipe

Выберите для источника метод аутентификации SERVICE_ACCOUNT_WORKLOAD_IDENTITY. Не настраивайте вместе с Workload Identity ключ сервисного аккаунта, ключ доступа, строку подключения или роль IAM. Примеры программной настройки для каждого источника:

Устранение неполадок

Убедитесь, что сервис ClickHouse Cloud и его развертывание ClickPipes работают в GCP. Если сервис соответствует этим требованиям, но supported имеет значение false, обратитесь в ClickHouse Support.
Возможно, подготовка идентичности еще не завершена. Повторите запрос контекста сервиса или, если вы используете Terraform, увеличьте ready_timeout. Не создавайте ClickPipe, пока ready не примет значение true, а поле principal не будет заполнено.
Убедитесь, что участник IAM указан как serviceAccount:<principal>, где <principal> — точное значение субъекта из контекста сервиса. Проверьте, что роли выданы на нужном уровне: проекта, набора данных, бакета, подписки или кластера. Для Google Managed Kafka также проверьте ACL Kafka на стороне брокера и настройку TLS.