创建首个 GCS ClickPipe

GCS ClickPipe 提供了一种完全托管且高可靠的方式，用于从 Google Cloud Storage (GCS) 摄取数据。它支持具有 “exactly-once” 语义的 一次性摄取 和 持续摄取。

可以通过 ClickPipes UI 手动部署和管理 GCS ClickPipes，也可以以编程方式使用 OpenAPI 和 Terraform 进行管理。

选择数据源

1. 在 ClickHouse Cloud 中，通过主导航菜单选择 Data sources，然后点击 Create ClickPipe。

2. 点击 Google Cloud Storage 磁贴。

设置 ClickPipe 连接

1. 要创建一个新的 ClickPipe，你需要提供如何连接到对象存储服务并进行身份验证的详细信息。

• Authentication method：ABS ClickPipe 支持 HMAC credentials（Credentials）。有关身份验证和权限的说明，请参阅参考文档。

  • GCS file path：GCS ClickPipe 使用 Cloud Storage 的 XML API 以实现互操作性，这需要使用 storage.googleapis.com 端点：

    https://storage.googleapis.com/bucket-name/key-name
    

    您可以使用 POSIX 通配符来匹配多个文件或前缀。有关支持的模式，请参阅参考文档。

2. 点击 Incoming data。ClickPipes 将从你的 bucket（存储桶）中获取元数据，用于下一步。

选择数据格式

UI 会显示指定 bucket 中的文件列表。 选择你的数据格式（当前我们支持部分 ClickHouse 格式），以及是否启用持续摄取。 更多详情请参阅概览页面中的 “continuous ingest” 部分。

配置表、schema 和设置

在下一步中，你可以选择将数据摄取到一个新的 ClickHouse 表中，或复用现有表。 按照界面中的说明修改表名、schema（表结构）和相关设置。 你可以在顶部的示例表中实时预览你的更改。

你也可以使用提供的控件自定义高级设置。

或者，你也可以选择将数据摄取到现有的 ClickHouse 表中。 在这种情况下，UI 将允许你把来源中的字段映射到所选目标表中的 ClickHouse 字段。

信息

你还可以将 虚拟列，例如 _path 或 _size，映射到字段。

配置权限

最后，你可以为内部 ClickPipes 用户配置权限。

Permissions： ClickPipes 将创建一个专用用户用于向目标表写入数据。你可以为该内部用户选择一个角色，可以使用自定义角色或预定义角色之一：

• Full access：对集群拥有完全访问权限。如果你在目标表上使用 materialized view 或字典，则需要此权限。
• Only destination table：仅对目标表具有 INSERT 权限。

完成设置

点击 “Complete Setup” 后，系统会注册你的 ClickPipe，你将能在汇总表中看到它的条目。

汇总表提供控件，用于在 ClickHouse 中显示来源或目标表的示例数据。

还提供控件用于移除 ClickPipe，并显示摄取作业的概要信息。

恭喜！ 你已成功完成第一个 ClickPipe 的设置。 如果这是一个配置为持续摄取的 ClickPipe，它将持续运行，从远程数据源实时摄取数据。 否则，它将执行一次批量摄取并结束。