メインコンテンツへスキップ
メインコンテンツへスキップ

最初の GCS ClickPipe を作成する

GCS ClickPipe は、Google Cloud Storage (GCS) からデータを取り込むための、フルマネージドで高い耐障害性を備えた手段を提供します。1 回限りのインジェストと継続的なインジェストの両方を、厳密に 1 回だけのセマンティクスでサポートします。

GCS ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムから操作することもできます。

データソースを選択する​

1. ClickHouse Cloud のメインナビゲーションメニューで Data sources を選択し、Create ClickPipe をクリックします。

インポートを選択

2. Google Cloud Storage のタイルをクリックします。

Select imports

ClickPipe 接続をセットアップする​

1. 新しい ClickPipe をセットアップするには、オブジェクトストレージサービスへの接続方法と認証方法の詳細を指定する必要があります。

接続詳細を入力する

  • Authentication method: ABS ClickPipe は HMAC credentials（Credentials）をサポートします。認証と権限設定については、リファレンスドキュメント を参照してください。

    • GCS file path: GCS ClickPipe は相互運用性のために Cloud Storage の XML API を使用しており、storage.googleapis.com エンドポイントが必要です。

      https://storage.googleapis.com/bucket-name/key-name

      複数のファイルやプレフィックスに一致させるために POSIX ワイルドカードを使用できます。サポートされているパターンについては、リファレンスドキュメント を参照してください。

2. Incoming data をクリックします。ClickPipes が次のステップのためにバケットからメタデータを取得します。

データフォーマットを選択する​

UI には、指定したバケット内のファイル一覧が表示されます。 データフォーマット（現在は ClickHouse フォーマットの一部のみをサポート）と、継続的なインジェストを有効にするかどうかを選択します。 詳細については、概要ページの「continuous ingest」セクションを参照してください。

データフォーマットとトピックを設定

テーブル、スキーマ、設定を構成する​

次のステップでは、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。 画面上の指示に従って、テーブル名、スキーマ、および設定を変更します。 上部のサンプルテーブルで、変更内容をリアルタイムにプレビューできます。

テーブル、スキーマ、および設定を構成

また、用意されているコントロールを使用して詳細設定をカスタマイズすることもできます。

詳細コントロールを設定

あるいは、既存の ClickHouse テーブルにデータを取り込むこともできます。 その場合、UI でソースのフィールドと、選択した宛先テーブル内の ClickHouse フィールドをマッピングできるようになります。

既存のテーブルを使用
情報

_path や _size などの仮想カラムをフィールドにマッピングすることもできます。

権限を構成する​

最後に、内部 ClickPipes ユーザー用の権限を構成します。

Permissions: ClickPipes は、宛先テーブルにデータを書き込む専用ユーザーを作成します。カスタムロールまたは定義済みロールのいずれかを使用して、この内部ユーザーのロールを選択できます:

  • Full access: クラスターへのフルアクセス権を持ちます。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。
  • Only destination table: 宛先テーブルに対する INSERT 権限のみを持ちます。
権限

セットアップを完了する​

"Complete Setup" をクリックすると、システムは ClickPipe を登録し、概要テーブルに表示されるようになります。

成功通知
削除通知

概要テーブルでは、ソースまたは ClickHouse の宛先テーブルからサンプルデータを表示するためのコントロールが提供されます。

宛先を表示

また、ClickPipe を削除したり、インジェストジョブの概要を表示したりするためのコントロールも用意されています。

概要を表示

おめでとうございます！ これで最初の ClickPipe のセットアップが完了しました。 この ClickPipe が継続的なインジェスト用に構成されている場合は、リモートデータソースからリアルタイムでデータを継続的にインジェストし続けます。 それ以外の場合は、バッチをインジェストして完了します。