クラウドオブジェクトストレージから ClickHouse Cloud へデータを移行する

Cloud Object Storage（クラウドオブジェクトストレージ）をデータレイクとして利用していて、そのデータを ClickHouse Cloud にインポートしたい場合、 または現在のデータベースシステムがデータを Cloud Object Storage へ直接オフロードできる場合には、 Cloud Object Storage に保存されているデータを ClickHouse Cloud のテーブルへ移行するために、以下のいずれかの テーブル関数を利用できます：

• s3 または s3Cluster
• gcs
• azureBlobStorage

現在のデータベースシステムがデータを Cloud Object Storage へ直接オフロードできない場合は、 サードパーティ製の ETL/ELT ツール または clickhouse-local を使用して 現在のデータベースシステムから Cloud Object Storage へデータを移動し、その後の第 2 ステップとしてそのデータを ClickHouse Cloud のテーブルへ移行できます。

これは 2 段階のプロセス（Cloud Object Storage へデータをオフロードし、その後 ClickHouse にロード）ではありますが、 ClickHouse Cloud による Cloud Object Storage からの高並列読み取りの強力なサポート により、 PB 単位までスケールできます。 また、Parquet のような高機能かつ高圧縮なフォーマットを活用することもできます。

S3 を使用して ClickHouse Cloud にデータを取り込む具体的なコード例を示した ブログ記事 もあります。