データインジェスト
ClickHouse は、データ統合や変換のためのさまざまなソリューションと連携できます。 詳細については、以下のページをチェックしてください。
| Data Ingestion Tool | 説明 |
|---|---|
| Airbyte | オープンソースのデータ統合プラットフォームです。ELT データパイプラインを作成でき、140 を超えるすぐに使えるコネクタが用意されています。 |
| Apache Spark | 単一ノードのマシンまたはクラスタ上で、データエンジニアリング、データサイエンス、機械学習を実行するためのマルチ言語エンジンです。 |
| Apache Flink | Flink の DataStream API を介して ClickHouse へリアルタイムにデータを取り込み、処理できます。バッチ書き込みにも対応しています。 |
| Amazon Glue | Amazon Web Services (AWS) が提供するフルマネージドのサーバーレスなデータ統合サービスで、分析、機械学習、アプリケーション開発向けに、データの検出、準備、変換を簡素化します。 |
| Artie | 本番データを ClickHouse にレプリケートするフルマネージドのリアルタイムデータストリーミングプラットフォームで、顧客向け分析、運用ワークフロー、本番環境での Agentic AI を実現します。 |
| Azure Synapse | Microsoft Azure が提供するフルマネージドのクラウドベース分析サービスで、ビッグデータとデータウェアハウジングを組み合わせ、SQL、Apache Spark、データパイプラインを用いた大規模なデータ統合、変換、分析を簡素化します。 |
| Azure Data Factory | 大規模なデータワークフローの作成、スケジュール、オーケストレーションを可能にするクラウドベースのデータ統合サービスです。 |
| Apache Beam | 開発者がバッチ処理とストリーム (継続的) 処理の両方のデータパイプラインを定義し、実行できるオープンソースの統一プログラミングモデルです。 |
| BladePipe | サブ秒レイテンシーを備え、プラットフォーム間でシームレスなデータフローを実現するリアルタイムのエンドツーエンドデータ統合ツールです。 |
| dbt | select 文を記述するだけで、分析エンジニアがデータウェアハウス内のデータを変換できるようにします。 |
| dlt | さまざまな、そしてしばしば整備されていないデータソースから、適切に構造化されたライブデータセットへデータを読み込むために Python スクリプトへ追加できるオープンソースライブラリです。 |
| Estuary | 柔軟なデプロイオプションにより、ミリ秒レイテンシーの ETL パイプラインを実現できるデータプラットフォームです。 |
| Fivetran | クラウドデータプラットフォーム間で、またそれらへの入出力としてデータを移動する、自動化されたデータ移動プラットフォームです。 |
| NiFi | ソフトウェアシステム間のデータフローを自動化するために設計された、オープンソースのワークフロー管理ソフトウェアです。 |
| Vector | 組織が自社のオブザーバビリティデータを管理できるようにする、高性能なオブザーバビリティデータパイプラインです。 |
