> **TL;DR**<br/>TPC-H SF100において、59コアのClickHouse Cloudノード1台は、Snowflake、Databricks、BigQuery、Redshiftに対して生のランタイムで競争力を持ちつつ、コストパフォーマンスでは首位となりました。SF10では、22クエリすべてを1セント未満で実行できます。

 
<br/>

## ClickHouse CloudがTPC-H比較に参戦

完全な[TPC-H](https://clickhouse.com/docs/getting-started/example-datasets/tpch)ワークロードを、ClickHouse Cloud、Snowflake、Databricks、BigQuery、Redshiftで実行しました。

SF100は、100GBのデータ、8億6,600万行、そして22個のJOIN中心の分析クエリで構成されます。

結果として、ClickHouse Cloudは生のランタイムで競争力を発揮し、コストパフォーマンスでは首位を獲得しました。

SF10では、ワークロード全体が2.9秒で完了し、コンピュートコストはわずか$0.009でした。

1セント未満です。

本記事では、ベンチマーク結果を紹介します。その背景にある2年間のJOINエンジニアリングについては、[コンパニオン記事](/blog/clickhouse-fast-joins)で解説しています。


## ベンチマーク設定

すべてのベンチマークスクリプト、クエリ、結果ファイルは公開GitHub[リポジトリ](https://github.com/ClickHouse/tpc-h-openhouse)で公開されており、結果を再現・検証できます。


### データセットとランタイム測定

メインの比較ではTPC-H SF100を使用しています:8億6,600万行に対する22クエリです。

ランタイム測定では、コールドランとホットランを区別します:

**コールドラン**: コールドスタート性能の体系的な比較は行いませんでした。クラウドウェアハウスはキャッシュ挙動が異なり、ほとんどの場合、ユーザーがOSレベルのページキャッシュを確実にリセットしたり、コンピュートをオンデマンドで再起動したりすることができません。コールド条件を標準化できないため、コールド結果は公正かつ再現性のある形で示せません。

**ホットラン**: 各クエリは結果キャッシュを無効化した状態で3回実行しました。チャートには最速のホットラン結果を使用しています。結果キャッシュは無効化されているため、ベンチマークはクエリの実行を測定しており、以前にキャッシュされた結果を返すものではありません。


### 比較対象システム

**ClickHouse Cloud**では、1つの固定構成を使用しました:59コアのAWSコンピュートノード1台です。他のシステムについては、実用的なウェアハウスまたはサーバーレスのキャパシティ構成を選択し、最も近いハードウェア比較については後述します。



* **Snowflake**: Small、Medium、Large、4X-Large Gen2の各[ウェアハウス](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#snowflake)
* **Databricks (SQL Serverless)**: Small、Medium、Large、4X-Largeの各[ウェアハウス](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#databricks-sql-serverless)
* **BigQuery**: 2,000 [スロット](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#bigquery)
* **Redshift Serverless**: 128 [RPU](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#redshift-serverless)


### コスト計算

コスト計算には、クラウドデータウェアハウスの[課金](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you)および[コストパフォーマンス](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison)に関する以前の記事で紹介したのと同じ方法論を使用しています。各ベンダーの公開課金モデルを実測のクエリランタイムに適用し、すべてのシステムについて[完全な秒単位のコンピュート課金を想定](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison#a-note-on-metering-granularity)し、同等の米国東部リージョン(対応システムはAWS `us-east`、BigQueryはGCP `us-east`)におけるEnterpriseティアの価格を使用します。

この設定を前提に、まず生のホットランタイムを見ていきます。


## TPC-H SF100: 生のホットランタイム

[TPC-H SF100](https://clickhouse.com/docs/getting-started/example-datasets/tpch)は、**100GBのデータ**、**8億6,600万行**、**22個のJOIN中心の分析クエリ**で構成されます。

下の図では、各バーが22のTPC-Hクエリそれぞれの3回中最速の実行時間の合計を示しています。値が低いほど良好です。

![Blog-JOINS-results.001.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_001_43c308f4a0.png)

**ClickHouse Cloud**はワークロードを[19.8秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_sf100/aws.1.236_run_01_sf100.json)で完了しました。

**Snowflake**は、Smallウェアハウスで[32.7秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_small_gen2.json)、Mediumで[22.9秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_medium_gen2.json)、Largeで[15.9秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_large_gen2.json)、4X-Largeで[14.7秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_4xl_gen2.json)で完了しました。

**Databricks**は、Smallウェアハウスで[37.3秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_Small.json)、Mediumで[40.0秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_medium.json)、Largeで[28.9秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_large.json)、4X-Largeで[26.4秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_4xlarge.json)で完了しました。

**BigQuery**は、2,000スロットで[26.2秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/bigquery/results_sf100/results.json)で完了しました。

**Redshift Serverless**は、128 RPUで[30.7秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/redshift/results_sf100/results.json)で完了しました。

これらの数値の背後にあるコンピュートは、各システム間で同一ではない点に注意してください。ClickHouse Cloudは、59コアおよび236 GiBメモリを搭載したGraviton3コンピュートノード1台を使用しています。

SnowflakeとDatabricksについては、コンピュートのスケールに応じてランタイムがどう変化するかを示すために複数のウェアハウスサイズをテストしました。ClickHouse Cloudの59コアノードに最も近いハードウェアの比較対象は、Snowflake Large Gen2(64基のAWS Graviton3コアと128GBメモリを[使用しているとされる](https://medium.com/snowflake-engineering/deep-dive-inside-snowflakes-new-gen2-standard-warehouses-powered-by-aws-graviton3-6aacca73ae2d)、[参照](https://select.dev/posts/snowflake-warehouse-sizing))と、Databricks Large(ドキュメント化されたクラシック・コンピュートプレーンのサイジングで、64基のIntel Xeon E5-2686 v4コアと488 GiBメモリに[マッピング](https://docs.databricks.com/aws/en/compute/sql-warehouse/warehouse-behavior#sizing-and-cluster-provisioning)される)です。ベンチマークではDatabricks SQL [Serverless](https://docs.databricks.com/aws/en/getting-started/high-level-architecture#serverless-workspace-architecture)を使用しましたが、公開されているウェアハウスサイジングは有用な比較基準となります。

また、サーバーレスのキャパシティモデルを持つシステムは、事前にプロビジョニングされた大規模なコンピュートプール全体にクエリ処理を自動的にファンアウトすることにも注意してください:BigQueryは本ベンチマークで最大2,000 [スロット](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#bigquery)を使用し、Redshift Serverlessは128 [RPU](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#redshift-serverless)を使用しました。

> 59コアのコンピュートノード1台で、**ClickHouse Cloudは競争力を発揮**しています。TPC-H SF100の生のランタイムにおいて、同等の64コアのSnowflake/Databricks構成や、59コアを大幅に超える事前プロビジョニングされたコンピュートプールを自動的にファンアウトするサーバーレスエンジンを含む主要なクラウドデータウェアハウスに対して肉薄しています。

 


## ランタイムは話の半分にすぎない

前述のとおり、各システムがTPC-H SF100ワークロードを実行するのに使用したコンピュートを直接比較するのは困難です。

しかし、ワークロード実行の[コスト](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison)を直接比較することはできます。

下のチャートでは、同じランタイムバーを保持しつつ、各ベンダーの公開[課金モデル](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you)を用いてホットランのコンピュートコストを重ねて表示しています。

![Blog-JOINS-results.002.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_002_b4220f44f7.png)

**ClickHouse Cloud**はワークロードを19.8秒、コンピュートコスト[$0.063](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_enriched_sf100/aws.1.236_run_01_sf100.json)で完了しました。

**Snowflake** Largeはより高速で15.9秒でしたが、コストは[$0.143](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_enriched_sf100/snowflake_sf100_large_gen2_enriched.json)でした。Snowflake 4X-Largeはさらに高速で14.7秒でしたが、コストは[$2.121](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_enriched_sf100/snowflake_sf100_4xl_gen2_enriched.json)でした。**Databricks**は[$0.087](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_enriched_sf100/databricks_sf100_Small_enriched.json)から[$2.714](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_enriched_sf100/databricks_sf100_4xlarge_enriched.json)の範囲でした。**BigQuery**は26.2秒で[$0.163](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/bigquery/results_enriched_sf100/results_enriched.json)、**Redshift Serverless**は30.7秒で[$0.436](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/redshift/results_enriched_sf100/enriched_results.json)で完了しました。

次のセクションでは、ランタイムとコストを単一のコストパフォーマンススコアに集約します。


## TPC-H SF100: コストパフォーマンスランキング

前のチャートでは、ランタイムとコストを並べて表示しました。次に、両者をシンプルな[コストパフォーマンススコア](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison#how-we-measure-overall-cost-performance-ranking)にまとめます:

`コストパフォーマンススコア = コンピュートコスト × ランタイム`

値が低いほど良好です。

これにより、クラウドベンチマークの本質的な問いに答えられます:

> 1ドルあたり最も高いJOIN性能を提供するのは誰か?

高速なシステムほどスコアが良くなり、低コストなシステムほどスコアが良くなります。遅いまたは高コストなシステムはすぐに順位を落とします。そして、システムが遅く、かつ高価であれば、両方の効果が相乗的に作用します。

![Blog-JOINS-results.003.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_003_cf3d793dd4.png)


**ClickHouse Cloud**が首位となりました。

次に近い構成は**Snowflake** LargeとSnowflake Mediumで、どちらも約2倍悪い結果でした。**Databricks** Smallと2,000スロットの**BigQuery**は3倍悪く、**Databricks** LargeとMediumはそれぞれ5倍、6倍悪い結果でした。

ハイエンドでは、**Redshift Serverless**は11倍、Snowflake 4X-Largeは25倍、Databricks 4X-Largeは57倍、BigQuery [On-demand](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#compute-pricing-3)は67倍悪い結果でした。

> ClickHouse CloudはTPC-H SF100で最良のコストパフォーマンスを実現:全体で最も低いスコアを獲得し、次に近いテスト構成は約2倍悪い結果でした。


## TPC-H SF100: クエリ別ランタイムの内訳

完全性のため、クエリ別のランタイム内訳を示します。各バーは、22のTPC-Hクエリそれぞれにおける3回中最速の実行時間を表しています。


![Blog-JOINS-results.004.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_004_71f35d37c4.png)


集計結果は1つの外れ値によって決まっているわけではありません。ClickHouse Cloudはクエリセット全体にわたって一貫して競争力があります。


## スケールダウン: 1セント未満のTPC-H

SF100が本記事のメインベンチマークですが、SF10にスケールダウンすると、タイトルどおりの瞬間が得られます。

SF10では、ワークロードは同じ**22個のJOIN中心のTPC-Hクエリ**全体で**8,600万行**を扱います。

59コアのコンピュートノード1台という同じClickHouse Cloud構成で、ホットなワークロード全体が[2.9秒](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_sf10/aws.1.236_run_01_sf10.json)で実行され、コンピュートコストは[$0.009](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_enriched_sf10/aws.1.236_run_01_sf10.json)でした。

![Blog-JOINS-results.005.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_005_f2a4c0e257.png)

下のチャートは、ランタイムとコストを単一のコストパフォーマンススコアに集約し、「1ドルあたり最も高いJOIN性能を提供するのは誰か?」の問いに答えます。

![Blog-JOINS-results.006.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_006_84c9e91fa5.png)

この規模では、**ClickHouse Cloud**が両次元で勝利しています:テストした構成の中で最速かつ最も安価に実行できます。コストパフォーマンスで次点だったのは**Snowflake**でしたが、それでも**8倍悪い**結果でした。**BigQuery**は**12倍悪く**、**Redshift** Serverlessは**27倍悪く**、より大きなSnowflakeおよび**Databricks**の構成はさらに大きく遅れをとりました。

> SF10では、ClickHouse Cloudは22個のTPC-Hクエリすべてを2.9秒、1セント未満で実行し、大差をつけて最良のコストパフォーマンスを実現しました。


## スケールアップ: SF1000以降

SF100の結果は、ClickHouseが今日どこに位置するかを示しています:59コアのコンピュートノード1台で、ClickHouse Cloudは、より大規模または弾力的なコンピュート構成を使用するシステムを含む主要なクラウドデータウェアハウスに対して、ランタイムとコストパフォーマンスの両面で競争力があります。

しかし、SF100は話の終わりではありません。

**TPC-H SF1000以上**などのはるかに大規模なスケールファクターでは、JOIN実行を複数ノードにわたって適切にスケールさせる必要があります。エンジニアリングチームが次に注力しているのはまさにこの分野で、ClickHouse Cloudにおける大規模分散JOINのための[マルチステージ分散クエリ実行](/blog/multi-stage-distributed-query-execution-clickhouse-cloud)に取り組んでいます。

それは次の章のテーマです。今回の章は、ここ2年間のJOINエンジニアリングがあったからこそ可能になりました。


## ここまでの道のり

上記の結果は、ClickHouseで2年間集中して取り組んだJOINエンジニアリングの成果です。

![Blog-JOINS-results.007.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_007_7f6820e069.png)

その取り組みから1年経過した時点で、同じTPC-H SF100のJOIN中心ワークロードは既に**22.4と比較して4.4倍高速**になっていました。さらに1年後の現在、全体では**26倍高速**となり、直近1年だけでデフォルト設定下でさらに**6倍の改善**を貢献しました。

この進歩は、スタック全体にわたる改善によってもたらされました:より高速なハッシュJOIN、より良いプランニング、相関サブクエリのサポート、遅延カラム複製、ランタイムフィルタ、統計ベースのJOIN順序の最適化などです。

[コンパニオン記事](/blog/clickhouse-fast-joins)では、これらの数値の背景にあるエンジニアリングのストーリーを解説します:ClickHouseが「高速だがJOINには不向き」から、デフォルトで競争力のあるJOIN性能を実現するまでに、どのように歩んできたかを語ります。

> 2年間集中して取り組んだJOINエンジニアリングにより、ClickHouseはTPC-H SF100のJOIN中心ワークロードで26倍高速になりました。それこそが、これらのベンチマーク結果を可能にしたものです。

ClickHouse Cloudは、TPC-HベンチマークでSnowflake、Databricks、BigQuery、Redshiftに挑み、SF100のコストパフォーマンスで1位を獲得。SF10は1セント未満で実行可能。

large_TPC-H for less than a cent_ ClickHouse Cloud vs. Snowflake, Databricks, BigQuery, and Redshift.jpg

medium_TPC-H for less than a cent_ ClickHouse Cloud vs. Snowflake, Databricks, BigQuery, and Redshift.jpg

small_TPC-H for less than a cent_ ClickHouse Cloud vs. Snowflake, Databricks, BigQuery, and Redshift.jpg

thumbnail_TPC-H for less than a cent_ ClickHouse Cloud vs. Snowflake, Databricks, BigQuery, and Redshift.jpg

TPC-H for less than a cent_ ClickHouse Cloud vs. Snowflake, Databricks, BigQuery, and Redshift.jpg

1セント未満で実現するTPC-H:ClickHouse Cloud vs. Snowflake、Databricks、BigQuery、Redshift

> **TL;DR**<br/>On TPC-H SF100, a single 59-core ClickHouse Cloud node is competitive on raw runtime against Snowflake, Databricks, BigQuery, and Redshift, while ranking first on cost-performance. At SF10, it runs all 22 queries for less than one cent.  

 
<br/>

## ClickHouse Cloud joins the TPC-H comparison

We ran the full [TPC-H](https://clickhouse.com/docs/getting-started/example-datasets/tpch) workload on ClickHouse Cloud, Snowflake, Databricks, BigQuery, and Redshift.

At SF100, that is 100 GB of data, 866M rows, and 22 join-heavy analytical queries.

The result: ClickHouse Cloud was competitive on raw runtime and ranked first on cost-performance.

At SF10, the full workload ran in 2.9 seconds for $0.009 in compute cost.

Less than one cent.

This post shows the benchmark results. The [companion post](/blog/clickhouse-fast-joins) explains the two years of join engineering behind them.


## Benchmark setup

All benchmark scripts, queries, and result files are available in a public GitHub [repository](https://github.com/ClickHouse/tpc-h-openhouse), so the results can be reproduced and inspected.


### Dataset and runtime measurement

The main comparison uses TPC-H SF100: 22 queries over 866M rows.

For runtime measurements, we distinguish between cold and hot runs:

**Cold runs**: We did not systematically compare cold-start performance. Cloud warehouses exhibit different caching behavior, and most do not let users reliably reset OS-level page cache or restart compute on demand. Because cold conditions cannot be standardized, cold results would not be fair or reproducible.

**Hot runs**: Each query was run three times with result caching disabled. Charts use the fastest hot run. Result caching was disabled, so the benchmark measures query execution, not returning a previously cached result.


### Compared systems

For **ClickHouse Cloud**, we used one fixed configuration: a single AWS compute node with 59 cores. For the other systems, we selected practical warehouse or serverless capacity configurations, and discuss the closest hardware comparisons later.



* **Snowflake**: Small, Medium, Large, and 4X-Large Gen2 [warehouses](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#snowflake)
* **Databricks (SQL Serverless)**: Small, Medium, Large, and 4X-Large [warehouses](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#databricks-sql-serverless)
* **BigQuery**: 2,000 [slots](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#bigquery)
* **Redshift Serverless**: 128 [RPUs](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#redshift-serverless)


### Cost calculations

For cost calculations, we use the same methodology introduced in our earlier posts on cloud data warehouse [billing](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you) and [cost-performance](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison). We apply each vendor’s public billing model to the measured query runtimes, [assume perfect per-second compute billing](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison#a-note-on-metering-granularity) for all systems, and use Enterprise-tier pricing in comparable US East regions: AWS `us-east` for supported systems and GCP `us-east` for BigQuery.

With that setup, we first look at raw hot runtime.


## TPC-H SF100: raw hot runtime

[TPC-H SF100](https://clickhouse.com/docs/getting-started/example-datasets/tpch) consists of **100 GB of data**, **866M rows**, and **22 join-heavy analytical queries**.

In the diagram below, each bar sums the fastest of three runs for each of the 22 TPC-H queries. Lower is better.

![Blog-JOINS-results.001.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_001_43c308f4a0.png)

**ClickHouse Cloud** completed the workload in [19.8s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_sf100/aws.1.236_run_01_sf100.json).

**Snowflake** finished in [32.7s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_small_gen2.json) on a Small warehouse, [22.9s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_medium_gen2.json) on Medium, [15.9s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_large_gen2.json) on Large, and [14.7s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_sf100/snowflake_sf100_4xl_gen2.json) on 4X-Large.

**Databricks** finished in [37.3s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_Small.json) on a Small warehouse, [40.0s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_medium.json) on Medium, [28.9s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_large.json) on Large, and [26.4s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_sf100/databricks_sf100_4xlarge.json) on 4X-Large.

**BigQuery** finished in [26.2s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/bigquery/results_sf100/results.json) with 2,000 slots. 

**Redshift Serverless** finished in [30.7s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/redshift/results_sf100/results.json) with 128 RPUs.

Note that the compute behind these numbers is not identical across systems. ClickHouse Cloud used one Graviton3 compute node with 59 cores and 236 GiB of memory.

For Snowflake and Databricks, we tested multiple warehouse sizes to show how runtime changes as compute scales. The closest hardware reference points to ClickHouse Cloud’s 59-core node are Snowflake Large Gen2, [understood](https://select.dev/posts/snowflake-warehouse-sizing) to [use](https://medium.com/snowflake-engineering/deep-dive-inside-snowflakes-new-gen2-standard-warehouses-powered-by-aws-graviton3-6aacca73ae2d) 64 AWS Graviton3 cores and 128 GB of memory, and Databricks Large, which [maps](https://docs.databricks.com/aws/en/compute/sql-warehouse/warehouse-behavior#sizing-and-cluster-provisioning) to 64 Intel Xeon E5-2686 v4 cores and 488 GiB of memory in the documented classic compute-plane sizing. We used Databricks SQL [Serverless](https://docs.databricks.com/aws/en/getting-started/high-level-architecture#serverless-workspace-architecture) for the benchmark, but the published warehouse sizing provides a useful reference point.

Also note that systems with serverless capacity models automatically fan out query work across large, pre-provisioned compute pools: BigQuery used up to 2,000 [slots](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#bigquery) in this benchmark, and Redshift Serverless used 128 [RPUs](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#redshift-serverless).

> With one 59-core compute node, **ClickHouse Cloud is competitive** on raw TPC-H SF100 runtime against major cloud data warehouses, including comparable 64-core Snowflake and Databricks warehouse configurations and serverless engines that automatically fan out across large pre-provisioned compute pools far beyond 59 cores.

 


## Runtime is only half the story

As mentioned above, it is hard to directly compare the compute each system used to run the TPC-H SF100 workload. 

But we can directly compare the [cost](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison) of running the workload.

The chart below keeps the same runtime bars and overlays the hot-run compute cost using each vendor’s public [billing model](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you).

![Blog-JOINS-results.002.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_002_b4220f44f7.png)

**ClickHouse Cloud** finished the workload in 19.8s with a compute cost of [$0.063](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_enriched_sf100/aws.1.236_run_01_sf100.json). 

**Snowflake** Large was faster at 15.9s, but cost [$0.143](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_enriched_sf100/snowflake_sf100_large_gen2_enriched.json). Snowflake 4X-Large was faster again at 14.7s, but cost [$2.121](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/snowflake/results_enriched_sf100/snowflake_sf100_4xl_gen2_enriched.json). **Databricks** ranged from [$0.087](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_enriched_sf100/databricks_sf100_Small_enriched.json) to [$2.714](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/databricks/results_enriched_sf100/databricks_sf100_4xlarge_enriched.json). **BigQuery** finished in 26.2s for [$0.163](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/bigquery/results_enriched_sf100/results_enriched.json), and **Redshift Serverless** in 30.7s for [$0.436](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/redshift/results_enriched_sf100/enriched_results.json).

The section below collapses runtime and cost into a single cost-performance score.


## TPC-H SF100: cost-performance ranking

The previous chart showed runtime and cost side by side. Now we combine both into a simple [cost-performance score](https://clickhouse.com/blog/cloud-data-warehouses-cost-performance-comparison#how-we-measure-overall-cost-performance-ranking):

`cost-performance score = compute cost × runtime`

Lower is better.

That lets us answer the real cloud benchmark question:

> Who gives the most join performance per dollar?

Fast systems score better. Low-cost systems score better. Slow or expensive systems fall behind quickly. And when a system is both slower and more expensive, the two effects compound.

![Blog-JOINS-results.003.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_003_cf3d793dd4.png)


**ClickHouse Cloud** ranks first.

The next closest configurations were **Snowflake** Large and Snowflake Medium, both about 2× worse. **Databricks** Small and **BigQuery** with 2,000 slots are at 3× worse. **Databricks** Large and Medium followed at 5× and 6× worse.

At the high end, **Redshift Serverless** was 11× worse, Snowflake 4X-Large was 25× worse, Databricks 4X-Large was 57× worse, and BigQuery [On-demand](https://clickhouse.com/blog/how-cloud-data-warehouses-bill-you#compute-pricing-3) was 67× worse.

> ClickHouse Cloud delivers the best cost-performance on TPC-H SF100: lowest score overall, with the nearest tested configurations about 2× worse.


## TPC-H SF100: per-query runtime breakdown

For completeness, here is the per-query runtime breakdown. Each bar shows the fastest of three runs for one of the 22 TPC-H queries.


![Blog-JOINS-results.004.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_004_71f35d37c4.png)


The aggregate result is not driven by one outlier. ClickHouse Cloud is consistently competitive across the full query set.


## Scaling down: TPC-H for less than a cent

SF100 is the main benchmark in this post. But scaling down to SF10 gives us the title moment.

At SF10, the workload contains **86M rows** across the same **22 join-heavy TPC-H queries**. 

On the same ClickHouse Cloud configuration with one 59-core compute node, the full hot workload ran in [2.9s](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_sf10/aws.1.236_run_01_sf10.json) with a compute cost of [$0.009](https://github.com/ClickHouse/tpc-h-openhouse/blob/main/clickhouse-cloud/results_enriched_sf10/aws.1.236_run_01_sf10.json).

![Blog-JOINS-results.005.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_005_f2a4c0e257.png)

The chart below collapses runtime and cost into a single cost-performance score to answer the “Who gives the most join performance per dollar?” question.

![Blog-JOINS-results.006.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_006_84c9e91fa5.png)

At this scale, **ClickHouse Cloud** wins on both dimensions: it is the fastest tested configuration and the cheapest to run. **Snowflake** was next in terms of cost-performance, but still **8× worse**. **BigQuery** was **12× worse**, **Redshift** Serverless **27× worse**, and the larger Snowflake and **Databricks** configurations were much further behind.

>  At SF10, ClickHouse Cloud runs all 22 TPC-H queries in 2.9s for less than one cent, and delivers the best cost-performance by a wide margin.


## Scaling up: SF1000 and beyond

The SF100 results show where ClickHouse is today: with a single 59-core compute node, ClickHouse Cloud is competitive on both runtime and cost-performance against major cloud data warehouses, including systems using larger or more elastic compute configurations.

But SF100 is not the end of the story.

For much larger scale factors, such as **TPC-H SF1000 and beyond**, join execution needs to scale across multiple nodes properly. That is where the engineering team is focusing next, with [multi-stage distributed query execution](/blog/multi-stage-distributed-query-execution-clickhouse-cloud) for large distributed joins in ClickHouse Cloud.

That is the next chapter. This one was made possible by the last two years of join engineering.


## How we got here

The results above are the outcome of two years of focused join engineering at ClickHouse.

![Blog-JOINS-results.007.png](https://cms-new.clickhouse.com/uploads/Blog_JOINS_results_007_7f6820e069.png)

A year into that effort, the same TPC-H SF100 join-heavy workload was already **4.4× faster than in 22.4**. One year later, it is now **26× faster overall**, with the last year alone contributing another **6× improvement** under default settings.

That progress came from improvements across the stack: faster hash joins, better planning, correlated subquery support, lazy column replication, runtime filters, and statistics-based join reordering.

The [companion post](/blog/clickhouse-fast-joins) explains the engineering story behind those numbers: how ClickHouse went from “fast, but not for joins” to competitive join performance by default.

> Two years of focused join engineering made ClickHouse 26× faster on the TPC-H SF100 join-heavy workload, and that is what made these benchmark results possible.





ClickHouse Cloud takes on Snowflake, Databricks, BigQuery, and Redshift on TPC-H, ranking first on SF100 cost-performance and running SF10 for less than one cent.

Andriy Yakovlev

Blog posts by Andriy Yakovlev

1セント未満で実現するTPC-H:ClickHouse Cloud vs. Snowflake、Databricks、BigQuery、Redshift

TPC-H for less than a cent: ClickHouse Cloud vs. Snowflake, Databricks, BigQuery, and Redshift