- Параллелизм (запросов в секунду)
- Пропускная способность (обрабатываемых строк в секунду)
- Объем данных
- Политика хранения данных
- Затраты на оборудование
- Затраты на обслуживание
Для ClickHouse нет стандартного целевого уровня загрузки CPU. Используйте такой инструмент, как iostat, чтобы измерять среднюю загрузку CPU, и соответственно подбирайте размер серверов с учетом возможных неожиданных всплесков трафика. Однако для аналитических сценариев или сценариев хранилища данных с ad hoc-запросами стоит ориентироваться на загрузку CPU на уровне 10–20%. Необходимое количество CPU зависит от вашей рабочей нагрузки. Однако обычно мы рекомендуем следующие соотношения объема памяти к числу ядер CPU в зависимости от типа CPU:
- M-type (сценарии общего назначения): соотношение памяти к ядру CPU — 4 ГБ:1
- R-type (сценарии использования хранилища данных): соотношение памяти к ядру CPU — 8 ГБ:1
- C-type (сценарии, оптимизированные для вычислений): соотношение памяти к ядру CPU — 2 ГБ:1
- Сложности запросов.
- Объёма данных, обрабатываемых в запросах.
max_bytes_before_external_group_by и max_bytes_before_external_sort), чтобы разрешить выгрузку данных на диск, но учтите, что это может существенно сказаться на производительности запросов.
При небольших объёмах данных допустимо соотношение памяти и хранилища 1:1, но общий объём памяти не должен быть меньше 8 ГБ.
Для сценариев с длительным сроком хранения данных или большими объёмами данных мы рекомендуем соотношение памяти и хранилища от 1:100 до 1:130. Например, 100 ГБ оперативной памяти на реплику, если вы храните 10 ТБ данных.
Для сценариев с частым доступом, например для клиентских рабочих нагрузок, мы рекомендуем использовать больше памяти — при соотношении памяти и хранилища от 1:30 до 1:50.
Мы рекомендуем использовать как минимум три реплики на сегмент (или две реплики с Amazon EBS). Кроме того, рекомендуем сначала вертикально масштабировать все реплики и лишь затем добавлять новые реплики (горизонтальное масштабирование).
ClickHouse не выполняет сегментирование автоматически, а повторное сегментирование данных потребует значительных вычислительных ресурсов. Поэтому мы обычно рекомендуем использовать самый мощный из доступных серверов, чтобы в будущем не пришлось заново перераспределять данные по сегментам.
Рассмотрите возможность использования ClickHouse Cloud, который масштабируется автоматически и позволяет легко управлять количеством реплик под ваши задачи.
Конфигурации ClickHouse во многом зависят от требований вашего приложения. Пожалуйста, свяжитесь с отделом продаж, если вы хотите, чтобы мы помогли оптимизировать вашу архитектуру по стоимости и производительности.
Для ориентира (а не в качестве рекомендаций) ниже приведены примеры конфигураций пользователей ClickHouse в промышленной эксплуатации:
| Хранилище | |
| Ежемесячный прирост данных | 30TB |
| Общий объем хранилища (в сжатом виде) | 540TB |
| Срок хранения данных | 18 месяцев |
| диск на узел | 25TB |
| CPU | |
| Параллелизм | 200+ параллельных запросов |
| Количество реплик (включая HA-пару) | 44 |
| vCPU на узел | 62 |
| Общее количество vCPU | 2700 |
| Память | |
| Общий объем оперативной памяти | 11TB |
| Оперативная память на реплику | 256GB |
| Соотношение оперативной памяти и vCPU | 4 GB:1 |
| Соотношение оперативной памяти и дискового пространства | 1:50 |
| Хранилище | |
| Ежемесячный объем логов | 4860TB |
| Общий объем хранилища (в сжатом виде) | 608TB |
| Срок хранения данных | 30 дней |
| Диск на узел | 13TB |
| CPU | |
| Число реплик (включая HA-пару) | 38 |
| vCPU на узел | 42 |
| общее количество vCPU | 1600 |
| Память | |
| общий объем оперативной памяти | 10TB |
| Оперативная память на реплику | 256GB |
| Соотношение оперативной памяти и vCPU | 6 GB:1 |
| Соотношение оперативной памяти и диска | 1:60 |