Балансировщики нагрузки
В развертываниях BYOC используются сетевые балансировщики нагрузки (NLB) для управления и маршрутизации трафика к вашим сервисам ClickHouse. В зависимости от вашей сетевой модели вы можете использовать публичные или частные конечные точки балансировщика нагрузки.
Публичный балансировщик нагрузки:
- Предоставляет публичный доступ к вашим сервисам ClickHouse через интернет.
- Обычно включен по умолчанию при использовании выделенного VPC под управлением ClickHouse.
- По умолчанию отключен при использовании VPC под управлением клиента для повышения безопасности.
- Предоставляет частный (внутренний) доступ, доступный только из подключенных к вам сетей.
- Обычно включен по умолчанию при использовании VPC под управлением клиента.
- По умолчанию отключен при использовании выделенного VPC под управлением ClickHouse.
Группа безопасности для приватного балансировщика нагрузки в AWS
Если вы используете приватный балансировщик нагрузки для развертывания BYOC, убедитесь, что заданы соответствующие правила группы безопасности, разрешающие доступ из нужных вам частных сетей (например, из VPC, связанных через пиринг). По умолчанию группа безопасности разрешает трафик только внутри VPC. Чтобы настроить группу безопасности для приватного балансировщика нагрузки: Обратитесь в ClickHouse Support, чтобы запросить изменения правил входящего трафика в группе безопасности, разрешающие трафик из ваших сетей-источников:- Пиринг VPC: Запросите правила, разрешающие трафик из CIDR-диапазонов ваших VPC, связанных через пиринг.
- PrivateLink: Изменения группы безопасности не требуются, так как трафик не регулируется группой безопасности балансировщика нагрузки.
- Другие сетевые конфигурации: Опишите свой сценарий, чтобы служба поддержки могла помочь соответствующим образом.
Любые изменения групп безопасности приватного балансировщика нагрузки должны выполняться ClickHouse Support. Это обеспечивает согласованность конфигурации и помогает избежать конфликтов в среде, управляемой ClickHouse Cloud.
PrivateLink, Private Service Connect или Private Link
Для максимальной сетевой изоляции и безопасности в развертываниях BYOC можно использовать AWS PrivateLink, GCP Private Service Connect или Azure Private Link. Эти варианты позволяют приложениям подключаться к сервисам ClickHouse Cloud по частной сети без необходимости настраивать пиринг VPC/VNet или открывать конечные точки в публичный интернет. Пошаговые инструкции по настройке см. в руководстве по настройке частной сети.Закрытое подключение к Kubernetes API
По умолчанию конечная точка API-сервера Kubernetes для вашего BYOC-кластера доступна из публичного интернета. В AWS доступ к ней ограничен IP-фильтрацией: разрешены только IP-адреса NAT gateway ClickHouse; в GCP и Azure доступ вместо этого контролируется облачным IAM (см. Доступность API-сервера Kubernetes). Для более высокого уровня безопасности можно ограничить API-сервер Kubernetes частным доступом. В этом случае в AWS и Azure он будет доступен только через частные сетевые подключения. В GCP публичная конечная точка с IP-адресом отключается, однако сервисы управления используют конечную точку на основе DNS с авторизацией через IAM, которая находится за пределами вашей сети VPC. Доступные варианты закрытого подключения зависят от вашего облачного провайдера:AWS VPC Lattice
Для развертываний в AWS к API-серверу Kubernetes можно получить частный доступ через AWS VPC Lattice без использования каких-либо сторонних компонентов:- ClickHouse Cloud автоматически создает VPC Lattice Resource Gateway и Resource Configuration, указывающую на конечную точку API-сервера EKS внутри вашего BYOC VPC, и предоставляет доступ к этой Resource Configuration управляющему аккаунту ClickHouse Cloud через AWS Resource Access Manager (RAM).
- Трафик между сервисами управления ClickHouse и вашим API-сервером Kubernetes полностью остается в частной сети AWS.
- Ресурс RAM Share создается из вашего аккаунта и ограничивается одним кластером BYOC; его удаление немедленно отзывает путь частного доступа.
- Поскольку доступ не зависит от агента, запущенного внутри вашего кластера Kubernetes, ClickHouse Support сохраняет доступ для устранения неполадок, даже если внутрикластерные компоненты недоступны.
Tailscale
Когда включена закрытая конечная точка API, сервисы управления ClickHouse подключаются к API-серверу Kubernetes через ту же сеть Tailscale с нулевым доверием, которая используется для доступа для устранения неполадок. В GCP через Tailscale работают инструменты развертывания, мониторинг и устранение неполадок, а сервисы управления используют конечную точку на основе DNS — см. раздел Частная конечная точка control-plane в GCP. Подробнее о том, как работает это подключение, см. в разделе Частная сеть Tailscale.Если для закрытого подключения вы используете только Tailscale, есть риск, что ClickHouse Support потеряет доступ к вашей среде, если агент Tailscale станет недоступен. Это может замедлить устранение неполадок или увеличить время ответа службы поддержки.
Частная конечная точка control-plane в GCP
В GCP сервисы управления ClickHouse по умолчанию обращаются к плоскости управления GKE через её публичную конечную точку с IP-адресом. Эту конечную точку можно отключить, и тогда плоскость управления перестанет быть доступна по публичному IP-адресу:- У плоскости управления остаются внутренняя конечная точка с IP-адресом, доступная только из вашей сети VPC, и конечная точка на основе DNS (
*.gke.goog), которая включена всегда. - Сервисы управления ClickHouse обращаются к плоскости управления через конечную точку на основе DNS. Доступ к ней авторизуется не списком разрешённых IP-адресов источника, а IAM-разрешением
container.clusters.connect, выданным служебной учётной записи, от имени которой ClickHouse действует в вашем проекте. Поэтому, отозвав это разрешение, вы закроете и этот путь доступа. Запрос завершается на фронтенде Google, а не внутри вашей сети VPC, поэтому рассматривайте его как путь доступа к плоскости управления, а не как частное сетевое соединение. - Инструменты развертывания, мониторинг и доступ инженеров ClickHouse для устранения неполадок используют внутреннюю конечную точку с IP-адресом через Tailscale. Агенты Tailscale развертываются в кластере при первоначальной настройке, поэтому включить этот режим можно только после её завершения.
- Если периметр VPC Service Controls ограничивает
container.googleapis.com, он ограничивает и конечную точку на основе DNS. Добавьте правило входящего трафика (ingress), разрешающее доступ удостоверениям управления ClickHouse; команда ClickHouse может предоставить их для вашего развертывания.
Azure Private Link
В развертываниях Azure к серверу API AKS можно подключаться по частной сети через Azure Private Link:- Кластер создается как частный кластер с функцией API Server VNet Integration, а его публичное полное доменное имя (FQDN) отключено.
- ClickHouse Cloud развертывает в вашей подписке Private Link Service перед внутренним load balancer сервера API, а также соответствующую частную конечную точку в управляющей виртуальной сети (VNet) ClickHouse Cloud. Соединение одобряется автоматически только для управляющей подписки ClickHouse Cloud.
- Трафик между сервисами управления ClickHouse и вашим сервером API не выходит за пределы магистральной сети Azure.
- Для доступа инженеров ClickHouse с целью устранения неполадок по-прежнему используется Tailscale.
Группы узлов
Группы узлов Kubernetes — это наборы вычислительных экземпляров, которые предоставляют ресурсы, необходимые для работы сервисов ClickHouse в развертывании BYOC. ClickHouse Cloud управляет этими группами узлов, автоматически настраивая их и масштабируя.Конфигурация по умолчанию
Кластеры BYOC разворачиваются с двумя основными типами групп узлов:- Системная группа узлов На них размещаются критически важные системные рабочие нагрузки — такие как ClickHouse Operator, Istio (для service mesh), компоненты мониторинга (Prometheus, Grafana, AlertManager), cluster autoscaler и другие базовые сервисы. Эти узлы обычно используют стандартные типы x86-инстансов.
- Группы узлов для рабочих нагрузок Они предназначены для рабочих нагрузок ClickHouse, связанных с данными, включая серверы и сервисы Keeper. По умолчанию узлы рабочих нагрузок работают на ARM-инстансах, обеспечивая оптимальный баланс производительности и стоимости. Однако при необходимости их можно настроить с альтернативными профилями CPU/памяти или переключить на архитектуру x86.
Настройка групп узлов
Нужны специализированные ресурсы или архитектуры? Доступны следующие варианты настройки — свяжитесь с ClickHouse Support, чтобы обсудить и реализовать их:- Выбор типа инстанса Выберите конкретные типы инстансов в соответствии с такими требованиями, как производительность, соответствие нормативным требованиям, увеличенный объём памяти/CPU или использование зарезервированных ресурсов.
- Соотношение CPU/памяти При необходимости скорректируйте вычислительный профиль для групп узлов для рабочих нагрузок по мере необходимости.
- Архитектура При необходимости переключите группы узлов для рабочих нагрузок с ARM на x86.
Примечание: Spot (вытесняемые) инстансы не поддерживаются; по умолчанию все группы узлов BYOC работают на инстансах on-demand.
Все изменения настроек и конфигурации групп узлов должны согласовываться через ClickHouse Support. Это обеспечивает совместимость, стабильность и оптимальную производительность.
Автоматическое масштабирование
Группы узлов кластера масштабируются автоматически с помощью Cluster Autoscaler в зависимости от следующих факторов:- Запросы и лимиты ресурсов подов
- Общая емкость кластера и уровень его загрузки
- Потребности сервиса ClickHouse в масштабировании