Обзор
В этом руководстве объясняется, как предоставить ClickPipes доступ к кластеру Amazon MSK с помощью сервисов конечных точек VPC AWS PrivateLink. Используйте этот подход, если подключение MSK multi-VPC недоступно или его возможностей недостаточно, например в следующих случаях:- Межрегиональное подключение ClickPipes к MSK.
- Кластеры MSK Express.
- Конфигурации Kafka, в которых при использовании приватного подключения необходимо сохранять имена хостов брокеров.
Как работает настройка
Сначала клиенты Kafka подключаются к bootstrap-брокерам, получают метаданные кластера, а затем напрямую подключаются к именам хостов брокеров, указанным в этих метаданных. Поэтому одного балансировщика нагрузки перед всеми брокерами недостаточно для надежной настройки MSK PrivateLink. Вместо этого создайте отдельный путь PrivateLink для каждого брокера:- внутренний Network Load Balancer (NLB);
- IP целевая группа, нацеленный на приватный IP-адрес брокера;
- сервис сервис конечной точки VPC, работающий через этот NLB;
- обратную частную конечную точку (RPE) ClickPipes;
- пользовательский private DNS, соответствующий имени хоста этого брокера.
Требования
- Кластер MSK в частных подсетях.
- Имена хостов брокеров и частные IP-адреса кластера MSK.
- Разрешение на создание NLB, целевых групп, прослушивающих обработчиков и сервисов конечных точек VPC в VPC кластера MSK.
- Субъект AWS account ClickPipes, которому разрешён доступ к каждому сервису конечной точки VPC:
arn:aws:iam::072088201116:root.
Получите имена хостов брокеров и приватные IP-адреса
Используйте AWS CLI, чтобы получить список узлов-брокеров MSK:9098.
ClickPipe будет использовать эти имена хостов брокеров в качестве Kafka-брокеров. Не используйте строку bootstrap-брокера MSK для этой настройки через интерфейс.
Создайте по одному сервису конечной точки для каждого брокера
Повторите эти шаги для каждого брокера MSK.Создайте внутренний NLB
Создайте внутренний Network Load Balancer в VPC MSK. NLB должен использовать приватные подсети и не должен быть доступен из интернета. Если к NLB привязана группа безопасности, отключитеEnforce Security Group Inbound Rules on Private Link Traffic. Это необходимо, чтобы трафик от конечной точки VPC ClickPipes мог достигать NLB.
Создайте целевую группу для IP-адресов
Создайте целевую группу со следующими параметрами:- Тип цели:
IP. - Протокол:
TCP. - Порт: порт Kafka-брокера, например
9098для MSK IAM. - Цель: приватный IP-адрес ровно одного брокера.
Создайте TCP-листенер
Создайте листенер NLB на порту Kafka-брокера и направьте трафик в целевую группу, соответствующую конкретному брокеру.Создайте сервис конечной точки VPC
Создайте сервис конечной точки VPC на базе NLB для конкретного брокера. Добавьте AWS-субъект ClickPipes в список разрешённых субъектов:Создайте обратные частные конечные точки ClickPipes
В консоли ClickHouse Cloud создайте по одной обратной частной конечной точке для каждого сервиса конечной точки брокера:- Перейдите в свой сервис ClickHouse Cloud.
- Начните создание ClickPipe.
- Выберите
Reverse private endpoint. - Выберите
сервис конечной точки VPCв качестве типа конечной точки VPC. - Введите имя сервиса конечной точки VPC для соответствующего брокера.
- В поле
пользовательское имя private DNSвведите исходное имя хоста брокера MSK для этого брокера. - Создайте конечную точку.
- Если конечная точка ожидает подтверждения, подтвердите запрос на подключение в консоли сервиса конечной точки VPC в AWS.
type значение VPC_ENDPOINT_SERVICE, укажите имя сервиса конечной точки VPC для соответствующего брокера и одно пользовательское сопоставление private DNS для имени хоста брокера:
clickhouse_clickpipes_reverse_private_endpoint для создания конечной точки и clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns для настройки сопоставления имени хоста брокера.
Создайте Kafka ClickPipe
Следуйте руководству по AWS PrivateLink для ClickPipes, чтобы создать ClickPipe с обратными частными конечными точками. При создании Kafka ClickPipe:- Используйте исходные имена хостов брокеров MSK в качестве списка брокеров, включая порт, используемый вашим листенером MSK, и метод аутентификации.
- Не используйте bootstrap-строку брокера MSK.
- Выберите или привяжите все обратные частные конечные точки для отдельных брокеров.
- Настройте метод аутентификации, который требуется вашему кластеру MSK, например аутентификацию с использованием роли IAM.
9098, для SASL/SCRAM — 9096, а для TLS — 9094. Проверьте правильный порт в конфигурации вашего кластера MSK или в выводе bootstrap-брокера.
Пример списка брокеров:
пользовательским именем private DNS, настроенным на одном из RPE.