Перейти к основному содержанию
ClickHouse Managed Postgres — это полностью управляемый сервис Postgres в ClickHouse Cloud. Это самый быстрый в подключении к ClickPipes источник Postgres: логическая репликация включена на каждом инстансе, IP-адреса ClickPipes разрешены по умолчанию, а сведения о подключении находятся в той же консоли, что и ваш сервис ClickHouse. Начать репликацию из инстанса ClickHouse Managed Postgres можно тремя способами. Во всех случаях создаётся обычный ClickPipe для Postgres, поэтому после запуска пайпа применимо всё, что описано в документации по ClickPipe для Postgres.

Вариант 1: синхронизация в ClickHouse из сервиса Postgres

Откройте свой сервис ClickHouse Managed Postgres в консоли ClickHouse Cloud и нажмите Sync to ClickHouse на боковой панели. Мастер автоматически заполнит соединение с источником и предложит выбрать целевой сервис ClickHouse, метод репликации и таблицы для репликации. Настраивать пользователя, публикацию или сеть не требуется. Пошаговые инструкции см. в руководстве Sync to ClickHouse. Для репликации с низкой задержкой вы также можете выбрать WalShadow — нативный движок репликации, который выполняет чтение на уровне файловой системы; в настоящее время доступен в режиме закрытой предварительной версии.

Вариант 2: выбор ClickHouse Managed Postgres в качестве источника в ClickPipes

Если вам удобнее начать со стороны пункта назначения, откройте свой сервис ClickHouse, перейдите в раздел Data Sources и выберите ClickHouse Managed Postgres в списке источников. Далее укажите сведения о подключении к вашему инстансу Postgres — так же, как и для любого другого источника Postgres.

Сведения о подключении

Откройте свой сервис ClickHouse Managed Postgres и нажмите Connect, чтобы посмотреть хост, порт, базу данных, пользователя и пароль. Используйте прямое подключение к Postgres, а не переключатель via PgBouncer: ClickPipes не поддерживает репликацию через PgBouncer или любой другой пул соединений. Подробнее см. в разделе Connection. В clickhousectl команда clickhousectl cloud postgres get <postgres-id> выводит имя хоста и имя пользователя. Пароль она не возвращает: он показывается лишь один раз — при выполнении cloud postgres create, а задать новый пароль можно командой clickhousectl cloud postgres reset-password <postgres-id> --generate.

Создание пользователя с разрешениями

Подключиться можно под пользователем postgres по умолчанию. Для продакшна мы рекомендуем создать отдельного пользователя репликации с доступом только для чтения — точно так же, как для любого другого источника Postgres. Подключитесь к своему инстансу с помощью psql и выполните:
  1. Создайте отдельного пользователя для ClickPipes:
  2. Предоставьте пользователю доступ только для чтения на уровне схемы. В примере ниже показаны разрешения для схемы public. Повторите эти команды для каждой схемы, содержащей таблицы, которые нужно реплицировать:
  3. Предоставьте пользователю привилегии репликации:
  4. Создайте публикацию с таблицами, которые нужно реплицировать. Мы настоятельно рекомендуем включать в публикацию только необходимые таблицы, чтобы избежать накладных расходов, снижающих производительность.
Для любой таблицы, включённой в публикацию, должен быть определён первичный ключ, либо её идентификатор реплики должен быть настроен в значение FULL. Рекомендации по определению состава публикации см. в Postgres FAQ.
  • Чтобы создать публикацию для определённых таблиц:
  • Чтобы создать публикацию для всех таблиц в определённой схеме:

логическая репликация

логическая репликация уже включена на каждом инстансе ClickHouse Managed Postgres. Настройку wal_level или parameter group менять не нужно. Проверить это можно так:

Сетевой доступ

ClickHouse Managed Postgres по умолчанию принимает подключения от ClickPipes. Если для вашего сервиса Postgres настроены IP-фильтры, добавьте в список разрешённых статические IP-адреса ClickPipes для региона вашего сервиса ClickHouse. В clickhousectl добавьте для каждого адреса отдельное правило на прямом порту Postgres, а затем выполните clickhousectl cloud postgres get <postgres-id>, чтобы проверить результат:

TLS

Инстансы ClickHouse Managed Postgres предъявляют сертификат, подписанный CA, который уникален для каждого инстанса и не является публично доверенным. ClickPipes по умолчанию проверяет сертификат, поэтому проверка подключения будет завершаться ошибкой, пока вы не выполните одно из следующих действий:
  • Скачайте набор CA‑сертификатов на вкладке Settings вашего сервиса Postgres и загрузите его с помощью Upload CA в настройках подключения ClickPipe. Это рекомендуемый вариант. О том, где найти этот набор, см. Verified TLS connection.
  • Включите Skip certificate verification в настройках подключения ClickPipe. Соединение останется зашифрованным, но подлинность сервера проверяться не будет.
Если вы создаёте пайп с помощью clickhousectl, получите набор сертификатов и передайте его через --ca-certificate, как показано в варианте 3.

Вариант 3: создание пайпа с помощью clickhousectl

clickhousectl позволяет создать такой же пайп из командной строки. Сначала настройте пользователя и публикацию clickpipes, как описано в варианте 2. Если вместо этого вы используете стандартного пользователя postgres, не указывайте --publication-name — CLI сам создаст публикацию для сопоставленных таблиц. Для создания пайпа требуется ключ API: вход через OAuth даёт доступ только для чтения. Узнайте имя хоста, затем сохраните набор CA инстанса:
Создайте пайп в целевом сервисе ClickHouse, передав набор CA через параметр --ca-certificate:
Пайп создаёт таблицы ReplacingMergeTree. Чтобы получить текущее состояние, выполните SELECT ... FROM events FINAL WHERE _peerdb_is_deleted = 0. Подробное пошаговое описание, включая ожидание перехода пайпа в состояние Running и проверку данных, см. в варианте для CLI в руководстве по ClickPipe для Postgres.

Что дальше?

Теперь вы можете создать ClickPipe и начать ингестию данных из вашего инстанса ClickHouse Managed Postgres в ClickHouse Cloud. Нативный CDC из ClickHouse Managed Postgres в ClickHouse предоставляется без дополнительной оплаты; подробнее см. в разделе Pricing.