Вы можете записаться в список ожидания закрытой предварительной версии здесь.
APPENDS и CHANGES.
BigQuery ClickPipes можно вручную развёртывать и настраивать через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.
Предварительные требования
- У вас должны быть права на управление сервисными аккаунтами и ролями IAM в вашем проекте GCP, либо вам потребуется помощь администратора. Мы рекомендуем создать отдельный сервисный аккаунт с минимально необходимым набором разрешений, следуя официальной документации.
- Для первоначальной загрузки требуется бакет Google Cloud Storage (GCS) в качестве промежуточного хранилища. Мы рекомендуем создать отдельный бакет для вашего ClickPipe, следуя инструкциям Google Cloud.
- Для непрерывной репликации назначьте сервисному аккаунту роль BigQuery Read Session User на уровне проекта. Перед выбором таблиц проверьте требования к методу репликации.
1
Выберите источник данных
1. В ClickHouse Cloud в главном меню выберите Источники данных и нажмите Создать ClickPipe.
2. Нажмите на карточку BigQuery.


2
Настройте соединение ClickPipe
Укажите сведения о подключении к проекту BigQuery. Если вы планируете выполнить первоначальную загрузку, укажите промежуточный GCS-бакет.1. Загрузите файл ключа 
2. Выберите режим репликации: только первоначальная загрузка, первоначальная загрузка + CDC или только CDC. Если выбран режим CDC, укажите метод на основе запросов или событий.
3. Если вы планируете выполнить первоначальную загрузку, укажите путь к GCS-бакету для промежуточного хранения данных.4. Нажмите Далее, чтобы проверить введённые данные.
.json сервисного аккаунта, созданного для ClickPipes. Убедитесь, что сервисному аккаунту предоставлен минимальный набор необходимых разрешений.

3
Настройте ClickPipe
Задайте значения для выбранных этапов. Настройки первоначальной загрузки действуют только при импорте существующих данных через ClickPipe, а настройки CDC — только при последующей репликации изменений.

4
Настройте таблицы
1. Выберите базу данных ClickHouse, в которую будут реплицироваться таблицы BigQuery. Можно выбрать существующую базу данных или создать новую.2. Выберите исходные таблицы. Для каждой таблицы можно изменить имя целевой таблицы и указать столбцы для репликации в разделе Настройки столбцов. В списке отображаются только датасеты, к которым у сервисного аккаунта есть доступ.
3. Настройте CDC для каждой таблицы. На снимке экрана показаны настройки репликации на основе запросов. Выберите столбец водяной метки CDC типа

TIMESTAMP, включите его в число реплицируемых столбцов и обновляйте его значение при каждом изменении строки. Для репликации на основе событий вместо этого выберите APPENDS или CHANGES. Для CHANGES в исходной таблице требуется enable_change_history = TRUE.4. Проверьте ключ сортировки. Если строки могут обновляться или удаляться, выберите столбцы с неизменными значениями, которые однозначно определяют каждую строку. Для CHANGES у исходной таблицы должен быть первичный ключ либо здесь необходимо задать ключ сортировки. ClickHouse использует ключ сортировки для организации данных при выполнении запросов; если он не задан, используется tuple(), а первичный индекс отсутствует.5. Откройте Расширенные настройки, чтобы выбрать движок таблицы ClickHouse или при необходимости задать ключ партиционирования для начальной загрузки. Этот ключ партиционирования не задаёт выражение PARTITION BY целевой таблицы.5
Настройте разрешения
Наконец, можно настроить разрешения для внутреннего пользователя ClickPipes.Разрешения: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Ему можно назначить пользовательскую или одну из предопределённых ролей:
Full access: полный доступ к кластеру. Необходима, если с целевой таблицей используются materialized views или словарь.Only destination: разрешение только на вставку данных в целевую таблицу.
6
Завершите настройку
Нажмите Create ClickPipe, чтобы завершить настройку. После этого откроется страница обзора, где можно отслеживать ход первоначальной загрузки и просматривать подробную информацию о ваших BigQuery ClickPipes.
