Перейти к основному содержанию
Вы можете записаться в список ожидания закрытой предварительной версии здесь.
BigQuery ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из BigQuery в ClickHouse Cloud. В закрытой предварительной версии поддерживаются первоначальная загрузка, первоначальная загрузка с последующей непрерывной репликацией, а также непрерывная репликация без первоначальной загрузки. В качестве методов CDC доступны репликация на основе запросов, APPENDS и CHANGES. BigQuery ClickPipes можно вручную развёртывать и настраивать через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.

Предварительные требования

1

Выберите источник данных

1. В ClickHouse Cloud в главном меню выберите Источники данных и нажмите Создать ClickPipe.
Выбор импорта
2. Нажмите на карточку BigQuery.
Выбор карточки BigQuery
2

Настройте соединение ClickPipe

Укажите сведения о подключении к проекту BigQuery. Если вы планируете выполнить первоначальную загрузку, укажите промежуточный GCS-бакет.1. Загрузите файл ключа .json сервисного аккаунта, созданного для ClickPipes. Убедитесь, что сервисному аккаунту предоставлен минимальный набор необходимых разрешений.
Загрузка ключа сервисного аккаунта
2. Выберите режим репликации: только первоначальная загрузка, первоначальная загрузка + CDC или только CDC. Если выбран режим CDC, укажите метод на основе запросов или событий.
Режимы репликации BigQuery: только первоначальная загрузка, первоначальная загрузка с CDC и только CDC
3. Если вы планируете выполнить первоначальную загрузку, укажите путь к GCS-бакету для промежуточного хранения данных.4. Нажмите Далее, чтобы проверить введённые данные.
3

Настройте ClickPipe

Задайте значения для выбранных этапов. Настройки первоначальной загрузки действуют только при импорте существующих данных через ClickPipe, а настройки CDC — только при последующей репликации изменений.
Настройки BigQuery ClickPipe для интервала синхронизации, первоначальной загрузки и CDC
4

Настройте таблицы

1. Выберите базу данных ClickHouse, в которую будут реплицироваться таблицы BigQuery. Можно выбрать существующую базу данных или создать новую.2. Выберите исходные таблицы. Для каждой таблицы можно изменить имя целевой таблицы и указать столбцы для репликации в разделе Настройки столбцов. В списке отображаются только датасеты, к которым у сервисного аккаунта есть доступ.
Выбор исходной таблицы BigQuery и настройка имени целевой таблицы, водяной метки CDC, ключа сортировки и расширенных настроек
3. Настройте CDC для каждой таблицы. На снимке экрана показаны настройки репликации на основе запросов. Выберите столбец водяной метки CDC типа TIMESTAMP, включите его в число реплицируемых столбцов и обновляйте его значение при каждом изменении строки. Для репликации на основе событий вместо этого выберите APPENDS или CHANGES. Для CHANGES в исходной таблице требуется enable_change_history = TRUE.4. Проверьте ключ сортировки. Если строки могут обновляться или удаляться, выберите столбцы с неизменными значениями, которые однозначно определяют каждую строку. Для CHANGES у исходной таблицы должен быть первичный ключ либо здесь необходимо задать ключ сортировки. ClickHouse использует ключ сортировки для организации данных при выполнении запросов; если он не задан, используется tuple(), а первичный индекс отсутствует.5. Откройте Расширенные настройки, чтобы выбрать движок таблицы ClickHouse или при необходимости задать ключ партиционирования для начальной загрузки. Этот ключ партиционирования не задаёт выражение PARTITION BY целевой таблицы.
5

Настройте разрешения

Наконец, можно настроить разрешения для внутреннего пользователя ClickPipes.Разрешения: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Ему можно назначить пользовательскую или одну из предопределённых ролей:
  • Full access: полный доступ к кластеру. Необходима, если с целевой таблицей используются materialized views или словарь.
  • Only destination: разрешение только на вставку данных в целевую таблицу.
6

Завершите настройку

Нажмите Create ClickPipe, чтобы завершить настройку. После этого откроется страница обзора, где можно отслеживать ход первоначальной загрузки и просматривать подробную информацию о ваших BigQuery ClickPipes.
Разрешения