Перейти к основному содержанию
Вы можете записаться в список ожидания закрытой предварительной версии здесь.
BigQuery ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из BigQuery в ClickHouse Cloud. В закрытой предварительной версии поддерживаются первоначальная загрузка, первоначальная загрузка с последующей непрерывной репликацией, а также непрерывная репликация без первоначальной загрузки. В качестве методов CDC доступны репликация на основе запросов, APPENDS и CHANGES. BigQuery ClickPipes можно вручную развёртывать и настраивать через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.

Возможности

Первоначальная загрузка

При первоначальной загрузке выбранные таблицы из набора данных BigQuery копируются в ClickHouse. Её можно выполнить отдельно или затем перейти к непрерывной репликации. Для промежуточного хранения данных используется указанный вами бакет Google Cloud Storage (GCS). ClickPipe, настроенный только на первоначальную загрузку, останавливается после её завершения.
ClickPipes использует запросы BigQuery EXPORT DATA, чтобы скопировать данные в бакет промежуточного хранилища. BigQuery взимает плату за выполнение этих запросов; хранение данных в GCS также оплачивается.

Непрерывная репликация

После первоначальной загрузки ClickPipe для BigQuery может периодически проверять наличие новых данных и переносить их в ClickHouse. Непрерывную репликацию можно запустить и без первоначальной загрузки. Выбирайте метод репликации в зависимости от того, как изменяется исходная таблица. В примерах показана структура запросов; ClickPipes выбирает настроенные столбцы и метаданные событий. Для репликации на основе запросов выберите в каждой таблице столбец, который будет служить водяной меткой. Он должен иметь тип TIMESTAMP и входить в число реплицируемых столбцов. Устанавливайте его значение при вставке или обновлении строки. Если строка изменится, но значение водяной метки не обновится, ClickPipes не обнаружит это изменение. Если необходимо реплицировать удаления, используйте CHANGES. Оба метода на основе событий работают только с обычными таблицами BigQuery. Для APPENDS включать историю изменений не нужно. Чтобы использовать CHANGES, включите историю изменений для каждой исходной таблицы перед созданием ClickPipe:
CHANGES также требует, чтобы для целевой таблицы был задан первичный ключ BigQuery или пользовательский ключ сортировки. Выберите столбцы, по которым можно однозначно определить строку, чтобы ClickPipes применял обновления и удаления к нужной строке. BigQuery не проверяет соблюдение ограничений первичного ключа, поэтому значения этих столбцов в исходных данных должны быть уникальными.
APPENDS и CHANGES могут считывать изменения только в пределах окна путешествия во времени BigQuery для исходной таблицы. По умолчанию оно составляет семь дней, но может быть сокращено до двух. Если репликация отстанет настолько, что изменения выйдут за пределы этого окна, заново выполните первоначальную загрузку, чтобы восстановить полную копию. BigQuery взимает плату за запросы, выполняемые всеми тремя методами. Включение истории изменений для CHANGES также увеличивает затраты на хранение в BigQuery.

Сопоставление типов данных

Типы данных BigQuery.

Управление доступом

Аутентификация

Учетные данные сервисного аккаунта

ClickPipes аутентифицируется в вашем проекте Google Cloud с помощью ключа сервисного аккаунта. Мы рекомендуем создать отдельный сервисный аккаунт с минимально необходимым набором разрешений, чтобы ClickPipes мог экспортировать данные из BigQuery, загружать их в промежуточный GCS-бакет и считывать в ClickHouse.
Создание ключа сервисного аккаунта с разрешениями для BigQuery и Cloud Storage

GCP Workload Identity (бета)

Следуя руководству по GCP Workload Identity, получите управляемую служебную учётную запись из контекста сервиса ClickPipes. Назначьте ей перечисленные ниже роли BigQuery и GCS и создайте пайп с методом аутентификации SERVICE_ACCOUNT_WORKLOAD_IDENTITY. При использовании этого метода аутентификации не указывайте учётные данные служебной учётной записи.

Разрешения

BigQuery

Служебной учётной записи, которую использует ClickPipes (предоставленной вами или управляемой через workload identity), нужны следующие роли BigQuery: Для непрерывной репликации также выдайте роль roles/bigquery.readSessionUser на уровне проекта Google Cloud. ClickPipes использует BigQuery Storage Read API, чтобы создавать сеансы чтения и считывать результаты запросов CDC (фиксации изменений данных). Эту роль нельзя выдать на уровне набора данных, поэтому сохраните роль roles/bigquery.dataViewer для исходных наборов данных или таблиц, чтобы служебная учётная запись могла читать их данные. Чтобы дополнительно сузить область доступа, рекомендуем использовать условия IAM, чтобы ограничить ресурсы, к которым у роли есть доступ. Например, роль dataViewer можно ограничить конкретным набором данных, содержащим таблицы, которые вы хотите синхронизировать:

Cloud Storage

Сервисный аккаунт должен иметь следующие роли Cloud Storage: Чтобы дополнительно сузить область доступа, мы рекомендуем использовать условия IAM, чтобы ограничить ресурсы, к которым у роли есть доступ. Например, можно ограничить роли objectAdmin и bucketViewer, предоставив им доступ только к выделенному бакету, созданному для синхронизации ClickPipes.