Создание первого GCS ClickPipe

GCS ClickPipe обеспечивает полностью управляемый и отказоустойчивый способ приёма данных из Google Cloud Storage (GCS). Он поддерживает как однократную, так и непрерывную ингестию с семантикой «ровно один раз».

GCS ClickPipes могут быть развернуты и управляться вручную с помощью ClickPipes UI, а также программно с использованием OpenAPI и Terraform.

Выберите источник данных

1. В ClickHouse Cloud в главном меню навигации выберите Data sources и нажмите Create ClickPipe.

2. Нажмите плитку Google Cloud Storage.

Настройте подключение ClickPipe

1. Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации к вашему сервису объектного хранилища.

• Authentication method: ClickPipe для ABS поддерживает HMAC credentials (Credentials). См. справочную документацию для получения рекомендаций по аутентификации и настройке прав доступа.

  • GCS file path: ClickPipe для GCS использует Cloud Storage XML API для обеспечения совместимости, что требует использования endpoint storage.googleapis.com:

    https://storage.googleapis.com/bucket-name/key-name
    

    Можно использовать POSIX-символы подстановки для сопоставления нескольких файлов или префиксов. См. справочную документацию для рекомендаций по поддерживаемым шаблонам.

2. Нажмите Incoming data. ClickPipes получит метаданные из вашего бакета для следующего шага.

Выберите формат данных

В интерфейсе будет показан список файлов в указанном бакете. Выберите формат данных (в настоящее время поддерживается подмножество форматов ClickHouse) и укажите, хотите ли вы включить непрерывную ингестию. См. раздел «continuous ingest» на обзорной странице для получения дополнительной информации.

Настройте таблицу, схему и параметры

На следующем шаге вы можете выбрать, хотите ли вы выполнять приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. Вы можете видеть предварительный просмотр изменений в реальном времени в примерной таблице в верхней части экрана.

Вы также можете настроить расширенные параметры с помощью предоставленных элементов управления.

Кроме того, вы можете настроить приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.

Ссылки

Вы также можете сопоставлять виртуальные столбцы, такие как _path или _size, с полями.

Настройте права доступа

Наконец, вы можете настроить права доступа для внутреннего пользователя ClickPipes.

Permissions: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете выбрать роль для этого внутреннего пользователя, используя настраиваемую роль или одну из предопределённых ролей:

• Full access: с полным доступом к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
• Only destination table: с правами INSERT только в целевую таблицу.

Завершите настройку

Нажав «Complete Setup», система зарегистрирует ваш ClickPipe, и вы сможете увидеть его в сводной таблице.

Сводная таблица предоставляет элементы управления для отображения примеров данных из источника или целевой таблицы в ClickHouse.

А также элементы управления для удаления ClickPipe и отображения сводной информации о задании по приёму данных.

Поздравляем! Вы успешно настроили свой первый ClickPipe. Если это ClickPipe, настроенный для непрерывной ингестии, он будет постоянно работать, выполняя приём данных в реальном времени из вашего удалённого источника данных. В противном случае будет выполнена пакетная ингестия, после чего работа завершится.