Provisioning. В ходе подготовки мы разворачиваем базовую инфраструктуру для работы ClickPipes этого сервиса, а также регистрируем начальные метаданные для пайпа. Поскольку вычислительные ресурсы ClickPipes в рамках одного сервиса используются совместно, ваш второй ClickPipe будет создан гораздо быстрее, чем первый, — инфраструктура уже будет готова.
После подготовки пайпа он переходит в состояние Setup. В этом состоянии мы создаём таблицы ClickHouse в пункте назначения. Здесь же мы получаем и сохраняем определения ваших исходных таблиц.
После завершения настройки пайп переходит в состояние Snapshot (если это не пайп только для CDC, который перейдет в Running). Snapshot, Initial Snapshot и Initial Load (более распространенный вариант) — взаимозаменяемые термины. В этом состоянии создается снимок исходных таблиц MySQL и загружается в ClickHouse. Срок хранения бинарных логов должен учитывать время, необходимое для первоначальной загрузки. Подробнее о первоначальной загрузке см. в документации по параллельной первоначальной загрузке. Пайп также перейдет в состояние Snapshot, если будет запущена ресинхронизация или если в существующий пайп будут добавлены новые таблицы.
После завершения первоначальной загрузки пайп переходит в состояние Running (если это не пайп только со снимком, который в таком случае перейдёт в Completed). На этом этапе для пайпа начинается Change-Data Capture. В этом состоянии мы начинаем читать бинарные логи из исходной базы данных и синхронизировать данные с ClickHouse батчами. Подробнее об управлении CDC см. в документации по управлению CDC.
Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдет в состояние Paused. В этом состоянии новые данные из исходной базы данных не загружаются, но уже имеющиеся данные в ClickHouse сохраняются. Из этого состояния работу пайпа можно возобновить.
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после выхода этой возможности.
Pausing. Это промежуточное состояние, в котором идет остановка процесса CDC. Как только процесс CDC будет полностью остановлен, пайп перейдет в состояние Paused.
Это состояние скоро появится. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать, когда оно станет доступно.
Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после его выхода.
Failed. Чтобы восстановить пайп после этого, обратитесь в службу поддержки или выполните ресинхронизацию его.