Provisioning. На этапе подготовки мы разворачиваем базовую инфраструктуру для работы ClickPipes в этом сервисе, а также регистрируем исходные метаданные для пайпа. Поскольку вычислительные ресурсы ClickPipes в рамках сервиса являются общими, второй ClickPipe будет создан значительно быстрее первого — инфраструктура уже будет готова.
После создания пайпа он переходит в состояние Setup. На этом этапе мы создаём таблицы ClickHouse в пункте назначения.
После завершения настройки система переходит в состояние Snapshot (если только это не пайп только с CDC (фиксация изменений данных) — тогда он перейдёт в Running). Snapshot, Initial Snapshot и Initial Load (более употребительный вариант) — взаимозаменяемые термины. В этом состоянии создаётся снимок исходных коллекций MongoDB, который затем загружается в ClickHouse. Параметр хранения для oplog должен учитывать время первоначальной загрузки. Пайп также переходит в состояние Snapshot, если запускается ресинхронизация или если в существующий пайп добавляются новые таблицы.
После завершения начальной загрузки пайп переходит в состояние Running (если только это не пайп, работающий только со снимком, — тогда он перейдёт в Completed). На этом этапе пайп начинает CDC (фиксацию изменений данных). В этом состоянии мы начинаем передавать изменения из исходного кластера MongoDB в ClickHouse в режиме стриминга. О том, как управлять CDC, см. документацию по управлению CDC.
Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдёт в состояние Paused. В этом состоянии новые данные из исходной MongoDB не поступают, но уже имеющиеся данные в ClickHouse сохраняются. Из этого состояния пайп можно снова запустить.
Это состояние скоро появится. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать, когда оно станет доступно.
Pausing. Это промежуточное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC пайп перейдет в состояние Paused.
Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после релиза.
Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после его выхода.
Failed. Вы можете обратиться в службу поддержки или выполнить ресинхронизацию своего пайпа, чтобы восстановить его из этого состояния.