pg_dump или pg_restore, либо используя один поток для чтения из исходной базы данных и записи в ClickHouse.
Однако ClickPipe для Postgres может распараллелить этот процесс, что позволяет значительно ускорить начальную загрузку.
В Postgres каждая строка таблицы имеет уникальный идентификатор — CTID. Это системный столбец, который по умолчанию не отображается, но его можно использовать для однозначной идентификации строк в таблице. CTID представляет собой комбинацию номера блока и смещения внутри него, что обеспечивает эффективный доступ к строкам.
ClickPipe для Postgres использует столбец CTID для логического партиционирования исходных таблиц. Сначала он выполняет COUNT(*) для исходной таблицы, а затем — запрос с оконной функцией, разбивающий данные на партиции, чтобы получить диапазоны CTID для каждой из них. Это позволяет ClickPipe читать исходную таблицу параллельно, при этом каждая партиция обрабатывается отдельным потоком.
Рассмотрим приведённые ниже настройки:

- Параметры снимка нельзя изменить после создания пайпа. Если вы хотите их поменять, потребуется создать новый ClickPipe.
- При добавлении таблиц в существующий ClickPipe изменить параметры снимка нельзя. Для новых таблиц ClickPipe будет использовать уже заданные параметры.