file1, file2 и file3 будут приниматься последовательно, но если в контейнер будет добавлен новый file 0, он будет проигнорирован, потому что имя этого файла лексикографически не больше имени последнего принятого файла.
В этом режиме ABS ClickPipe выполняет начальную загрузку всех файлов по указанному пути, а затем с настраиваемым интервалом проверяет наличие новых файлов (по умолчанию — каждые 30 секунд). Чтобы начать непрерывную ингестию после определённого файла, настройте Start after. ClickPipes пропустит файлы, которые лексикографически меньше или равны заданному значению, и продолжит приём более новых файлов с этого момента.
ClickPipes для объектного хранилища используют стандарт POSIX для сопоставления файлов с шаблоном. Все шаблоны чувствительны к регистру, а сопоставление выполняется по полному пути после имени контейнера. Для повышения производительности используйте максимально конкретный шаблон (например, data-2024-*.csv вместо *.csv).
Примеры:
https://storageaccount.blob.core.windows.net/container/folder/*.csvhttps://storageaccount.blob.core.windows.net/container/logs/**/data.jsonhttps://storageaccount.blob.core.windows.net/container/file-?.parquethttps://storageaccount.blob.core.windows.net/container/data-2024-*.csv.gz
Примеры:
https://storageaccount.blob.core.windows.net/container/{documents-01,documents-02}.jsonhttps://storageaccount.blob.core.windows.net/container/file-{1..100}.csvhttps://storageaccount.blob.core.windows.net/container/{logs,metrics}/data.parquet
TRUNCATE, а затем повторить вставку из чистого состояния. Только после полного и успешного завершения вставки партиции из staging-таблицы перемещаются в целевую таблицу. Подробнее об этой стратегии читайте в этой статье блога.
Чтобы отслеживать, какие файлы были приняты, включите виртуальный столбец _file в список сопоставления столбцов. Виртуальный столбец _file содержит имя файла исходного объекта, которое можно использовать в запросе, чтобы определить, какие файлы были обработаны.
ABS ClickPipe поддерживает только закрытые контейнеры. Публичные контейнеры не поддерживаются.
Для контейнеров в политике бакета должны быть разрешены действия s3:GetObject и s3:ListBucket.
Аутентификация через Microsoft Entra ID (включая Managed Identities) в настоящее время не поддерживается.
Read, List) для контейнера и BLOB-объектов, данные из которых вы хотите принимать.
ABS ClickPipes используют два отдельных сетевых маршрута: один для обнаружения метаданных через сервис ClickPipes, а другой — для ингестии данных через сервис ClickHouse Cloud. Если вы хотите настроить дополнительный уровень сетевой безопасности (например, для соответствия нормативным требованиям), сетевой доступ необходимо настроить для обоих маршрутов.
-
Для управления доступом на основе IP правила IP-сетей в брандмауэре Azure Storage должны разрешать статические IP-адреса региона сервиса ClickPipes, перечисленные здесь, а также статические IP-адреса для сервиса ClickHouse Cloud. Чтобы получить статические IP-адреса для вашего региона ClickHouse Cloud, откройте терминал и выполните:

LIST в Azure Blob Storage добавляют дополнительную задержку при обнаружении новых файлов сверх стандартного интервала опроса:
- < 100 тыс. файлов: ~30 секунд (стандартный интервал опроса)
- 100 тыс. файлов: ~40–45 секунд
- 250 тыс. файлов: ~55–70 секунд
- 500 тыс.+ файлов: может превышать 90 секунд