Табличная функция paimonCluster

Experimental feature. Learn more.

Это расширение табличной функции paimon.

Позволяет обрабатывать файлы из Apache Paimon параллельно на множестве узлов, входящих в указанный кластер. На инициаторе создаётся подключение ко всем узлам кластера, и каждый файл динамически распределяется между ними. На рабочем узле у инициатора запрашивается следующая задача для обработки, и она выполняется. Это повторяется до тех пор, пока все задачи не будут выполнены.

Синтаксис

paimonS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

paimonAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

paimonHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])

Аргументы

• cluster_name — имя кластера, которое используется для построения набора адресов и параметров подключения к удалённым и локальным серверам.
• Описание всех остальных аргументов совпадает с описанием аргументов эквивалентной табличной функции paimon.
• Необязательный параметр extra_credentials можно использовать для передачи role_arn для доступа на основе ролей в ClickHouse Cloud. Шаги по настройке см. в разделе Secure S3.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера из указанной таблицы Paimon.

Виртуальные столбцы

• _path — путь к файлу. Тип: LowCardinality(String).
• _file — имя файла. Тип: LowCardinality(String).
• _size — размер файла в байтах. Тип: Nullable(UInt64). Если размер файла неизвестен, значение — NULL.
• _time — время последнего изменения файла. Тип: Nullable(DateTime). Если время неизвестно, значение — NULL.
• _etag — ETag файла. Тип: LowCardinality(String). Если ETag неизвестен, значение — NULL.

См. также

• табличная функция paimon