iceberg_delete_data_on_drop
Удалять ли все файлы Iceberg при drop.iceberg_file_entries_queue_size
Ёмкость очереди между задачами декодирования манифеста данных Iceberg и запросом, измеряемая в записях файлов данных. Задачи декодирования приостанавливаются, когда очередь заполнена, а запрос не читает из неё данные, поэтому эта настройка также ограничивает опережающее чтение. Значение должно быть больше нуля.iceberg_list_only_v_prefixed_metadata_files
Ищет последний файл метаданных таблицы Iceberg, читаемой по пути в S3 или Azure, получая список только по префиксу ключаmetadata/v, чтобы не перечислять манифесты, хранящиеся в том же каталоге metadata. Если по этому префиксу находятся файлы .metadata.json, кандидатами считаются только они; в противном случае запрашивается список всего каталога. Не применяется вместе с iceberg_use_version_hint, iceberg_metadata_file_path, iceberg_metadata_table_uuid или iceberg_recent_metadata_file_by_last_updated_ms_field, а также к таблицам базы данных каталога озера данных.
Включайте эту настройку только для таблиц, все файлы метаданных которых имеют имена вида v<N>... (так их именуют ClickHouse и каталоги Hadoop): если в каталоге есть также файлы <N>-<uuid>.metadata.json, они никогда не становятся кандидатами, и коммиты создающей их пишущей стороны остаются невидимыми.
iceberg_manifest_decode_concurrency
Псевдонимы:iceberg_delete_manifest_decode_concurrency
Максимальное количество Iceberg файлов манифеста, декодируемых одновременно при чтении таблицы.
Все delete-манифесты декодируются до того, как будет прочитан хотя бы один файл данных; манифесты данных декодируются по ходу формирования списка файлов данных для запроса, причём новые декодируются только по мере того, как запрос обрабатывает уже декодированные entries. Одновременное декодирование нескольких манифестов позволяет совмещать round-trip к объектному хранилищу с работой по pruning для каждой entry.
Более высокие значения увеличивают пиковое потребление памяти, если кеш Iceberg metadata files отключён или заполнен, поскольку каждый находящийся in-flight манифест хранит собственное декодированное содержимое.
Значение должно быть больше нуля; при 1 манифесты декодируются по одному.
iceberg_manifest_min_count_to_compact
Минимальное количество файлов манифеста, необходимое для запуска компактации только файлов манифеста через OPTIMIZE TABLE … MANIFEST. Если текущее количество файлов манифеста меньше или равно этому порогу, компактация пропускается. Необходимо, чтобы был включен allow_experimental_iceberg_compaction. Значение по умолчанию соответствует документированному значению по умолчанию свойства таблицы Icebergcommit.manifest.min-count-to-merge (100),
см. https://iceberg.apache.org/docs/1.5.2/configuration/.
iceberg_max_number_datafiles_to_compact
Пороговое значение для файлов данных, участвующих в компактации, в Iceberg.iceberg_orphan_files_min_retention_seconds
Минимальный возраст (в секундах) файлов, которыеALTER TABLE ... EXECUTE remove_orphan_files может удалить из таблицы Iceberg. Значение older_than (заданное явно или вычисленное из iceberg_orphan_files_older_than_seconds), которое ближе к текущему моменту, чем это значение, отклоняется: файлы ещё не закоммиченной записи не упоминаются в метаданных таблицы и были бы удалены, а это повредит таблицу, когда запись будет закоммичена. Задавайте значение больше максимального времени, которое может занять коммит записи в таблицу. 0 отключает проверку.
iceberg_orphan_files_older_than_seconds
Пороговое значение возраста по умолчанию в секундах для удаления файлов-сирот в таблицах Iceberg. Файлы новее этого значения не считаются сиротами. Используется, если в вызове процедуры remove_orphan_files() опущен аргумент older_than. Значение по умолчанию — 259200 (3 дня).iceberg_snapshot_id
Выполняет запрос к таблице Iceberg по указанному идентификатору снимка.iceberg_timestamp_ms
Выполняет запрос к таблице Iceberg, используя снимок, актуальный для указанной временной метки.iceberg_tolerate_conflicting_manifest_schemas
Если настройка включена и schema-id файла манифеста Iceberg уже зарегистрирован из metadata.json, используется схема из metadata.json, а копия в ключеschema заголовка файла манифеста игнорируется без сравнения. Если настройка отключена, копия из заголовка манифеста сравнивается со схемой из metadata.json, и при конфликте запрос завершается с ошибкой ICEBERG_SPECIFICATION_VIOLATION.
Схема в заголовке манифеста — это лишь копия схемы таблицы на момент записи манифеста, и известны случаи, когда некоторые пишущие стороны (например, обслуживающие задачи AWS S3 Tables) сохраняли там неполноценные копии. Другие движки запросов берут схемы из metadata.json и игнорируют расходящиеся копии из заголовков, поэтому поведение по умолчанию соответствует их логике. Конфликт между двумя определениями схем в самом metadata.json по-прежнему всегда приводит к ошибке запроса.