Перейти к основному содержанию
Эти настройки доступны в system.settings и автоматически генерируются из исходного кода.

s3_allow_multipart_copy

Разрешает многокомпонентное копирование в S3.

s3_allow_parallel_part_upload

Использовать несколько потоков для multipart-загрузки в S3. Это может привести к несколько большему использованию памяти

s3_allow_server_credentials_in_user_queries

Псевдонимы: allow_server_credentials_in_user_queries Разрешает доступ к S3 и Azure Blob Storage из пользовательского SQL с использованием учётных данных, управляемых сервером. Настройка также доступна под псевдонимом allow_server_credentials_in_user_queries, поскольку применяется и к Azure. Когда настройка отключена (по умолчанию), табличные функции s3/s3Cluster, движки S3/S3Queue, именованные коллекции S3, динамические определения disk(type=s3, ...), BACKUP/RESTORE TO S3, чтение данных таблиц DataLake и базы данных DataLakeCatalog (Glue, BigLake) не могут получать учётные данные из окружения, метаданных инстанса (IMDS), IRSA, ECS, профиля инстанса, SSO, файлов AWS config/credentials или службы метаданных GCP OAuth. Запрос, который обращается к одному из этих источников, управляемых сервером (например, use_environment_credentials = 1 или http_client = gcp_oauth), но не передаёт пригодные явные учётные данные, отклоняется с ACCESS_DENIED. Запрос, который не обращается ни к одному из них, отправляется без подписи (анонимно) — так же, как если бы был указан NOSIGN. STS assume-role на основе role_arn (extra_credentials(role_arn = '...')) остаётся разрешённым даже при отключённой настройке: целевая роль должна явно доверять идентичности, под которой работает сервер, и запросы S3 из запроса всегда подписываются только учётными данными принятой роли, поэтому собственные учётные данные сервера не раскрываются запросу. Это документированный способ предоставить ClickHouse Cloud доступ к приватному бакету. Роль принимается с собственными базовыми ключами запроса, если запрос передаёт полную пару; в противном случае вызов STS AssumeRole подписывается неявной идентичностью сервера. Статические ключи из конфигурации сервера <s3>/конечной точки или из именованной коллекции никогда не используются как база STS для роли, переданной запросом, а role_arn, настроенный в конфигурации сервера <s3>, вообще не применяется к пользовательским запросам. Динамические определения disk(type=s3, role_arn=...) по-прежнему подпадают под это ограничение. То, запрашивает ли запрос без учётных данных учётные данные из окружения, определяется параметром use_environment_credentials. В именованных коллекциях по умолчанию используется 0, поэтому коллекция, в которой указан только URL, читает анонимно. Табличные функции s3/s3Cluster и движки S3/S3Queue используют встроенное значение по умолчанию (1), если только в конфигурации сервера <s3> не задано иное; установите <s3><use_environment_credentials>0</use_environment_credentials></s3>, чтобы их чтение без учётных данных тоже по умолчанию было анонимным (иначе такой запрос отклоняется и должен использовать NOSIGN). Диски, определённые в конфигурации сервера, это не затрагивает, и они по умолчанию продолжают использовать учётные данные из окружения; созданные пользователем динамические определения disk(type = s3, ...) подпадают под это ограничение (см. выше) и отклоняются, если полагаются на учётные данные по умолчанию/из окружения. Это не позволяет аутентифицированному пользователю заставить сервер обращаться к S3 с использованием его собственных (неявных) учётных данных. Явно переданные учётные данные не затрагиваются: ключи, переданные в запросе, статические ключи в именованной коллекции (созданной через SQL или определённой в config), а также ключи в конфигурации сервера <s3> продолжают работать. Рекомендуемый способ предоставить пользовательским запросам доступ к S3 — использовать именованную коллекцию с явными учётными данными (или NOSIGN для public buckets): ключи не попадают в текст запроса, а использование каждой коллекции контролируется через RBAC (GRANT NAMED COLLECTION ON <name> TO <user>), поэтому вы предоставляете конкретным пользователям доступ к конкретным бакетам, не раскрывая собственную идентичность сервера. Область действия (намеренно ограниченная): этот параметр блокирует только перечисленные выше источники учётных данных, получаемых сервером из окружения. Он не блокирует статические access_key_id/secret_access_key, заданные оператором в конфигурации сервера <s3> или в именованной коллекции, определённой в конфигурации: они считаются явно заданными учётными данными и продолжают работать. Однако учтите, что такие данные запроса из конфигурации, как access_header или ключи шифрования на стороне сервера, сами по себе здесь не считаются учётными данными: запрос, который содержит только такие данные, но не содержит явной пары ключей (при значении по умолчанию use_environment_credentials = 1), всё равно отклоняется, поскольку иначе он перешёл бы к использованию неявных учётных данных сервера. Для такой конечной точки также необходимо указать явные ключи, NOSIGN, use_environment_credentials = 0 или воспользоваться описанным ниже обходным способом. Доверенному административному клиенту для выполнения разрешённых операций могут потребоваться учётные данные, управляемые сервером (например, для присоединения системных таблиц на диске s3_plain_rewritable через SQL). Чтобы разрешить это, включите данный параметр в сеансе или профиле настроек этого клиента. Для BACKUP/RESTORE ... ON CLUSTER значение этого параметра у инициатора передаётся на другие хосты и используется там без изменений. Эти хосты выполняют продолжение операции на каждом хосте через очередь DDL, по умолчанию без пользователя инициатора, поэтому в противном случае они проверяли бы ограничение по собственному профилю по умолчанию; вместо этого сохраняется значение инициатора, поскольку он уже открыл тот же пункт назначения резервной копии со своими ограниченными настройками. Ограничение readonly для инициатора по-прежнему действует (недоверенный инициатор не может включить параметр для собственной резервной копии на кластере), поэтому это не ослабляет ограничение. Надёжность для постоянных таблиц S3 и S3Queue: включение этого параметра только на уровне сеанса или профиля не сохраняется после перезапуска. Когда сервер заново загружает такую таблицу из её сохранённого определения (при запуске или RESTORE), он пересоздаёт клиент S3 и повторно применяет ограничение в контексте запуска, поэтому таблица, которая использовала учётные данные, управляемые сервером, и была создана только при s3_allow_server_credentials_in_user_queries = 1 на уровне сеанса/профиля, создаётся успешно, но после перезапуска становится недоступной (сама таблица остаётся на месте; запросы к ней завершаются ошибкой, пока её учётные данные снова не начнут разрешаться в допустимый источник). Сам сервер при этом всё равно запускается. Чтобы доступ к таким таблицам сохранялся после перезапуска, укажите для них явные учётные данные; либо можно включить этот параметр для всего сервера, чтобы они продолжали загружаться после перезапусков, ценой ослабления ограничения для всех повторных загрузок. Azure Blob Storage также подпадает под действие этого параметра. Когда он отключён, табличные функции azureBlobStorage/azureBlobStorageCluster, движки AzureBlobStorage/AzureQueue, именованные коллекции Azure, динамические определения disk(type = azure_blob_storage, ...), BACKUP/RESTORE TO AzureBlobStorage, а также чтение данных таблиц DataLake через Azure не могут проходить аутентификацию с идентичностью, под которой работает сам сервер: AKS workload identity (проецируемый токен сервисного аккаунта из AZURE_FEDERATED_TOKEN_FILE) или управляемой идентичностью Azure (managed identity) машины. Такой запрос отклоняется с ошибкой ACCESS_DENIED. На явно заданные учётные данные это не влияет: пара account_name/account_key, строка подключения, токен SAS, а также статические учётные данные в именованной коллекции или в конфигурации сервера <storage_configuration> продолжают работать. Azure привязывает bearer-токен хранилища к аккаунту, для которого он был выпущен, а не к хосту, на который он отправляется, поэтому запрос к URL, взятому из пользовательского запроса, не только передал бы рабочий токен тому, кто контролирует этот URL, но и позволил бы читать контейнеры, к которым у пользователя нет прав. Для Azure ограничение также распространяется на именованную коллекцию, использующую workload identity или managed identity, включая коллекцию, определённую в конфигурации сервера, а также на extra_credentials(client_id = '...', tenant_id = '...'), который обменивает собственный федеративный токен сервера на токен указанного клиента. Диски, определённые в конфигурации сервера, продолжают использовать workload identity или managed identity. Динамический диск Azure ограничивается так же, как таблица, за исключением таблицы в базе данных system при включённой настройке сервера s3_allow_server_credentials_for_system_table_disks; динамический диск Azure, созданный при включённом этом параметре, фиксирует это в своём сохранённом определении, поэтому после перезапуска он продолжает использовать идентичность сервера. Эта отметка записывается только сервером и игнорируется в запросах CREATE или ATTACH. Пункт назначения для after_processing = 'move' в AzureQueue должен иметь собственные учётные данные — строку подключения или токен SAS — даже при включённом этом параметре, так же как пункту назначения перемещения в S3Queue нужны собственные ключи. Постоянная таблица AzureBlobStorage или AzureQueue, а также таблица на динамическом диске Azure, использовавшая идентичность сервера, загружается при запуске с клиентом без учётных данных согласно s3_load_table_anonymously_if_credentials_restricted; RESTORE создаёт таблицы Azure так же, как CREATE, поэтому там создание такой таблицы отклоняется. Чтобы он оставался отключённым для недоверенных пользователей, закрепите его в их профиле, явно задав значение 0 и пометив его как readonly:
Этот параметр не влияет на clickhouse-local, где оператор выступает пользователем. Базы данных DataLakeCatalog (Glue, BigLake) тоже подпадают под это правило, но с одним отличием. Объект каталога создаётся один раз и используется совместно всеми пользователями базы данных, поэтому значение нельзя считывать отдельно для каждого запроса; оно берётся из сеанса, в котором выполняется CREATE DATABASE (или ATTACH DATABASE, выполняемого пользователем). База данных, созданная при включённом этом параметре (например, в доверенном сеансе или профиле), может использовать для своего каталога неявные учётные данные сервера, и тогда ими будут совместно пользоваться все, у кого есть доступ к запросам к этой базе данных; если же она создана со значением по умолчанию, каталог будет ограничен для всех независимо от того, кто к нему обращается. Когда сервер загружает уже созданную базу данных из собственных метаданных (при запуске, RESTORE), ограничение применяется повторно в контексте запуска — так же, как и для постоянных таблиц S3/S3Queue: каталог, в котором используются учётные данные, управляемые сервером, остаётся недоступным, и после перезапуска база данных становится недоступной (сам сервер при этом всё равно запускается; база данных загружается с недоступным каталогом согласно s3_load_table_anonymously_if_credentials_restricted, а запросы сообщают об ограничении). Каталог, для которого заданы явные учётные данные (Glue: aws_access_key_id и aws_secret_access_key; BigLake: полная тройка Google ADC), работает в любом случае и сохраняет работоспособность после перезапуска.