DataLakeCatalog, весь каталог становится доступен как база данных ClickHouse. Каждая таблица в каталоге появляется автоматически, и к ней можно выполнять запросы, используя все возможности ClickHouse SQL, — не нужно знать пути к отдельным таблицам или управлять учетными данными для каждой таблицы.
В этом руководстве показано, как подключиться к Databricks Unity Catalog. ClickHouse также поддерживает следующие каталоги — полные инструкции по настройке см. в соответствующих справочных руководствах:
Для примера будем использовать Unity Catalog.
Databricks Unity Catalog обеспечивает централизованное управление данными lakehouse в Databricks.
Databricks поддерживает несколько форматов данных для своего lakehouse. В ClickHouse можно выполнять запросы к таблицам Delta и Iceberg в Unity Catalog, использующим внешние хранилища.
В настоящее время эта интеграция поддерживается только в AWS. Таблицы в управляемом хранилище Databricks не поддерживаются, поскольку Unity Catalog не предоставляет учетные данные для этих расположений. Подробности см. в справочнике по Unity Catalog.
EXTERNAL USE SCHEMA для схемы, содержащей таблицы.
После настройки каталога необходимо сгенерировать учетные данные для ClickHouse. В зависимости от режима взаимодействия с Unity можно использовать два разных метода:
- Для клиентов Iceberg используйте аутентификацию через сервисный субъект.
- Для клиентов Delta используйте Personal Access Token (PAT).
- Delta
- Iceberg
Для доступа к данным в формате Delta следует использовать Unity Catalog.
SHOW CREATE TABLE, чтобы посмотреть, как были созданы таблицы.
Обратные кавычки обязательныОбратите внимание: необходимо указывать пространство имен и имя таблицы, заключая их в обратные кавычки, — ClickHouse не поддерживает более одного пространства имен.