DataLakeCatalog

يتيح لك محرك قاعدة البيانات DataLakeCatalog ربط ClickHouse بكتالوجات البيانات الخارجية والاستعلام عن البيانات بتنسيقات الجداول المفتوحة من دون الحاجة إلى تكرار البيانات. ويحوّل ذلك ClickHouse إلى محرك استعلامات قوي يعمل بسلاسة مع البنية التحتية القائمة لبحيرة البيانات لديك.

الكتالوجات المدعومة

يدعم محرك DataLakeCatalog كتالوجات البيانات التالية:

AWS Glue Catalog - لجداول Iceberg في بيئات AWS
Databricks Unity Catalog - لجداول Delta Lake وIceberg
Hive Metastore - كتالوج نظام Hadoop التقليدي
REST Catalogs - أي كتالوج يدعم مواصفة Iceberg REST

إنشاء قاعدة بيانات

ستحتاج إلى تمكين الإعدادات التالية لاستخدام محرك DataLakeCatalog:

SET allow_database_iceberg = 1;
SET allow_database_unity_catalog = 1;
SET allow_database_glue_catalog = 1;
SET allow_experimental_database_hms_catalog = 1;
SET allow_experimental_database_paimon_rest_catalog = 1;

يمكن إنشاء قواعد بيانات باستخدام المحرك DataLakeCatalog وفق الصيغة التالية:

CREATE DATABASE database_name
ENGINE = DataLakeCatalog(catalog_endpoint[, user, password])
SETTINGS
catalog_type,
[...]

الإعدادات التالية مدعومة:

الإعداد	الوصف
`catalog_type`	نوع الكتالوج: `glue`، `unity` (Delta، أو Delta وIceberg مع `use_unity_catalog_v2`)، `rest` (Iceberg)، `hive`، `onelake` (Iceberg)، `delta_sharing` (Iceberg، مساحات أسماء مسطحة)، `horizon` (Snowflake Horizon Iceberg REST)
`warehouse`	اسم الـwarehouse/قاعدة البيانات المراد استخدامها في الكتالوج.
`catalog_credential`	بيانات اعتماد المصادقة الخاصة بالكتالوج (مثل مفتاح API أو رمز وصول)
`use_unity_catalog_v2`	عند استخدام `catalog_type = 'unity'`: استخدم التنفيذ الجديد الذي يدعم جداول Delta Lake وIceberg. القيمة الافتراضية: `false`. اضبطه عند تنفيذ `CREATE`، أو غيّره لقاعدة بيانات موجودة باستخدام `ALTER DATABASE ... MODIFY SETTING`.
`auth_header`	رأس HTTP مخصص للمصادقة مع خدمة الكتالوج
`auth_scope`	نطاق OAuth2 للمصادقة (إذا كنت تستخدم OAuth)
`storage_endpoint`	URL نقطة النهاية للتخزين الأساسي
`oauth_server_uri`	URI لخادم تخويل OAuth2 للمصادقة
`vended_credentials`	قيمة منطقية تشير إلى ما إذا كان يجب استخدام بيانات الاعتماد التي يوفّرها الكتالوج (يدعم AWS S3 وAzure ADLS Gen2)
`aws_access_key_id`	معرّف مفتاح الوصول في AWS للوصول إلى S3/Glue (إذا لم تكن تستخدم بيانات الاعتماد التي يوفّرها الكتالوج)
`aws_secret_access_key`	مفتاح الوصول السري في AWS للوصول إلى S3/Glue (إذا لم تكن تستخدم بيانات الاعتماد التي يوفّرها الكتالوج)
`aws_role_arn`	ARN الخاص بدور IAM المطلوب تولّيه للوصول إلى AWS/Glue. عند تعيينه، يستخدم ClickHouse خدمة AWS STS مع `AssumeRole` وبيانات الاعتماد الأساسية من `aws_access_key_id` و`aws_secret_access_key` عند توفيرهما معًا، أو من سلسلة بيانات اعتماد AWS الافتراضية بخلاف ذلك (يجب أن يثق الدور بالهوية التي يعمل الخادم بموجبها).
`aws_role_session_name`	اسم الجلسة المستخدم لاستدعاء AWS STS `AssumeRole`. اختياري؛ والقيمة الافتراضية هي `ClickHouseSession`.
`aws_external_id`	المعرّف الخارجي الذي يُمرَّر إلى AWS STS `AssumeRole`، بما يتطابق مع شرط `sts:ExternalId` في سياسة الثقة الخاصة بالدور. استخدم هذا عندما يكون الدور مملوكًا لجهة خارجية، مثل ClickHouse Cloud.
`region`	منطقة AWS الخاصة بالخدمة (مثل `us-east-1`)
`dlf_access_key_id`	معرّف مفتاح الوصول للوصول إلى DLF
`dlf_access_key_secret`	مفتاح الوصول السري للوصول إلى DLF
`force_add_bucket`	عند إنشاء عناوين URL لتخزين الكائنات من موقع الجدول الذي يوفّره الكتالوج و`storage_endpoint`، أضِف اسم الـbucket/Container في البداية حتى إذا كانت نقطة النهاية تتضمنه بالفعل. القيمة الافتراضية: `false`. اضبطها على `true` للكتالوجات التي تعيد مسارات من دون الـbucket وتتطلب إضافته في خطوة إنشاء عنوان URL (مسارات على نمط Polaris).

أمثلة

راجع الأقسام التالية للاطلاع على أمثلة لاستخدام محرك DataLakeCatalog:

Unity Catalog
Unity Catalog مع جداول Delta Lake وIceberg عند ضبط use_unity_catalog_v2 = 1، يدعم الكتالوج unity جداول Delta Lake وIceberg معًا، ويكتشف صيغة كل جدول.

CREATE DATABASE database_name
ENGINE = DataLakeCatalog('https://<workspace>.cloud.databricks.com/api/2.1/unity-catalog')
SETTINGS
    catalog_type = 'unity',
    use_unity_catalog_v2 = 1,
    warehouse = 'my_catalog',
    catalog_credential = '<client_id>:<client_secret>';
SHOW TABLES FROM database_name;
SELECT count() FROM database_name.`schema_name.table_name`;

يقبل catalog_credential كيان خدمة يستخدم OAuth بالصيغة <client_id>:<client_secret>، أو رمز وصول شخصيًا (dapi...)، أو رمز OAuth تم الحصول عليه مسبقًا.

Glue Catalog
OneLake Catalog يمكن استخدامه عند تمكين allow_database_iceberg.

CREATE DATABASE database_name
ENGINE = DataLakeCatalog(catalog_endpoint)
SETTINGS
    catalog_type = 'onelake',
    warehouse = warehouse,
    onelake_tenant_id = tenant_id,
    oauth_server_uri = server_uri,
    auth_scope = auth_scope,
    onelake_client_id = client_id,
    onelake_client_secret = client_secret;
SHOW TABLES IN database_name;
SELECT count() from database_name.table_name;

للمصادقة من دون مشاركة السر الخاص بالعميل، اضبط onelake_bearer_token على رمز Bearer تم الحصول عليه مسبقًا (ضمن النطاق https://storage.azure.com) بدلًا من onelake_client_id/onelake_client_secret. لا يُجدِّد ClickHouse هذا الرمز، لذا يجب إعادة إنشاء قاعدة البيانات بعد انتهاء صلاحيته.

مرجع SQL

أنواع البيانات

المحركات

الدوال

الصيغ

الإعدادات

جداول النظام

بحيرات البيانات

الكتالوجات المدعومة

إنشاء قاعدة بيانات

أمثلة

​الكتالوجات المدعومة

​إنشاء قاعدة بيانات

​أمثلة

الكتالوجات المدعومة

إنشاء قاعدة بيانات

أمثلة