أفضل الممارسات

​

ضغط الرسائل

​

القيود

• DEFAULT غير مدعوم.
• يقتصر حجم الرسائل الفردية افتراضيًا على 16MB (غير مضغوط) عند التشغيل بأصغر حجم نسخة متماثلة ‏(XS)، وعلى 32MB (غير مضغوط) مع أحجام نسخة متماثلة الأكبر. ستُرفض الرسائل التي تتجاوز هذا الحد مع ظهور خطأ. إذا كنت بحاجة إلى رسائل أكبر، يُرجى التواصل مع الدعم.

​

دلالات التسليم

• علامة الحد الأعلى — الإزاحة التي يُؤكَّد إدراج جميع السجلات في القسم حتى بلوغها في ClickHouse. عند إعادة التشغيل، يتجاهل ClickPipes أي سجل عند هذه العلامة أو قبلها، لذا لا تُرسل البيانات التي أُدرجت بالفعل مرة أخرى.
• النطاقات المعلّقة — نطاقات الإزاحات الخاصة بكتل الإدراج التي أُرسلت إلى ClickHouse، ولكن لم يُؤكَّد إدراجها بعد. بعد حدوث فشل، يعيد ClickPipes تشغيل هذه النطاقات تحديدًا.

​

معالجة علامات الحذف

• حذف الصفوف المطابقة (Delete matching rows): يحذف الصفوف المطابقة من الجدول الوجهة باستخدام الحذف خفيف الوزن. لا يتوفر هذا الخيار إلا عند تفعيل دلالات التسليم مرة واحدة بالضبط (exactly-once). علمًا بأن عمليات الحذف خفيفة الوزن مكلفة ولا تناسب أعباء العمل الكبيرة.
• تمييز الصفوف كمحذوفة (Mark rows as deleted): يكتب كل علامة حذف في صورة صف. وهذا هو الخيار الموصى به لأعباء العمل الكبيرة: أنشئ جدولًا وجهة من نوع ReplacingMergeTree واختر العمود الافتراضي _is_deleted. وستتولى ClickPipes تهيئة هذا العمود الافتراضي ليكون عمود is_deleted الخاص بالمحرك.

​

المصادقة

​

حجم الجلب في Warpstream

​

IAM

• مصادقة SASL/SCRAM-SHA-512
• المصادقة باستخدام بيانات اعتماد IAM أو الوصول المستند إلى الأدوار

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:Connect"
            ],
            "Resource": [
                "arn:aws:kafka:us-west-2:12345678912:cluster/clickpipes-testing-brokers/b194d5ae-5013-4b5b-ad27-3ca9f56299c9-10"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:ReadData"
            ],
            "Resource": [
                "arn:aws:kafka:us-west-2:12345678912:topic/clickpipes-testing-brokers/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:us-east-1:12345678912:group/clickpipes-testing-brokers/*"
            ]
        }
    ]
}

​

تهيئة علاقة ثقة

{
    "Version": "2012-10-17",
    "Statement": [
        ...
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::12345678912:role/CH-S3-your-clickhouse-cloud-role"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

​

شهادات مخصصة

​

الأداء

​

التجميع على دفعات

• بلوغ حجم الدفعة الحد الأقصى (100,000 صف أو 28MB لكل 1GB من ذاكرة الكبسولة)
• بقاء الدفعة مفتوحة للحد الأقصى من الوقت (5 ثوانٍ)

​

الكمون

​

التحجيم

​

اختبارات الأداء

• استخدمنا خدمات ClickHouse Cloud في بيئة الإنتاج مع موارد كافية لضمان ألا يتأثر معدل النقل بعنق زجاجة في معالجة insert من جانب ClickHouse.
• كانت خدمة ClickHouse Cloud، وعنقود Kafka ‏(Confluent Cloud)، وClickPipe تعمل جميعها في نفس المنطقة (us-east-2).
• جرى تكوين ClickPipe بنسخة متماثلة واحدة بحجم L ‏(4 GiB من RAM و1 vCPU).
• تضمنت البيانات النموذجية بيانات متداخلة بمزيج من أنواع البيانات UUID وString وInt. وقد تكون أنواع البيانات الأخرى، مثل Float وDecimal وDateTime، أقل كفاءة من حيث الأداء.
• لم يُلاحظ فرق يُذكر في الأداء عند استخدام البيانات المضغوطة وغير المضغوطة.