مشاركة عبر

مرجع جدول نظام التحسين التنبؤي

  • مقالة

هام

هذه الميزة في المعاينة العامة.

إشعار

للوصول إلى هذا الجدول، يجب تمكين storage المخطط (راجع تمكين مخططات جدول النظام) ويجب أن تدعم منطقتك التحسين التنبؤي (راجع مناطق Azure Databricks).

توضح هذه المقالة مخطط جدول محفوظات عمليات التحسين التنبؤي وتوفر نماذج من الاستعلامات. يحسن التحسين التنبؤي تخطيط البيانات لأقصى أداء وكفاءة التكلفة. يتعقب جدول النظام محفوظات عمليات هذه الميزة. للحصول على معلومات حول التحسين التنبؤي، راجع التحسين التنبؤي ل Delta Lake.

يوجد جدول النظام هذا في system.storage.predictive_optimization_operations_history.

اعتبارات التسليم

  • قد يستغرق ملء البيانات ما يصل إلى 24 ساعة.
  • قد يقوم التحسين التنبؤي بتشغيل عمليات متعددة على نفس المجموعة. إذا كان الأمر كذلك، يتم تقريب حصة وحدات DBUs المنسوبة إلى كل عملية من العمليات المتعددة. هذا هو السبب في usage_unit تعيين إلى ESTIMATED_DBU. ومع ذلك، سيكون العدد الإجمالي لوحدات DBUs التي تم إنفاقها على نظام المجموعة دقيقا.

مخطط جدول التحسين التنبؤي

يستخدم جدول نظام محفوظات عمليات التحسين التنبؤي المخطط التالي:

اسم العمود نوع البيانات ‏‏الوصف مثال
account_id سلسلة معرف الحساب. 11e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id سلسلة معرف مساحة العمل التي قام فيها التحسين التنبؤي بتشغيل العملية. 1234567890123456
start_time الطابع الزمني الوقت الذي بدأت فيه العملية. 2023-01-09 10:00:00.000
end_time الطابع الزمني الوقت الذي انتهت فيه العملية. 2023-01-09 11:00:00.000
metastore_name سلسلة اسم metastore الذي ينتمي إليه الجدول المحسن. metastore
catalog_name سلسلة اسم الكتالوج الذي ينتمي إليه الجدول المحسن. catalog
schema_name سلسلة اسم المخطط الذي ينتمي إليه الجدول المحسن. schema
table_id سلسلة معرف الجدول المحسن. 138ebb4b-3757-41bb-9e18-52b38d3d2836
table_name سلسلة اسم الجدول المحسن. table1
operation_type سلسلة عملية التحسين التي تم تنفيذها. ستكون COMPACTION القيمة أو VACUUM. COMPACTION
operation_id سلسلة معرف عملية التحسين. 4dad1136-6a8f-418f-8234-6855cfaff18f
operation_status سلسلة حالة عملية التحسين. ستكون SUCCESSFUL القيمة أو FAILED: INTERNAL_ERROR. SUCCESSFUL
operation_metrics map[string, string] تفاصيل إضافية حول التحسين المحدد الذي تم تنفيذه. لعمليات الضغط: (number_of_compacted_files، amount_of_data_compacted_bytes، number_of_output_files، amount_of_output_data_bytes) لعمليات فراغ: (number_of_deleted_files، amount_of_data_deleted_bytes) {"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"}
usage_unit سلسلة وحدة الاستخدام التي تكبدتها هذه العملية. يمكن أن تكون قيمة واحدة فقط: ESTIMATED_DBU. ESTIMATED_DBU
usage_quantity عشري مقدار وحدة الاستخدام التي استخدمتها هذه العملية. 2.12

مثال على الاستعلامات

تتضمن الأقسام التالية نماذج استعلامات يمكنك استخدامها للحصول على رؤى حول جدول نظام التحسين التنبؤي. لكي تعمل هذه الاستعلامات، تحتاج إلى استبدال القيم الموجودة ضمن أقواس متعرجة {{}} بالمعلمات الخاصة بك.

تتضمن هذه المقالة أمثلة الاستعلامات التالية:

كم عدد وحدات DBUs التي استخدمت التحسين التنبؤي في آخر 30 يوما؟

SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

على أي جداول قضى التحسين التنبؤي أكثر من غيرها في آخر 30 يوما؟

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

على أي جداول يقوم التحسين التنبؤي بتنفيذ معظم العمليات؟

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

بالنسبة لكتالوج معين، كم عدد وحدات البايت الإجمالية التي تم ضغطها؟

SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = {{metastore_name}}
    AND catalog_name = {{catalog_name}}
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

ما الجداول التي تحتوي على معظم وحدات البايت المنسغة؟

SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

ما هو معدل نجاح العمليات التي يتم تشغيلها بواسطة التحسينات التنبؤية؟

WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts