مراقبة الاستخدام باستخدام جداول النظام

هام

هذه الميزة في المعاينة العامة. لا توجد رسوم حاليا لاستخدام هذه الميزة. في المستقبل، قد تتحمل بعض هذه الاستخدامات رسوما.

تشرح هذه المقالة مفهوم جداول النظام في Azure Databricks وتسلط الضوء على الموارد التي يمكنك استخدامها لتحقيق أقصى استفادة من بيانات جداول النظام.

ما هي جداول النظام؟

جداول النظام هي مخزن تحليلي مستضاف على Azure Databricks للبيانات التشغيلية لحسابك الموجود في الكتالوج system . يمكن استخدام جداول النظام لقابلية الملاحظة التاريخية عبر حسابك.

إشعار

للحصول على وثائق حول system.information_schema، راجع مخطط المعلومات.

المتطلبات

للوصول إلى جداول النظام، يجب تمكين مساحة العمل الخاصة بك كتالوج Unity. لمزيد من المعلومات، راجع تمكين مخططات جدول النظام.

ما هي جداول النظام المتوفرة؟

حاليا، يستضيف Azure Databricks جداول النظام من أجل:

جدول	‏‏الوصف	الموقع	يدعم الدفق	الاحتفاظ	تضمين بيانات عالمية أو إقليمية
سجلات التدقيق	يتضمن سجلات لكافة أحداث التدقيق من مساحات العمل في منطقتك. للحصول على قائمة بأحداث التدقيق المتوفرة، راجع مرجع سجل التشخيص.	system.access.audit	‏‏نعم‬	365 يومًا	إقليمي للأحداث على مستوى مساحة العمل. عمومي للأحداث على مستوى الحساب.
دورة حياة الجدول	يتضمن سجلا لكل حدث قراءة أو كتابة على جدول أو مسار كتالوج Unity.	system.access.table_lineage	‏‏نعم‬	365 يومًا	الإقليمية
دورة حياة العمود	يتضمن سجلا لكل حدث قراءة أو كتابة على عمود كتالوج Unity (ولكنه لا يتضمن الأحداث التي ليس لها مصدر).	system.access.column_lineage	‏‏نعم‬	365 يومًا	الإقليمية
الاستخدام القابل للفوترة	يتضمن سجلات لجميع الاستخدامات القابلة للفوترة عبر حسابك. كل سجل استخدام هو تجميع كل ساعة لاستخدام المورد القابل للفوترة.	system.billing.usage	‏‏نعم‬	365 يومًا	عمومي
التسعير	سجل تاريخي لتسعير SKU. تتم إضافة سجل في كل مرة يحدث فيها تغيير في سعر SKU.	system.billing.list_prices	لا	‏‫غير متاح	عمومي
مجموعات	جدول أبعاد متغير ببطء يحتوي على المحفوظات الكاملة لتكوينات نظام المجموعة بمرور الوقت لأي نظام مجموعة.	system.compute.clusters	‏‏نعم‬	بلا	الإقليمية
أنواع العقد	يلتقط أنواع العقد المتوفرة حاليا بمعلومات الأجهزة الأساسية الخاصة بها.	system.compute.node_types	لا	‏‫غير متاح	الإقليمية
أحداث مستودع SQL	يلتقط الأحداث المتعلقة بمستودعات SQL. على سبيل المثال، البدء والإيقاف والتشغيل والتحجيم لأعلى ولأسفل.	system.compute.warehouse_events	‏‏نعم‬	365 يومًا	الإقليمية
أحداث قمع السوق	يتضمن انطباع المستهلك وبيانات القمع لقوائمك.	system.marketplace.listing_ funnel_events	‏‏نعم‬	365 يومًا	الإقليمية
الوصول إلى قائمة السوق	يتضمن معلومات المستهلك لبيانات الطلب المكتملة أو الحصول على أحداث البيانات على قوائمك.	system.marketplace.listing_ access_events	‏‏نعم‬	365 يومًا	الإقليمية
التحسين التنبؤي	يتعقب محفوظات عمليات ميزة التحسين التنبؤي.	system.storage.predictive_ optimization_operations_history	لا	180 أيام	الإقليمية

إشعار

قد ترى جداول نظام أخرى في حسابك إلى جانب الجداول المذكورة أعلاه. هذه الجداول موجودة في المعاينة الخاصة حاليا وهي فارغة بشكل افتراضي. إذا كنت مهتما باستخدام أي من هذه الجداول، فيرجى التواصل مع فريق حساب Databricks.

تمكين مخططات جدول النظام

نظرا لأن جداول النظام تحكمها كتالوج Unity، تحتاج إلى مساحة عمل واحدة على الأقل ممكنة لكتالوج Unity في حسابك لتمكين جداول النظام والوصول إليها. تتضمن جداول النظام بيانات من جميع مساحات العمل في حسابك ولكن لا يمكن الوصول إليها إلا من مساحة عمل ممكنة بواسطة كتالوج Unity.

يتم تمكين جداول النظام على مستوى المخطط. إذا قمت بتمكين مخطط نظام، يمكنك تمكين جميع الجداول داخل هذا المخطط. عند إصدار مخططات جديدة، يحتاج مسؤول الحساب إلى تمكين المخطط يدويا.

يجب تمكين جداول النظام بواسطة مسؤول حساب. يمكنك تمكين جداول النظام باستخدام واجهة برمجة تطبيقات SystemSchemas.

سرد مخططات النظام المتوفرة

استخدم الأمر curl التالي لسرد مخططات النظام المتوفرة:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

فيما يلي مثال على إخراج GET الأمر:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: مخطط النظام متوفر ولكن لم يتم تمكينه بعد.

state: EnableCompleted: لقد قمت بتمكين مخطط النظام وهو مرئي في مستكشف الكتالوج.

تمكين مخطط النظام

استخدم الأمر curl التالي لتمكين مخطط النظام:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

إذا تم تمكين مخطط النظام بنجاح، يتم إرجاع رمز 200 النتيجة.

إذا حاولت إعادة تمكين مخطط نظام، يتم إرجاع ما يلي: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

تعطيل مخطط النظام

استخدم الأمر curl التالي لتعطيل مخطط النظام:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

منح حق الوصول إلى جداول النظام

يتم التحكم في الوصول إلى جدول النظام بواسطة كتالوج Unity. بشكل افتراضي، لا يمكن للمستخدمين الوصول إلى جداول النظام. لمنح حق الوصول، يجب على مسؤول metastore أو مستخدم متميز آخر منح USE وأذونات SELECT على مخططات النظام. راجع إدارة الامتيازات في كتالوج Unity.

جداول النظام للقراءة فقط ولا يمكن تعديلها.

إشعار

إذا تم إنشاء حسابك بعد 9 نوفمبر 2023، فقد لا يكون لديك مسؤول metastore بشكل افتراضي. لمزيد من المعلومات، راجع إعداد كتالوج Unity وإدارته.

هل تحتوي جداول النظام على بيانات لكافة مساحات العمل في حسابك؟

يحتوي سجل التدقيق وجداول دورة الحياة على بيانات تشغيلية لجميع مساحات العمل في حسابك المنشورة داخل نفس منطقة السحابة. يحتوي جدول نظام الفوترة (system.billing.usage) على بيانات لكافة مساحات العمل في حسابك، بغض النظر عن المنطقة التي يتم نشرها فيها.

على الرغم من أنه لا يمكن الوصول إلى جداول النظام إلا من خلال مساحة عمل كتالوج Unity، فإن الجداول تتضمن أيضا بيانات تشغيلية لمساحات عمل كتالوج غير Unity في حسابك.

أين توجد جداول النظام؟

توجد جداول النظام في حسابك في كتالوج يسمى system، والذي يتم تضمينه في كل مخزن بيانات تعريف كتالوج Unity. في الكتالوج system ، سترى مخططات مثل access و billing التي تحتوي على جداول النظام.

إشعار

أثناء معاينة عامة لجداول النظام، ستحتفظ Azure Databricks بجميع بيانات جداول النظام.

اعتبارات لجداول نظام الدفق

يتم دعم الوصول إلى جداول النظام بواسطة Delta Sharing. كن على دراية بالاعتبارات التالية عند الدفق باستخدام Delta Sharing:

• إذا كنت تستخدم الدفق مع جداول النظام، فقم skipChangeCommit بتعيين الخيار إلى true. يضمن هذا عدم تعطيل مهمة الدفق من الحذف في جداول النظام. راجع تجاهل التحديثات والحذف.
• Trigger.AvailableNow غير مدعوم مع تدفق مشاركة دلتا. سيتم تحويله إلى Trigger.Once.
• إذا كنت تستخدم مشغلا في مهمة الدفق وعثرت على أن المهمة لا تصل إلى أحدث إصدار من جدول النظام، توصي Databricks بزيادة التكرار المجدول للوظيفة.

المشكلات المعروفة

• حاليا لا يوجد دعم للمراقبة في الوقت الحقيقي. يتم تحديث البيانات على مدار اليوم. إذا لم تشاهد سجلا لحدث حديث، فتحقق مرة أخرى لاحقا.

• لتمكين جداول النظام، قد تحتاج إلى منح الوصول إلى الشبكة إلى نقطة نهاية تخزين Blob لجداول النظام. لعرض قائمة بنقطة نهاية تخزين جداول نظام كل منطقة، راجع عناوين IP لنقطة نهاية التخزين.

• يتم إهمال مخططات system.operational_data النظام و system.lineage وستحتوي على جداول فارغة.