جودة البيانات ومراقبة الجودة
يحتوي كل منتج بيانات يعمل على منصة Azure Operator Insights على دعم مضمن لمراقبة جودة البيانات. تعد جودة البيانات أمرا بالغ الأهمية لأنها تضمن معلومات دقيقة وموثوقة وجديرة بالثقة لاتخاذ القرار. فهو يمنع الأخطاء المكلفة، ويبني المصداقية مع العملاء والمنظمين، ويمكن التجارب الشخصية.
يراقب النظام الأساسي ل Azure Operator Insights جودة البيانات عند استيعاب البيانات في تخزين إدخال منتج البيانات (كتلة تخزين منتج بيانات AOI الأولى في الصورة التالية) وبعد معالجة البيانات وإتاحتها للعملاء (حساب منتج بيانات AOI في الصورة التالية).
أبعاد الجودة
أبعاد جودة البيانات هي الجوانب أو الخصائص المختلفة التي تحدد جودة البيانات. تدعم Azure Operator Insights الأبعاد التالية:
- الدقة - تشير إلى مدى تعبير البيانات عن الواقع، على سبيل المثال، الأسماء الصحيحة والعناوين والبيانات المحدثة. تتيح لك دقة البيانات العالية إنتاج تحليلات يمكن الوثوق بها وتؤدي إلى إعداد التقارير الصحيحة واتخاذ القرارات بثقة.
- الاكتمال - يشير إلى ما إذا كانت جميع البيانات المطلوبة لاستخدام معين موجودة ومتاحة لاستخدامها. لا ينطبق الاكتمال فقط على مستوى عنصر البيانات ولكن أيضا على مستوى السجل. يساعد الاكتمال على فهم ما إذا كانت البيانات المفقودة ستؤثر على موثوقية الرؤى من البيانات.
- التفرد - يشير إلى غياب التكرارات في مجموعة بيانات.
- التناسق - يشير إلى ما إذا كان عنصر البيانات نفسه لا يتعارض عبر مصادر مختلفة أو بمرور الوقت. يضمن التناسق أن البيانات موحدة ويمكن مقارنتها عبر مصادر مختلفة.
- التوقيت - يشير إلى ما إذا كانت البيانات محدثة ومتاحة عند الحاجة. يضمن التوقيت المناسب أن تكون البيانات ذات صلة ومفيدة لاتخاذ القرار.
- الصلاحية - تشير إلى ما إذا كانت البيانات تتوافق مع مجموعة محددة من القواعد أو القيود.
المقاييس
تتم تغطية جميع أبعاد جودة البيانات من خلال مقاييس الجودة التي تنتجها منصة Azure Operator Insights. هناك نوعان من مقاييس الجودة:
- أساسي - مجموعة قياسية من عمليات التحقق عبر جميع منتجات البيانات.
- مخصص - مجموعة مخصصة من الفحوصات، مما يسمح لجميع منتجات البيانات بتنفيذ عمليات التحقق الخاصة بمنتجها.
تتوفر مقاييس الجودة الأساسية التي تنتجها المنصة في الجدول التالي.
| المقياس | البُعد | مصدر البيانات |
|---|---|---|
| عدد الصفوف التي تم استيعابها | توقيت | تناولها |
| عدد الصفوف التي تحتوي على قيمة خالية للأعمدة المطلوبة | اكتمال | تناولها |
| عدد الصفوف التي فشلت في التحقق من صحتها مقابل المخطط | الصلاحية | تناولها |
| عدد الصفوف التي تمت تصفيتها | اكتمال | تناولها |
| عدد الصفوف المعالجة | توقيت | تمت المعالجة |
| عدد الصفوف غير المكتملة، والتي لا تحتوي على البيانات المطلوبة | اكتمال | تمت المعالجة |
| عدد الصفوف المكررة | تفرد | تمت المعالجة |
| النسب المئوية للتأخر الكلي بين إنشاء السجلات والمتاحة للاستعلام | توقيت | تمت المعالجة |
| النسب المئوية للتأخر بين إنشاء السجلات واستيعابها في تخزين الإدخال | توقيت | تمت المعالجة |
| النسب المئوية للتأخر بين البيانات التي تم استيعابها ومعالجتها | توقيت | تمت المعالجة |
| النسب المئوية للتأخر بين البيانات المعالجة والمتاحة للاستعلام | توقيت | تمت المعالجة |
| الأعمار لطرق العرض المجسدة | توقيت | تمت المعالجة |
يتم تنفيذ مقاييس جودة البيانات المخصصة على أساس منتج البيانات. تغطي هذه المقاييس أبعاد الدقة والتناسق. تحتوي وثائق منتج البيانات على وصف لمقاييس الجودة المخصصة المتوفرة.
مراقبة
يتم نشر جميع منتجات بيانات Azure Operator Insight مع لوحة معلومات تعرض مقاييس الجودة. يمكنك استخدام لوحة المعلومات لمراقبة جودة بياناتهم.
يتم حفظ جميع مقاييس جودة البيانات في جداول Data Product ADX. لاستكشاف مقاييس جودة البيانات، يمكنك استخدام نقطة نهاية Data Product KQL القياسية ثم توسيع لوحة المعلومات إذا لزم الأمر.