نسب البيانات في عميل Microsoft Purview كتالوج البيانات
توفر هذه المقالة نظرة عامة على نسب البيانات في Microsoft Purview كتالوج البيانات. كما يوضح بالتفصيل كيف يمكن لأنظمة البيانات التكامل مع الكتالوج لالتقاط نسب البيانات. يمكن ل Microsoft Purview التقاط تسلسل البيانات في أجزاء مختلفة من مساحة بيانات مؤسستك، وعلى مستويات مختلفة من الإعداد بما في ذلك:
- بيانات خام بالكامل تم تنظيمها من منصات مختلفة
- البيانات المحولة والمعدة
- البيانات المستخدمة من قبل منصات التصور.
استخدام الحالات
يتم فهم نسب البيانات على نطاق واسع على أنه دورة الحياة التي تمتد عبر أصل البيانات ، وحيث تتحرك بمرور الوقت عبر مجموعة البيانات. يتم استخدامه لأنواع مختلفة من السيناريوهات ذات المظهر الخلفي مثل استكشاف الأخطاء وإصلاحها وتتبع السبب الجذري في خطوط أنابيب البيانات وتصحيح الأخطاء. يستخدم النسب أيضا لتحليل جودة البيانات والامتثال وسيناريوهات "ماذا لو" التي يشار إليها غالبا باسم تحليل التأثير. يتم تمثيل النسب بصريا لإظهار البيانات التي تنتقل من المصدر إلى الوجهة بما في ذلك كيفية تحويل البيانات. نظرا لتعقيد معظم بيئات بيانات المؤسسة، قد يكون من الصعب فهم طرق العرض هذه دون القيام ببعض عمليات الدمج أو إخفاء نقاط البيانات الطرفية.
تجربة النسب في Microsoft Purview كتالوج البيانات
سيتصل Microsoft Purview كتالوج البيانات بأنظمة معالجة البيانات والتخزين والتحليلات الأخرى لاستخراج معلومات النسب. يتم دمج المعلومات لتمثيل تجربة نسب عامة خاصة بالسيناريو في الكتالوج.
قد تتضمن ملكية البيانات الخاصة بك أنظمة تقوم باستخراج البيانات والتحويل (أنظمة ETL / ELT) والتحليلات وأنظمة التصور. يلتقط كل نظام من الأنظمة بيانات وصفية ثابتة وتشغيلية غنية تصف حالة وجودة البيانات داخل حدود الأنظمة. الهدف من النسب في كتالوج البيانات هو استخراج البيانات الوصفية للحركة والتحويل والتشغيل من كل نظام بيانات بأقل قدر ممكن.
المثال التالي هو حالة استخدام نموذجية للبيانات التي تنتقل عبر أنظمة متعددة ، حيث يتصل كتالوج البيانات بكل نظام من الأنظمة من أجل النسب.
- يقوم Data Factory بنسخ البيانات من المنطقة الجاهزة / الخام إلى منطقة الهبوط في السحابة.
- ستقوم أنظمة معالجة البيانات مثل Synapse و Databricks بمعالجة البيانات وتحويلها من منطقة الهبوط إلى المنطقة المنسقة باستخدام أجهزة الكمبيوتر المحمولة.
- مزيد من المعالجة للبيانات في نماذج تحليلية للحصول على الأداء الأمثل للاستعلام وتجميعه.
- ستستهلك أنظمة تصور البيانات مجموعات البيانات ومعالجتها من خلال نموذجها التعريفي لإنشاء لوحة معلومات BI وتجارب ML وما إلى ذلك.
دقة النسب
يغطي القسم التالي تفاصيل حول الدقة التي يتم جمع معلومات النسب الخاصة بها بواسطة Microsoft Purview. يمكن أن تختلف هذه الدقة استنادا إلى أنظمة البيانات المعتمدة في Microsoft Purview.
النسب على مستوى الكيان: المصدر (المصادر) هدف (أهداف) > العملية >
- يتم تمثيل النسب كرسم بياني ، وعادة ما يحتوي على كيانات المصدر والهدف في أنظمة تخزين البيانات المتصلة بعملية يتم استدعاؤها بواسطة نظام حوسبة.
- تتصل أنظمة البيانات بكتالوج البيانات لإنشاء كائن فريد يشير إلى الكائن المادي لنظام البيانات الأساسي والإبلاغ عنه على سبيل المثال: SQL الإجراء المخزن ودفاتر الملاحظات وما إلى ذلك.
- يتم التقاط النسب عالي الدقة مع بيانات وصفية إضافية مثل الملكية لإظهار النسب بتنسيق بشري قابل للقراءة للكيانات المستهدفة المصدر & . على سبيل المثال: النسب على مستوى جدول خلية بدلا من الأقسام أو مستوى الملف.
نسب مستوى العمود أو السمة
تحديد سمة (سمات) كيان مصدر يستخدم لإنشاء أو اشتقاق سمة (سمات) في الكيان الهدف. يمكن الاحتفاظ باسم السمة source أو إعادة تسميته في الهدف. يمكن لأنظمة مثل ADF إجراء نسخة واحدة من البيئة المحلية إلى السحابة. على سبيل المثال: Table1/ColumnA -> Table2/ColumnA.
حالة تنفيذ العملية
لدعم تحليل الأسباب الجذرية وسيناريوهات جودة البيانات، نلتقط حالة تنفيذ الوظائف في أنظمة معالجة البيانات. هذا الشرط لا علاقة له باستبدال قدرات المراقبة لأنظمة معالجة البيانات الأخرى ، ولا الهدف هو استبدالها.
الملخص
يعد Lineage ميزة مهمة في Microsoft Purview كتالوج البيانات لدعم سيناريوهات الجودة والثقة والتدقيق. الهدف من كتالوج البيانات هو بناء إطار عمل قوي حيث يمكن لجميع أنظمة البيانات داخل بيئتك الاتصال بشكل طبيعي والإبلاغ عن النسب. بمجرد توفر البيانات الوصفية، يمكن لكتالوج البيانات أن يجمع البيانات الوصفية التي توفرها أنظمة البيانات لتشغيل حالات استخدام إدارة البيانات.