مفاهيم الاستيعاب المستندة إلى البيان
يوفر استيعاب الملفات المستندة إلى البيان للمستخدمين النهائيين والأنظمة آلية قوية لتحميل بيانات التعريف حول مجموعات البيانات في Azure Data Manager لمثيل الطاقة. تتم فهرسة بيانات التعريف هذه بواسطة النظام وتسمح للمستخدم النهائي بالبحث في مجموعات البيانات.
استيعاب الملفات المستندة إلى البيان هو استيعاب مبهم لا يوزع محتويات الملف أو يفهمها. يقوم بإنشاء سجل بيانات تعريف استنادا إلى البيان ويجعل السجل قابلا للبحث.
ما هو البيان؟
البيان هو مستند JSON يحتوي على بنية محددة مسبقا لالتقاط الكيانات المعرفة على أنها "kind"، أي مسجلة كمخططات مع تعريفات خدمة المخطط - تعريفات المخطط المعروفة (WKS).
يمكنك العثور على مثال لمستند json البيان هنا.
يحتوي مخطط البيان على حاويات أنواع مجموعة OSDU® التالية:
- ReferenceData (صفر أو أكثر) - مجموعة من القيم المسموح باستخدامها من قبل حقول البيانات الأخرى (الرئيسية أو المعاملة). ومن الأمثلة على ذلك وحدة القياس (القدمين) والعملة وما إلى ذلك.
- MasterData (صفر أو أكثر) - مصدر واحد لبيانات الأعمال الأساسية المستخدمة عبر أنظمة وتطبيقات و/أو عملية متعددة. ومن الأمثلة على ذلك ويلز و Wellbores
- WorkProduct (WP) (واحد - يجب أن يكون موجودا في حالة تحميل WorkProductComponents) - يشمل حد الجلسة أو المجموعة (المشروع، الدراسة) مجموعة من الكيانات التي تحتاج إلى المعالجة معا. على سبيل المثال، يمكنك استيعاب مجموعة سجل واحدة أو أكثر.
- يجب أن تكون WorkProductComponents (WPC) (صفر أو أكثر - موجودة في حالة تحميل مجموعات البيانات) - وحدة مكتوبة، أصغر، قابلة للاستخدام بشكل مستقل من محتوى بيانات الأعمال المنقولة كجزء من منتج العمل (مجموعة من الأشياء التي تم تناولها معا). يستخدم كل مكون منتج عمل (WPC) عادة بيانات مرجعية، وينتمي إلى بعض البيانات الرئيسية، ويحتفظ بالمرجع إلى مجموعات البيانات. مثال: سجلات جيدة، أخطاء، مستندات
- يجب أن تكون مجموعات البيانات (صفر أو أكثر - موجودة في حالة تحميل سجلات WorkProduct و WorkProductComponent) - يتكون كل مكون منتج عمل (WPC) من حاوية بيانات واحدة أو أكثر تعرف باسم مجموعات البيانات.
يتم تحميل بيانات البيان في تسلسل معين:
- صفيف "ReferenceData" (إذا تم ملؤه).
- صفيف "MasterData" (إذا تم ملؤه).
- تتم معالجة بنية "البيانات" أخيرا (إذا تم ملؤها). داخل خاصية "البيانات"، تتم المعالجة بالترتيب التالي:
- صفيف "مجموعات البيانات"
- صفيف "WorkProductComponents"
- 'WorkProduct'.
يتم ترتيب أي صفائف. إذا كانت هناك تداخلات، يجب وضع العناصر التابعة خلف أهداف العلاقة الخاصة بها، على سبيل المثال، يجب وضع سجل بيانات رئيسية جيد في صفيف "MasterData" قبل Wellbores الخاص به.
سير عمل استيعاب الملفات المستندة إلى البيان
يحتوي Azure Data Manager لمثيل الطاقة على دعم غير تقليدي لسير عمل استيعاب الملفات المستندة إلى البيان. Osdu_ingest تم تكوين تدفق الهواء DAG مسبقا في المثيل الخاص بك.
مكونات سير عمل استيعاب الملفات المستندة إلى البيان
يتكون سير عمل استيعاب الملفات المستندة إلى البيان من المكونات التالية:
- خدمة سير العمل - خدمة تضمين تعمل أعلى محرك سير عمل Airflow.
- محرك تدفق الهواء - محرك تزامن سير العمل الذي ينفذ مهام سير العمل المسجلة ك DAGs (الرسوم البيانية التلقائية الموجهة). تدفق الهواء هو محرك سير العمل المختار من قبل مجتمع OSDU® لتنسيق وتشغيل مهام سير عمل الاستيعاب. لا يتم عرض تدفق الهواء مباشرة، بدلا من ذلك يتم الوصول إلى ميزاته من خلال خدمة سير العمل.
- Storage Service - خدمة تستخدم لحفظ سجلات بيانات تعريف البيان في النظام الأساسي للبيانات.
- خدمة المخطط - خدمة تدير المخططات المعرفة من OSDU® في النظام الأساسي للبيانات. تتم الإشارة إلى المخططات أثناء استيعاب الملف المستند إلى البيان.
- خدمة الاستحقاقات - خدمة تدير مجموعات الوصول. يتم استخدام هذه الخدمة أثناء الاستيعاب للتحقق من أذونات الاستيعاب. يتم استخدام هذه الخدمة أيضا أثناء استرداد سجل بيانات التعريف للتحقق من صحة عمليات الكتابة "للقراءة".
- الخدمة القانونية - خدمة تتحقق من التوافق من خلال العلامات القانونية.
- يتم استخدام خدمة البحث لإجراء فحص التكامل المرجعي أثناء عملية استيعاب البيان.
المتطلبات الأساسية
قبل تشغيل سير عمل استيعاب الملفات المستندة إلى البيان، يجب على العملاء التأكد من أن حسابات المستخدمين التي تقوم بتشغيل سير العمل لديها حق الوصول إلى الخدمات الأساسية (البحث والتخزين والمخطط والاستحقاق والشؤون القانونية) وخدمة سير العمل (راجع أدوار الاستحقاق للحصول على التفاصيل). كجزء من Azure Data Manager لتوفير مثيل الطاقة، يتم تحميل المخططات القياسية OSDU® والبيانات المرجعية المرتبطة بها مسبقا. يجب على العملاء التأكد من تضمين حساب المستخدم المستخدم لاستيعاب البيانات في قوائم التحكم بالوصول المناسبة للمالكين والمشاهدين. يجب على العملاء التأكد من تكوين البيانات بعلامات قانونية صحيحة ومالكين ومشاهدين ACLs وبيانات مرجعية وما إلى ذلك.
تسلسل سير العمل
يوفر الرسم التوضيحي التالي سير عمل استيعاب الملفات المستندة إلى البيان: 
يرسل المستخدم بيان إلى Workflow Service باستخدام اسم سير عمل استيعاب البيان ("Osdu_ingest"). إذا كان الطلب مناسبا وتم تخويل المستخدم لتشغيل سير العمل، تقوم خدمة سير العمل بتحميل البيان وبدء سير عمل استيعاب البيان.
تنفذ خدمة سير العمل سلسلة من البيان syntax validation مثل بنية البيان والتحقق من صحة السمة وفقا للمخطط المحدد والتحقق من سمات المخطط الإلزامية. ثم يتم تنفيذ referential integrity validation النظام بين مكونات منتج العمل ومجموعات البيانات. على سبيل المثال، ما إذا كانت البيانات الأصلية المشار إليها موجودة أم لا.
بمجرد نجاح عمليات التحقق من الصحة، يعالج النظام المحتوى في التخزين عن طريق كتابة كل كيان صالح في النظام الأساسي للبيانات باستخدام واجهة برمجة تطبيقات خدمة التخزين.
OSDU® هي علامة تجارية للمجموعة المفتوحة.