Share via

مفاهيم استيعاب محلل CSV

  • مقالة

ملف CSV (قيم مفصولة بفاصلة) هو ملف نصي محدد بفاصلة يستخدم لحفظ البيانات بتنسيق منظم للجدول.

يسمح DAG محلل CSV للعميل بتحميل البيانات في مثيل Microsoft Azure Data Manager for Energy استنادا إلى مخطط مخصص، وهو مخطط لا يتطابق مع مخطط OSDU® المعروف جيدا (WKS). يجب على العملاء إنشاء المخطط المخصص وتسجيله باستخدام خدمة المخطط قبل تحميل البيانات.

ينفذ CSV Parser DAG نهج ELT (استخراج التحميل والتحويل) لتحميل البيانات، أي يتم استخراج البيانات أولا من النظام المصدر بتنسيق CSV، ويتم تحميلها في Azure Data Manager لمثيل الطاقة. يمكن بعد ذلك تحويله إلى مخطط OSDU® المعروف جيدا باستخدام خدمة تعيين.

ماذا يفعل استيعاب CSV؟

يسمح DAG محلل CSV للعملاء بتحميل بيانات CSV في مثيل Microsoft Azure Data Manager for Energy. يقوم بتحليل كل صف من ملف CSV وإنشاء سجل بيانات تعريف التخزين. ينفذ schema validation للتأكد من أن بيانات CSV تتوافق مع المخطط المخصص المسجل. ينفذ type coercion تلقائيا على الأعمدة استنادا إلى تعريف نوع بيانات المخطط. يقوم بإنشاء unique id لكل صف من سجل CSV عن طريق الجمع بين المصدر ونوع الكيان وسلسلة ترميز Base64 التي تم تشكيلها عن طريق تسلسل المفتاح (المفاتيح) الطبيعية في البيانات. ينفذ unit conversion عن طريق تحويل الإطار المعلن للمعلومات المرجعية إلى مرجع مناسب قابل للاستمرار باستخدام خدمة الوحدة. CRS conversion ينفذ للأعمدة المدركة مكانيا استنادا إلى معلومات إطار المرجع (FoR) الموجودة في المخطط. يقوم بإنشاء relationships بيانات التعريف كما هو معلن في مخطط المصدر. وأخيرا، فإنه persists سجل بيانات التعريف باستخدام خدمة التخزين.

مكونات استيعاب محلل CSV

يتكون سير عمل CSV Parser DAG من الخدمات التالية:

  • تسهل خدمة الملفات إدارة الملفات في Azure Data Manager لمثيل الطاقة. يسمح للمستخدم بتحميل الملفات واكتشافها وتنزيلها بأمان من النظام الأساسي للبيانات.
  • تسهل خدمة المخطط إدارة المخططات في Azure Data Manager لمثيل الطاقة. يسمح للمستخدم بإنشاء المخططات وإحضارها والبحث عنها في النظام الأساسي للبيانات.
  • تسهل Storage Service تخزين معلومات بيانات التعريف لكيانات المجال التي تم استيعابها في النظام الأساسي للبيانات. كما أنه يرفع أحداث تغيير سجل التخزين التي تسمح لخدمات انتقال البيانات من الخادم بتنفيذ عمليات على سجلات بيانات التعريف التي تم استيعابها.
  • خدمة الوحدة تسهل إدارة وتحويل الوحدات
  • تسهل خدمة سير العمل إدارة مهام سير العمل في Azure Data Manager لمثيل الطاقة. إنها خدمة تضمين أعلى محرك تزامن Airflow.

رسم تخطيطي لمكونات استيعاب CSV

لقطة شاشة للرسم التخطيطي لمكونات استيعاب CSV.

سير عمل استيعاب محلل CSV

لتنفيذ سير عمل CSV Parser DAG، يجب أن يكون لدى المستخدم رمز تخويل صالح ووصول مناسب إلى الخدمات التالية: البحث والتخزين والمخطط وخدمة الملفات والاستحقاق والقانوني وسير العمل.

يوضح الرسم التخطيطي لسير العمل أدناه سير عمل CSV Parser DAG: لقطة شاشة للرسم التخطيطي لتسلسل استيعاب CSV.

لتنفيذ سير عمل CSV Parser DAG، يجب على المستخدم أولا إنشاء المخطط وتسجيله باستخدام خدمة سير العمل. بمجرد إنشاء المخطط، يستخدم المستخدم خدمة File لتحميل ملف CSV إلى Microsoft Azure Data Manager لمثيلات الطاقة، ويقوم أيضا بإنشاء سجل تخزين نوع عام للملف. ثم توفر خدمة الملفات معرف ملف للمستخدم، والذي يتم استخدامه أثناء تشغيل سير عمل محلل CSV باستخدام خدمة سير العمل. توفر خدمة سير العمل معرف تشغيل، والذي يمكن للمستخدم استخدامه لتتبع حالة تشغيل سير عمل محلل CSV.

OSDU® هي علامة تجارية للمجموعة المفتوحة.

الخطوات التالية

تقدم إلى البرنامج التعليمي لموزع CSV وتعلم كيفية تنفيذ استيعاب محلل CSV

البرنامج التعليمي: خطوات نموذجية لتنفيذ استيعاب محلل CSV