Share via

دمج سجلات تدفق الهواء مع Azure Monitor

  • مقالة

في هذه المقالة، ستتعلم كيفية البدء في جمع سجلات تدفق الهواء لمثيلات Microsoft Azure Data Manager for Energy في Azure Monitor. تساعدك ميزة التكامل هذه على تصحيح أخطاء تشغيل Airflow DAG (Directed Acyclic Graph).

المتطلبات الأساسية

  • مساحة عمل Log Analytics موجودة. سيتم استخدام مساحة العمل هذه للاستعلام عن سجلات Airflow باستخدام محرر استعلام Kusto Query Language (KQL) في مساحة عمل Log Analytics. مورد مفيد: إنشاء مساحة عمل تحليلات السجل في مدخل Microsoft Azure.

  • حساب تخزين موجود: سيتم استخدامه لتخزين ملفات تفريغ JSON لسجلات تدفق الهواء. ليس من الضروري أن يكون حساب التخزين في نفس اشتراك مساحة عمل Log Analytics.

تمكين إعدادات التشخيص لتجميع السجلات في حساب تخزين

يأتي كل Azure Data Manager لمثيل الطاقة مع مثيل Azure Data Factory Workflow Orchestration Manager (مدعوم من Apache Airflow). نحن نجمع سجلات تدفق الهواء لأغراض استكشاف الأخطاء وإصلاحها الداخلية وتصحيح الأخطاء. يمكن دمج سجلات تدفق الهواء مع Azure Monitor بالطرق التالية:

  • حساب التخزين
  • مساحة عمل Log Analytics

للوصول إلى السجلات عبر أي من الخيارين أعلاه، تحتاج إلى إنشاء إعداد تشخيص. يحتوي كل إعداد تشخيصي على ثلاثة أجزاء أساسية:

الجزء ‏‏الوصف‬
الاسم هذا هو اسم سجل التشخيص. تأكد من تعيين اسم فريد لكل سجل.
الفئات فئة السجلات لإرسالها إلى كل وجهة من الوجهات. ستختلفْ مجموعة الفئات لكل خدمة Azure. تفضل بزيارة: فئات سجل الموارد المدعومة
الوجهات وجهة واحدة أو أكثر لإرسال السجلات. تشترك جميع خدمات Azure في نفس المجموعة من الوجهات المحتملة. يمكن لكل إعداد تشخيصي تعريف وجهة واحدة أو أكثر ولكن لا يمكن تحديد أكثر من وجهة واحدةٍ من نوعٍ معين. يجب أن يكون حساب تخزين أو مساحة اسم مراكز الأحداث أو مركز أحداث.

اتبع الخطوات التالية لإعداد الإعدادات التشخيص:

  1. افتح صفحة نظرة عامة على Microsoft Azure Data Manager for Energy

  2. حدد Diagnostic الإعدادات من اللوحة اليسرى

    لقطة شاشة لصفحة نظرة عامة على إعداد تشخيص مراقبة Azure. تعرض الصفحة قائمة بإعدادات التشخيص الموجودة وخيار إضافة إعدادات جديدة.

  3. حدد إضافة إعداد تشخيص

  4. حدد Airflow Task Logs ضمن Logs

  5. حدد أرشفة لحساب تخزين

    لقطة شاشة لإنشاء إعداد تشخيص لأرشفة السجلات إلى حساب تخزين. تظهر الصورة الاشتراك وحساب التخزين المختار لإعداد تشخيص.

  6. تحقق من الاشتراك وحساب التخزين الذي تريد أرشفة السجلات إليه.

بعد إنشاء إعداد تشخيص لأرشفة سجلات مهام Airflow في حساب تخزين، يمكنك الانتقال إلى صفحة نظرة عامة على حساب التخزين. يمكنك بعد ذلك استخدام "Storage Browser" على اللوحة اليمنى للعثور على ملف JSON الصحيح الذي تريد التحقيق فيه. يعد الاستعراض عبر دلائل مختلفة بديهيا أثناء الانتقال من سنة إلى شهر إلى يوم.

  1. انتقل عبر الحاويات، المتوفرة على اللوحة اليسرى.

    لقطة شاشة لاستكشاف السجلات المؤرشفة في حاويات حساب التخزين. ستعرض الحاوية سجلات من جميع المصادر التي تم إعدادها.

  2. افتح جزء المعلومات على اليمين. يحتوي على زر "تنزيل" لحفظ ملف السجل محليا.

  3. يمكن تحليل السجلات التي تم تنزيلها في أي محرر.

تمكين إعدادات التشخيص لدمج السجلات مع مساحة عمل Log Analytics

يمكنك دمج سجلات Airflow مع مساحة عمل Log Analytics باستخدام الإعدادات التشخيصية ضمن اللوحة اليسرى من صفحة نظرة عامة على مثيل Microsoft Azure Data Manager for Energy.

لقطة شاشة لإنشاء إعداد تشخيص. يعرض خيارات تحديد مساحة عمل تحليلات السجل للاشتراك التي سيتم التكامل معها.

العمل مع سجلات تدفق الهواء المتكاملة في مساحة عمل Log Analytics

استخدم Kusto Query Language (KQL) لاسترداد البيانات المطلوبة على سجلات Airflow المجمعة من مساحة عمل Log Analytics. يمكنك إما تحميل استعلامات العينة التي تم إنشاؤها مسبقا إلى مساحة عمل Log Analytics أو إنشاء استعلاماتك الخاصة.

لقطة شاشة لصفحة Azure Monitor Log Analytics لعرض السجلات المجمعة. ضمن إدارة السجل، ستكون الجداول من جميع المصادر مرئية.

  1. تحميل الاستعلامات التي تم إنشاؤها مسبقا: حدد السجلات من قائمة المورد. يتم فتح Log Analytics مع نافذة Queries التي تتضمن استعلامات تم إنشاؤها مسبقا لنوع المورد الخاص بك. استعرض عبر الاستعلامات المتوفرة. حدد الذي سيتم تشغيله وحدد Run. تتم إضافة الاستعلام إلى نافذة الاستعلام ويتم إرجاع النتائج.

  2. كتابة الاستعلامات في محرر الاستعلام: يمكنك نسخ الاستعلامات التالية ولصقها وتحريرها أو كتابة الاستعلامات الخاصة بك في KQL على محرر Power Query مساحة عمل Log Analytics.

استعلامات عينة

يقوم هذا الاستعلام بإرجاع جميع سجلات Airflow ذات مستوى ERROR. يمكنك تصفية النتائج عن طريق إضافة (إلغاء التعليق) حيث يتم تشغيل عبارة Azure Data Manager لاسم مثيل الطاقة ومعرف الارتباط ل DAG الخاص بك.


OEPAirFlowTask
| extend ResourceName = tostring(split(_ResourceId , '/')[-1])
// | where ResourceName == "<the name of ADME instance>"        // to filter on resourceName replace <...> and uncomment line
// | where CorrelationId == "<DAG run's runId>"                 // to filter on correlationID replace <...> with correlationId (same as runId) - we have created a duplicate for to maintain consistency of column name across all services 
| where LogLevel  == "ERROR"
| project TimeGenerated, DagName, LogLevel, DagTaskName, CodePath, Content

يسرد هذا الاستعلام جميع عمليات تشغيل DAG ومعرفات الارتباط المقابلة لها في Azure Data Manager المذكور لمورد الطاقة.


OEPAirFlowTask
| extend ResourceName = tostring(split(_ResourceId , '/')[-1])
// | where ResourceName == "<the name of ADME instance>"        // to filter on resourceName replace <...> and uncomment line
| distinct DagName, CorrelationId                               // correlationId is same as runId - we have created a duplicate for consistency in search across logs of all services 
| sort by DagName asc

لقد أضفنا مستندا لمساعدتك في استكشاف أخطاء عملية استيعاب البيان وإصلاحها باستخدام سجلات تدفق الهواء التي تم جمعها في مساحة عمل Log Analytics.

الخطوات التالية

الآن بعد أن قمت بجمع سجلات الموارد، قم بإنشاء تنبيه استعلام عن السجل ليتم إعلامك بشكل استباقي عند تحديد بيانات مثيرة للاهتمام في بيانات السجل الخاصة بك.

إنشاء تنبيه استعلام عن سجل لمورد Azure