استخدام مستعرض الوظيفة وعرض الوظيفة ل Azure Data Lake Analytics

هام

تم إيقاف Azure Data Lake Analytics في 29 فبراير 2024. تعرف على المزيد من خلال هذا الإعلان.

بالنسبة لتحليلات البيانات، يمكن لمؤسستك استخدام Azure Synapse Analytics أو Microsoft Fabric.

أرسلت أرشيفات خدمة Azure Data Lake Analytics المهام في مخزن استعلام. في هذه المقالة، ستتعلم كيفية استخدام Job Browser و Job View في Azure Data Lake Tools for Visual Studio للعثور على معلومات المهمة التاريخية.

بشكل افتراضي، تقوم خدمة Data Lake Analytics بأرشفة الوظائف لمدة 30 يوما. يمكن تكوين فترة انتهاء الصلاحية من مدخل Microsoft Azure عن طريق تكوين نهج انتهاء الصلاحية المخصص. لن تتمكن من الوصول إلى معلومات الوظيفة بعد انتهاء الصلاحية.

المتطلبات الأساسية

راجع أدوات Data Lake للمتطلبات الأساسية ل Visual Studio.

فتح مستعرض الوظائف

الوصول إلى مستعرض الوظائف عبر Server Explorer>Azure>Data Lake Analytics>Jobs في Visual Studio. باستخدام مستعرض الوظائف، يمكنك الوصول إلى مخزن الاستعلام لحساب Data Lake Analytics. يعرض مستعرض الوظيفة Query Store على اليسار، ويعرض معلومات المهمة الأساسية، وعرض الوظيفة على اليمين يعرض معلومات مهمة مفصلة.

طريقة عرض الوظيفة

تعرض طريقة عرض الوظيفة المعلومات التفصيلية للوظيفة. لفتح وظيفة، يمكنك النقر نقرا مزدوجا فوق وظيفة في مستعرض الوظيفة، أو فتحها من قائمة Data Lake بالنقر فوق طريقة عرض المهمة. يجب أن تشاهد مربع حوار تم ملؤه بعنوان URL للوظيفة.

تحتوي طريقة عرض الوظيفة على:

• ملخص الوظيفة

  قم بتحديث طريقة عرض المهمة للاطلاع على أحدث المعلومات حول تشغيل المهام.

  • حالة الوظيفة (الرسم البياني):

    توضح حالة الوظيفة مراحل الوظيفة:

    

    • التحضير: قم بتحميل البرنامج النصي الخاص بك إلى السحابة، وتحويل البرنامج النصي برمجيا وتحسينه باستخدام خدمة التحويل البرمجي.

    • في قائمة الانتظار: يتم وضع المهام في قائمة الانتظار عندما تنتظر موارد كافية، أو تتجاوز المهام الحد الأقصى للوظائف المتزامنة لكل قيود حساب. يحدد إعداد الأولوية تسلسل المهام في قائمة الانتظار - كلما انخفض الرقم، ارتفعت الأولوية.

    • قيد التشغيل: المهمة قيد التشغيل بالفعل في حساب Data Lake Analytics الخاص بك.

    • الإنهاء: يتم إكمال المهمة (على سبيل المثال، إنهاء الملف).

      يمكن أن تفشل المهمة في كل مرحلة. على سبيل المثال، أخطاء التحويل البرمجي في مرحلة التحضير، وأخطاء المهلة في مرحلة قائمة الانتظار، وأخطاء التنفيذ في مرحلة التشغيل، وما إلى ذلك.

  • المعلومات الأساسية

    تظهر معلومات الوظيفة الأساسية في الجزء السفلي من لوحة "ملخص الوظيفة".

    

    • نتيجة المهمة: نجحت أو فشلت. قد تفشل المهمة في كل مرحلة.
    • إجمالي المدة: وقت ساعة الحائط (المدة) بين وقت الإرسال ووقت الانتهاء.
    • إجمالي وقت الحساب: مجموع كل وقت تنفيذ ذروة، يمكنك اعتباره الوقت الذي يتم فيه تنفيذ المهمة في ذروة واحدة فقط. راجع إجمالي الذروات للعثور على مزيد من المعلومات حول الذروة.
    • وقت الإرسال/البدء/الانتهاء: الوقت الذي تتلقى فيه خدمة Data Lake Analytics إرسال/بدء تشغيل المهمة/إنهاء المهمة بنجاح أم لا.
    • التحويل البرمجي/وضع قائمة الانتظار/التشغيل: وقت ساعة الحائط الذي يقضيه أثناء مرحلة التحضير/وضع قائمة الانتظار/التشغيل.
    • الحساب: حساب Data Lake Analytics المستخدم لتشغيل الوظيفة.
    • الكاتب: المستخدم الذي قدم الوظيفة، يمكن أن يكون حساب شخص حقيقي أو حساب نظام.
    • الأولوية: أولوية الوظيفة. كلما انخفض العدد، كانت الأولوية أعلى. يؤثر فقط على تسلسل المهام في قائمة الانتظار. لا يؤدي تعيين أولوية أعلى إلى استباق تشغيل الوظائف.
    • التوازي: الحد الأقصى المطلوب لعدد وحدات Azure Data Lake Analytics المتزامنة (ADLAUs)، والمعروفة أيضا باسم الذروات. حاليا، ذروة واحدة تساوي جهازا ظاهريا واحدا مع نواة ظاهرية وذاكرة وصول عشوائي بسعة ستة غيغابايت، على الرغم من أنه يمكن ترقية هذا في تحديثات Data Lake Analytics المستقبلية.
    • وحدات البايت إلى اليسار: وحدات البايت التي تحتاج إلى المعالجة حتى تكتمل المهمة.
    • وحدات البايت المقروءة/المكتوبة: وحدات البايت التي تمت قراءتها/كتابتها منذ بدء تشغيل المهمة.
    • إجمالي الذروات: يتم تقسيم الوظيفة إلى العديد من أجزاء العمل، ويسمى كل جزء من العمل الذروة. توضح هذه القيمة عدد أجزاء العمل التي تتكون منها الوظيفة. يمكنك اعتبار الذروة كوحدة معالجة أساسية، والمعروفة أيضا باسم Azure Data Lake Analytics Unit (ADLAU)، ويمكن تشغيل الذروات بالتوازي.
    • مكتمل/قيد التشغيل/فشل: عدد الرؤوس المكتملة/قيد التشغيل/الفاشلة. يمكن أن تفشل الذروات بسبب كل من التعليمات البرمجية للمستخدم وفشل النظام، ولكن عمليات إعادة محاولة النظام فشلت الذروات تلقائيا عدة مرات. إذا كانت الذروة لا تزال فاشلة بعد إعادة المحاولة، فستفشل المهمة بأكملها.

• الرسم البياني للوظيفة

  يمثل البرنامج النصي U-SQL منطق تحويل بيانات الإدخال إلى بيانات الإخراج. يتم تحويل البرنامج النصي برمجيا وتحسينه إلى خطة تنفيذ فعلية في مرحلة التحضير. مخطط الوظيفة هو إظهار خطة التنفيذ الفعلي. يوضح الرسم التخطيطي التالي العملية:

  

  يتم تقسيم الوظيفة إلى العديد من أجزاء العمل. كل جزء من العمل يسمى الذروة. يتم تجميع الذروات على أنها قمة فائقة (تعرف أيضا باسم المرحلة)، ويتم تصورها على أنها Job Graph. تعرض لافتات المرحلة الخضراء في الرسم البياني للوظيفة المراحل.

  تقوم كل ذروة في مرحلة ما بنفس نوع العمل مع أجزاء مختلفة من نفس البيانات. على سبيل المثال، إذا كان لديك ملف يحتوي على بيانات ب تيرابايت واحد، وكان هناك مئات الذروات تقرأ منه، فإن كل منها يقرأ مجموعة. يتم تجميع هذه الرؤوس في نفس المرحلة والقيام بنفس العمل على أجزاء مختلفة من نفس ملف الإدخال.

  • معلومات المرحلة

    في مرحلة معينة، يتم عرض بعض الأرقام في اللوحة.

    

    • استخراج SV1: اسم مرحلة، المسماة بواسطة رقم وطريقة العملية.

    • 84 رأسا: العدد الإجمالي للرؤوس في هذه المرحلة. يشير الشكل إلى عدد أجزاء العمل التي تم تقسيمها في هذه المرحلة.

    • 12.90 ثانية/ذروة: متوسط وقت تنفيذ الذروة لهذه المرحلة. يتم حساب هذا الشكل حسب SUM (كل وقت تنفيذ الذروة) / (إجمالي عدد الذروات). مما يعني أنه إذا كان بإمكانك تعيين جميع الرؤوس المنفذة بالتوازي، يتم إكمال المرحلة بأكملها في 12.90 ثانية. وهذا يعني أيضا أنه إذا تم القيام بكل العمل في هذه المرحلة بشكل تسلسلي، ستكون التكلفة #vertices * وقت AVG.

    • 850895 صفا مكتوبا: إجمالي عدد الصفوف المكتوبة في هذه المرحلة.

    • R/W: مقدار البيانات المقروءة/المكتوبة في هذه المرحلة بالبايت.

    • الألوان: يتم استخدام الألوان في المرحلة للإشارة إلى حالة ذروة مختلفة.

      • يشير الأخضر إلى نجاح الذروة.
      • يشير اللون البرتقالي إلى إعادة محاولة الذروة. فشل الذروة التي تمت إعادة المحاولة ولكن تتم إعادة المحاولة تلقائيا و بنجاح من قبل النظام، ويتم إكمال المرحلة الإجمالية بنجاح. إذا تمت إعادة محاولة الذروة ولكنها لا تزال فاشلة، يتحول اللون إلى اللون الأحمر وفشلت المهمة بأكملها.
      • يشير اللون الأحمر إلى فشل، ما يعني أنه تمت إعادة محاولة ذروة معينة عدة مرات من قبل النظام ولكنها لا تزال فاشلة. يؤدي هذا السيناريو إلى فشل المهمة بأكملها.
      • الأزرق يعني أن ذروة معينة قيد التشغيل.
      • يشير اللون الأبيض إلى أن الذروة قيد الانتظار. قد تكون الذروة في انتظار جدولتها بمجرد توفر ADLAU، أو قد تنتظر الإدخال نظرا لأن بيانات الإدخال الخاصة بها قد لا تكون جاهزة.

      يمكنك العثور على مزيد من التفاصيل للمرحلة عن طريق تمرير مؤشر الماوس في حالة واحدة:

      

  • الذروات: تصف تفاصيل الذروات، على سبيل المثال، عدد الذروات في المجموع، وعدد الذروات التي تم إكمالها، أو هل فشلت أو لا تزال قيد التشغيل/الانتظار، وما إلى ذلك.

  • قراءة البيانات عبر/داخل الجراب: يتم تخزين الملفات والبيانات في pods متعددة في نظام الملفات الموزعة. توضح القيمة هنا مقدار البيانات التي تمت قراءتها في نفس الجراب أو عبر الجراب.

  • إجمالي وقت الحساب: مجموع كل وقت تنفيذ ذروة في المرحلة، يمكنك اعتباره الوقت الذي سيستغرقه تنفيذ كل العمل في المرحلة في ذروة واحدة فقط.

  • البيانات والصفوف المكتوبة/المقروءة: تشير إلى مقدار البيانات أو الصفوف التي تمت قراءتها/كتابتها، أو يجب قراءتها.

  • فشل قراءة الذروة: يصف عدد الذروات التي فشلت أثناء قراءة البيانات.

  • يتجاهل التكرار الرأسي: إذا كانت الذروة تعمل ببطء شديد، فقد يقوم النظام بجدولة رؤوس متعددة لتشغيل نفس الجزء من العمل. سيتم تجاهل الذروات الزائدة بمجرد اكتمال إحدى القمم بنجاح. يتجاهل تكرار Vertex عدد الذروات التي يتم تجاهلها كازدواجية في المرحلة.

  • إبطال الذروة: نجحت الذروة، ولكن اعيد تشغيلها لاحقا بسبب بعض الأسباب. على سبيل المثال، إذا فقدت ذروة انتقال البيانات من الخادم بيانات الإدخال الوسيطة، فستطلب من ذروة المصدر إعادة التشغيل.

  • عمليات تنفيذ جدول الذروة: إجمالي الوقت الذي تمت فيه جدولة الذروات.

  • قراءة بيانات الحد الأدنى/المتوسط/الحد الأقصى للرأس: الحد الأدنى/المتوسط/الحد الأقصى لكل بيانات قراءة الذروة.

  • المدة: وقت ساعة الحائط الذي تستغرقه المرحلة، تحتاج إلى تحميل ملف التعريف لرؤية هذه القيمة.

  • تشغيل الوظيفة

    يقوم Data Lake Analytics بتشغيل المهام وأرشفة الذروات التي تقوم بتشغيل معلومات الوظائف، مثل وقت بدء الذروات وإيقافها وفشلها وكيفية إعادة المحاولة وما إلى ذلك. يتم تسجيل جميع المعلومات تلقائيا في مخزن الاستعلام وتخزينها في ملف تعريف الوظيفة الخاص به. يمكنك تنزيل Job Profile من خلال "Load Profile" في Job View، ويمكنك عرض Job Playback بعد تنزيل ملف تعريف الوظيفة.

    تشغيل الوظيفة هو تصور توضيحي لما حدث في نظام المجموعة. يساعدك على مشاهدة تقدم تنفيذ المهمة والكشف بصريا عن حالات الأداء الشاذة والازدحام في وقت قصير جدا (أقل من 30s عادة).

  • عرض خريطة التمثيل اللوني للوظيفة

    يمكن تحديد Job Heat Map من خلال القائمة المنسدلة Display في Job Graph.

    

    وهو يظهر خريطة التمثيل اللوني للإدخال/الإخراج والوقت ومعدل النقل للوظيفة، والتي من خلالها يمكنك العثور على المكان الذي تقضي فيه الوظيفة معظم الوقت، أو ما إذا كانت وظيفتك مهمة حدود الإدخال/الإخراج، وما إلى ذلك.

    

    • التقدم: تقدم تنفيذ المهمة، راجع معلومات في معلومات المرحلة.
    • قراءة/كتابة البيانات: خريطة التمثيل اللوني لإجمالي البيانات المقروءة/المكتوبة في كل مرحلة.
    • وقت الحساب: خريطة التمثيل اللوني ل SUM (كل وقت تنفيذ الذروة)، يمكنك اعتبار هذا كم من الوقت سيستغرقه تنفيذ كل العمل في المرحلة برأس واحد فقط.
    • متوسط وقت التنفيذ لكل عقدة: خريطة التمثيل اللوني ل SUM (كل وقت تنفيذ الذروة) / (رقم الذروة). مما يعني أنه إذا كان بإمكانك تعيين جميع الرؤوس المنفذة بالتوازي، فسيتم تنفيذ المرحلة بأكملها في هذا الإطار الزمني.
    • معدل نقل الإدخال/الإخراج: خريطة التمثيل اللوني لمعدل نقل الإدخال/الإخراج لكل مرحلة، يمكنك تأكيد ما إذا كانت وظيفتك مهمة مرتبطة بإدخال/إخراج من خلال هذا.

• عمليات بيانات التعريف

  يمكنك تنفيذ بعض عمليات بيانات التعريف في البرنامج النصي U-SQL، مثل إنشاء قاعدة بيانات وإفلات جدول وما إلى ذلك. يتم عرض هذه العمليات في عملية بيانات التعريف بعد التحويل البرمجي. يمكنك العثور على التأكيدات، وإنشاء الكيانات، وإفلات الكيانات هنا.

  

• محفوظات الحالة

  يتم أيضا تصور محفوظات الحالة في "ملخص الوظيفة"، ولكن يمكنك الحصول على مزيد من التفاصيل هنا. يمكنك العثور على المعلومات التفصيلية مثل وقت إعداد المهمة، وضعها في قائمة الانتظار، بدء التشغيل، إنهاؤها. يمكنك أيضا العثور على عدد المرات التي تم فيها تحويل الوظيفة برمجيا (CcsAttempts: 1)، متى يتم إرسال المهمة إلى نظام المجموعة فعليا (التفاصيل: مهمة الإرسال إلى نظام المجموعة)، وما إلى ذلك.

  

• التشخيص

  تقوم الأداة بتشخيص تنفيذ المهمة تلقائيا. ستتلقى تنبيهات عند وجود بعض الأخطاء أو مشكلات الأداء في وظائفك. يرجى ملاحظة أنك بحاجة إلى تنزيل ملف التعريف للحصول على المعلومات الكاملة هنا.

  

  • التحذيرات: يظهر تنبيه هنا مع تحذير المحول البرمجي. يمكنك تحديد ارتباط "x issue(s)" للحصول على مزيد من التفاصيل بمجرد ظهور التنبيه.
  • الذروة طويلة جدا: إذا نفد الوقت لأي ذروة (على سبيل المثال 5 ساعات)، فسيتم العثور على المشكلات هنا.
  • استخدام الموارد: إذا قمت بتخصيص توازي أكثر أو لا يكفي من الحاجة، فسيتم العثور على المشكلات هنا. يمكنك أيضا تحديد استخدام الموارد للاطلاع على مزيد من التفاصيل وتنفيذ سيناريوهات ماذا لو للعثور على تخصيص موارد أفضل (لمزيد من التفاصيل، راجع هذا الدليل).
  • فحص الذاكرة: إذا كانت أي ذروة تستخدم أكثر من 5 غيغابايت من الذاكرة، فسيتم العثور على المشكلات هنا. يمكن أن يقتل تنفيذ المهمة بواسطة النظام إذا كان يستخدم ذاكرة أكثر من قيود النظام.

تفاصيل الوظيفة

تعرض تفاصيل الوظيفة المعلومات التفصيلية للوظيفة، بما في ذلك البرنامج النصي والموارد وعرض تنفيذ Vertex.

• النص

  يتم تخزين البرنامج النصي U-SQL للوظيفة في مخزن الاستعلام. يمكنك عرض البرنامج النصي U-SQL الأصلي وإعادة إرساله إذا لزم الأمر.

• الموارد

  يمكنك العثور على مخرجات التحويل البرمجي للوظيفة المخزنة في مخزن الاستعلام من خلال الموارد. على سبيل المثال، يمكنك العثور على "algebra.xml" التي تستخدم لإظهار Job Graph والتجميعات التي سجلتها وما إلى ذلك هنا.

• طريقة عرض تنفيذ الذروة

  يعرض تفاصيل تنفيذ الذروات. يقوم ملف تعريف الوظيفة بأرشفة كل سجل تنفيذ ذروة، مثل إجمالي البيانات المقروءة/المكتوبة ووقت التشغيل والحالة وما إلى ذلك. من خلال طريقة العرض هذه، يمكنك الحصول على مزيد من التفاصيل حول كيفية تشغيل الوظيفة. لمزيد من المعلومات، راجع استخدام طريقة عرض تنفيذ Vertex في أدوات Data Lake ل Visual Studio.

الخطوات التالية

• لتسجيل معلومات التشخيص، راجع الوصول إلى سجلات التشخيص ل Azure Data Lake Analytics
• لمشاهدة استعلام أكثر تعقيدا، راجع تحليل سجلات موقع الويب باستخدام Azure Data Lake Analytics.
• لاستخدام طريقة عرض تنفيذ الذروة، راجع استخدام طريقة عرض تنفيذ الذروة في أدوات Data Lake ل Visual Studio