Share via

استخدام سجلات Azure Monitor لمراقبة نظم مجموعات HDInsight

  • مقالة

تعرف على كيفية تمكين سجلات Azure Monitor لمراقبة عمليات مجموعة Hadoop في HDInsight. وكيفية إضافة حل مراقبة HDInsight.

سجلات Azure Monitor هي خدمة Azure Monitor التي تراقب البيئات السحابية والبيئات المحلية. المراقبة هي الحفاظ على توافرها وأدائها. فهو يجمع البيانات التي تم إنشاؤها بواسطة الموارد في البيئات السحابية والأماكن المحلية ومن أدوات المراقبة الأخرى. يتم استخدام البيانات لتوفير التحليل عبر مصادر متعددة.

إشعار

تم تحديث هذه المقالة مؤخرًا لاستخدام مصطلح سجلات مراقبة Azure بدلاً من تحليلات السجلات. لا تزال بيانات السجل مخزنة في مساحة عمل Log Analytics ولا يزال يتم جمعها وتحليلها بواسطة نفس خدمة Log Analytics. نحن نحدِّث المصطلحات لتعكس دور السجلات في Azure Monitorعلى نحوٍ أفضل. راجع تغييرات مصطلحات Azure Monitor للحصول على التفاصيل.

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

هام

تتوفر تجربة Azure Monitor الجديدة في جميع المناطق كميزة معاينة.

المتطلبات الأساسية

  • مساحة عمل Log Analytics. يمكنك التفكير في مساحة العمل هذه على أنها بيئة سجلات فريدة من نوعها في Azure Monitor مع مستودع البيانات ومصادر البيانات والحلول الخاصة بها. للحصول على إرشادات، راجع إنشاء مساحة عمل Azure Synapse Analytics.

  • مجموعة Azure HDInsight. حاليًا، يمكنك استخدام سجلات Azure Monitor مع أنواع مجموعات HDInsight التالية:

    • Hadoop
    • HBase
    • استعلام تفاعلي
    • Kafka
    • Spark

    للحصول على إرشادات حول كيفية إنشاء كتلة HDInsight، راجع بدء استخدام Azure HDInsight.

  • إذا كنت تستخدم PowerShell، فستحتاج إلى Az Module. تأكد من حصولك على أحدث إصدار. إذا لزم الأمر، قم بتشغيلUpdate-Module -Name Az.

  • إذا كنت تريد استخدام Azure CLI ولم تقم بتثبيته بعد، فراجع تثبيت Azure CLI.

إشعار

لا تتوفر تجربة Azure Monitor الجديدة إلا في جميع المناطق كميزة معاينة. يوصى بوضع كل من مجموعة HDInsight ومساحة عمل Log Analytics في نفس المنطقة للحصول على أداء أفضل.

قم بتمكين Azure Monitor باستخدام البوابة

في هذا القسم، تقوم بتكوين مجموعة HDInsight Hadoop الحالية لاستخدام مساحة عمل Azure Log Analytics لمراقبة المهام، وسجلات تصحيح الأخطاء، وما إلى ذلك.

  1. من مدخل Azure، حدد نظام المجموعة. يتم فتح نظام مجموعة في صفحة مدخل جديد.

  2. من اليسار، ضمن المراقبة، حدد Monitor Integration.

  3. من العرض الرئيسي، ضمن Azure Monitor for HDInsight Clusters Integration، حدد Enable.

  4. من القائمة المنسدلة تحديد مساحة عمل، حدد مساحة عمل Log Analytics الموجودة.

  5. حدد حفظ. يستغرق الأمر بضع لحظات لحفظ الإعداد.

    Enable monitoring for HDInsight clusters.

إذا كنت ترغب في تعطيل Azure Monitor، يمكنك أن تفعل الشيء نفسه في هذا المدخل.

تمكين شاشة Azure باستخدام Azure PowerShell

يمكنك تمكين سجلات Azure Monitor باستخدام وحدة Azure PowerShell Az Enable-AzHDInsightAzureMonitor cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

لتعطيل، استخدم Disable-AzHDInsightAzureMonitor cmdlet:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

قم بتمكين شاشة Azure باستخدام Azure PowerShell

يمكنك تمكين سجلات Azure Monitor باستخدام أمر Azure CLIaz hdinsight azure-monitor enable.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

للتعطيل، استخدم az hdinsight monitor disable الأمر.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

استخدم HDInsight out-of-box Insights لمراقبة مجموعة واحدة

يوفر HDInsight مصنفًا خاصًا بأحمال العمل لمساعدتك في الحصول على الرؤى بسرعة. يجمع هذا المصنف مقاييس الأداء المهمة من مجموعة HDInsight ويوفر المرئيات ولوحات المعلومات لمعظم السيناريوهات الشائعة. توفر الرؤى الجاهزة رؤية كاملة لمجموعة HDInsight واحدة بما في ذلك استخدام الموارد وحالة التطبيق.

المصنفات HDInsight المتوفرة:

  • مصنف HDInsight Spark
  • مصنف HDInsight Kafka
  • مصنف HDInsight HBase
  • مصنف HDInsight Hive/LLAP

لقطة شاشة لمصنف Spark Spark workbook screenshot.

تكوين عدادات الأداء

تدعم Azure Monitor تجميع وتحليل مقاييس الأداء للعقد في نظام المجموعة الخاص بك. لمزيد من المعلومات، راجع مصادر بيانات أداء Linux في Azure Monitor.

تدقيق نظام مجموعة

يدعم HDInsight تدقيق المجموعة باستخدام سجلات Azure Monitor، عن طريق استيراد أنواع السجلات التالية:

  • log_gateway_audit_CL - يوفر هذا الجدول سجلات التدقيق من عقد عبارة نظام المجموعة التي تظهر محاولات تسجيل الدخول الناجحة والفاشلة.
  • log_auth_CL - يوفر هذا الجدول سجلات SSH مع محاولات تسجيل الدخول الناجحة والفاشلة.
  • log_ambari_audit_CL - يوفر هذا الجدول سجلات التدقيق من Ambari.
  • log_ranger_audti_CL - يوفر هذا الجدول سجلات التدقيق من Apache Ranger على مجموعات ESP.

تحديث عامل تحليلات السجل (OMS) المستخدم من قبل تكامل Azure Monitor HDInsight

عند تمكين تكامل Azure Monitor في نظام مجموعة، يتم تثبيت وكيل Log Analytics أو عامل مجموعة إدارة العمليات (OMS) على الكتلة ولا يتم تحديثه ما لم تقم بتعطيل تكامل Azure Monitor وإعادة تمكينه. أكمل الخطوات التالية إذا كنت بحاجة إلى تحديث عامل OMS على الكتلة. إذا كنت محميًا بجدار حماية قد تحتاج إلى إكمال المتطلبات الأساسية للتجمعات خلف جدار حماية قبل إكمال هذه الخطوات.

  1. من مدخل Azure، حدد نظام المجموعة. يتم فتح نظام مجموعة في صفحة مدخل جديد.
  2. من اليسار، ضمن المراقبة، حدد Azure Monitor.
  3. لاحظ اسم مساحة عمل Log Analytics الحالية.
  4. من طريقة العرض الرئيسية، ضمن تكامل مراقب Azure،قم بتعطيل التبديل، ثم حدد حفظ.
  5. بعد حفظ الإعداد، قم بإعادة تمكين تبديل تكامل Azure Monitor، وتأكد من تحديد مساحة عمل Log Analytics نفسها، ثم حدد حفظ.

إذا كان لديك Azure Monitor Integration ممكّنًا على نظام مجموعة، فسيؤدي تحديث وكيل OMS أيضًا إلى تحديث إصدار Open Management Infrastructure (OMI). يمكنك التحقق من إصدار OMI على المجموعة عن طريق تشغيل الأمر التالي:

 sudo /opt/omi/bin/omiserver –version

الخطوات التالية