Uso de los registros de Azure Monitor para supervisar clústeres de HDInsight

  • Artículo

Aprenda a usar habilitar los registros de Azure Monitor para supervisar las operaciones de los clústeres de Hadoop en HDInsight. Y a agregar una solución de supervisión de HDInsight.

Los registros de Azure Monitor son un servicio de Azure Monitor que supervisa los entornos locales y en la nube. La supervisión sirve para mantener su disponibilidad y rendimiento. Recopila los datos generados por los recursos en los entornos local y de nube y mediante otras herramientas de supervisión. Los datos se usan para proporcionar análisis en varios orígenes.

Nota:

Este artículo se ha actualizado recientemente para usar el término registros de Azure Monitor en lugar de Log Analytics. Los datos de registro siguen almacenándose en un área de trabajo de Log Analytics y siguen recopilándose y analizándose por el mismo servicio de Log Analytics. Estamos actualizando la terminología para reflejar mejor el rol de los registros de Azure Monitor. Consulte Azure Monitor terminology changes (Cambios en la terminología de Azure Monitor) para obtener más información.

Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.

Importante

La nueva experiencia de Azure Monitor está disponible en todas las regiones como característica en vista previa.

Prerrequisitos

  • Un área de trabajo de Log Analytics. Considere el área de trabajo como un entorno de registros de Azure Monitor único, con su propio repositorio de datos, sus propios orígenes de datos y sus propias soluciones. Para más instrucciones, consulte Creación de un área de trabajo de Log Analytics.

  • Un clúster de HDInsight de Azure. Actualmente, puede usar los registros de Azure Monitor con los siguientes tipos de clúster de HDInsight:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark

    Para instrucciones sobre cómo crear un clúster en HDInsight, consulte el artículo de introducción a Azure HDInsight.

  • Si usa PowerShell, necesitará el Módulo Az. Asegúrese de disponer de la versión más reciente. Si es necesario, ejecute Update-Module -Name Az.

  • Si quiere usar la CLI de Azure y todavía no la ha instalado, consulte Instalación de la CLI de Azure.

Nota

La nueva experiencia de Azure Monitor solo está disponible en todas las regiones como característica en vista previa. Se recomienda colocar el clúster de HDInsight y el área de trabajo de Log Analytics en la misma región para mejorar el rendimiento.

Habilitación de Azure Monitor mediante el portal

En esta sección, configurará un clúster de HDInsight Hadoop existente para usar un área de trabajo de Azure Log Analytics para supervisar trabajos, depurar registros, etc.

  1. En Azure Portal, seleccione su clúster. El clúster se abre en una nueva página del portal.

  2. En el menú de la izquierda, en Supervisión, seleccione Monitor Integration (Integración de Monitor).

  3. En la vista principal, en Azure Monitor for HDInsight Clusters Integration, (Integración de Azure Monitor para clústeres de HDInsight), seleccione Habilitar.

  4. En la lista desplegable Seleccionar un área de trabajo, seleccione un área de trabajo de Log Analytics existente.

  5. Seleccione Guardar. Guardar la configuración tarda unos minutos.

    Enable monitoring for HDInsight clusters.

Si desea deshabilitar Azure Monitor, puede hacer lo mismo en este portal.

Habilitación de Azure Monitor mediante Azure PowerShell

Puede habilitar los registros de Azure Monitor con el cmdlet Enable-AzHDInsightAzureMonitor del módulo Az de Azure PowerShell.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Para deshabilitarlos, use el cmdlet Disable-AzHDInsightAzureMonitor:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Habilitación de Azure Monitor mediante la CLI de Azure

Puede habilitar los registros de Azure Monitor mediante el comando az hdinsight azure-monitor enable de la CLI de Azure.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Para deshabilitarlos, use el comando az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Uso de información lista para usar de HDInsight para supervisar un único clúster

HDInsight proporciona un libro específico de la carga de trabajo para ayudarle a obtener información rápidamente. Este libro recopila importantes métricas de rendimiento del clúster de HDInsight y proporciona visualizaciones y paneles para los escenarios más comunes. La información lista para usar proporciona una vista completa de un único clúster de HDInsight, incluido el uso de recursos y el estado de la aplicación.

Libros de HDInsight disponibles:

  • Libro de Spark para HDInsight
  • Libro de Kafka para HDInsight
  • Libro de HBase para HDInsight
  • Libro de Hive/LLAP para HDInsight

Captura de pantalla del libro de SparkSpark workbook screenshot.

Configuración de contadores de rendimiento

Azure Monitor admite la recopilación y el análisis de las métricas de rendimiento de los nodos del clúster. Para obtener más información, consulte Orígenes de datos de rendimiento de Windows y Linux en Azure Monitor.

Auditoría de clústeres

HDInsight admite la auditoría de clústeres con registros de Azure Monitor, mediante la importación de los siguientes tipos de registros:

  • log_gateway_audit_CL: esta tabla proporciona registros de auditoría de nodos de puerta de enlace de clúster que muestran intentos de inicio de sesión correctos y erróneos.
  • log_auth_CL: esta tabla proporciona registros SSH con intentos de inicio de sesión correctos y erróneos.
  • log_ambari_audit_CL: esta tabla proporciona registros de auditoría de Ambari.
  • log_ranger_audti_CL: esta tabla proporciona registros de auditoría de Apache Ranger en clústeres ESP.

Actualización del agente de Log Analytics (OMS) utilizado por la integración de HDInsight y Azure Monitor

Cuando la integración de Azure Monitor está habilitada en un clúster, el agente de Log Analytics o el agente de Operations Management Suite (OMS) se instalan en el clúster y no se actualizan a menos que deshabilite y vuelva a habilitar la integración de Azure Monitor. Complete los pasos siguientes si necesita actualizar el agente de OMS en el clúster. Si está detrás de un firewall, es posible que tenga que completar los requisitos previos para los clústeres que se encuentran detrás de un firewall antes de completar estos pasos.

  1. En Azure Portal, seleccione su clúster. El clúster se abre en una nueva página del portal.
  2. En el menú de la izquierda, en Supervisión, seleccione Azure Monitor.
  3. Anote el nombre del área de trabajo actual de Log Analytics.
  4. En la vista principal, en Integración de Azure Monitor, deshabilite el botón de alternancia y, a continuación, seleccione Guardar.
  5. Después de guardar la configuración, vuelva a habilitar el botón de alternancia Integración de Azure Monitor, asegúrese de que esté seleccionada la misma área de trabajo de Log Analytics y, a continuación, seleccione Guardar.

Si ha habilitado la integración de Azure Monitor en un clúster, al actualizar el agente de OMS también se actualizará la versión de Open Management Infrastructure (OMI). Puede comprobar la versión de OMI del clúster mediante la ejecución del siguiente comando:

 sudo /opt/omi/bin/omiserver –version

Pasos siguientes