Azure Monitor-naplók használata HDInsight-fürtök monitorozásához

  • Cikk

Megtudhatja, hogyan engedélyezheti az Azure Monitor-naplókat a Hadoop-fürtműveletek HDInsightban való figyeléséhez. És hogyan adhat hozzá HDInsight monitorozási megoldást.

Az Azure Monitor-naplók egy Azure Monitor-szolgáltatás, amely figyeli a felhőbeli és a helyszíni környezeteket. A monitorozás célja a rendelkezésre állásuk és a teljesítményük fenntartása. Összegyűjti az erőforrások által a felhőben, a helyszíni környezetekben és más monitorozási eszközökben létrehozott adatokat. Az adatokkal több forrásból is elemezhet.

Feljegyzés

Ez a cikk nemrég frissült, hogy a Log Analytics helyett az Azure Monitor-naplók kifejezést használja. A naplóadatok továbbra is egy Log Analytics-munkaterületen lesznek tárolva, és ugyanazon Log Analytics-szolgáltatás gyűjti és elemzi őket. Frissítjük a terminológiát, hogy jobban tükrözzük a naplók szerepét az Azure Monitorban. Részletekért tekintse meg az Azure Monitor terminológiájának változásait .

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Fontos

Az új Azure Monitor-felület előzetes verzióként minden régióban elérhető.

Előfeltételek

  • Egy Log Analytics-munkaterület. Ezt a munkaterületet úgy tekintheti, mint egy egyedi Azure Monitor-naplókörnyezetet, amelynek saját adattára, adatforrásai és megoldásai vannak. Az utasításokért lásd : Log Analytics-munkaterület létrehozása.

  • Egy Azure-beli HDInsight-fürt. Jelenleg az Alábbi HDInsight-fürttípusokkal használhatja az Azure Monitor-naplókat:

    • Hadoop
    • A HBase
    • Interaktív lekérdezés
    • Kafka
    • Spark

    A HDInsight-fürt létrehozásával kapcsolatos utasításokért tekintse meg az Azure HDInsight használatának első lépéseit.

  • A PowerShell használata esetén szüksége lesz az Az modulra. Győződjön meg arról, hogy a legújabb verzióval rendelkezik. Ha szükséges, futtassa a parancsot Update-Module -Name Az.

  • Ha az Azure CLI-t szeretné használni, de még nem telepítette, olvassa el az Azure CLI telepítését.

Feljegyzés

Az Új Azure Monitor-felület csak az összes régióban érhető el előzetes verziójú funkcióként. A jobb teljesítmény érdekében ajánlott a HDInsight-fürtöt és a Log Analytics-munkaterületet ugyanabban a régióban elhelyezni.

Az Azure Monitor engedélyezése a portálon

Ebben a szakaszban egy meglévő HDInsight Hadoop-fürtöt konfigurál egy Azure Log Analytics-munkaterület használatára a feladatok figyeléséhez, a naplók hibakereséséhez stb.

  1. Az Azure Portalon válassza ki a fürtöt. A fürt egy új portállapon nyílik meg.

  2. Balról a Figyelés csoportban válassza az Integráció monitorozása lehetőséget.

  3. A fő nézetben az Azure Monitor for HDInsight-fürtök integrációja területen válassza az Engedélyezés lehetőséget.

  4. A Munkaterület kiválasztása legördülő listában válasszon ki egy meglévő Log Analytics-munkaterületet.

  5. Válassza a Mentés lehetőséget. A beállítás mentése néhány percet vesz igénybe.

    Enable monitoring for HDInsight clusters.

Ha le szeretné tiltani az Azure Monitort, ugyanezt megteheti ebben a portálon is.

Az Azure Monitor engedélyezése az Azure PowerShell használatával

Az Azure Monitor-naplókat az Azure PowerShell Az module Enable-AzHDInsightAzureMonitor parancsmaggal engedélyezheti.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

A letiltáshoz használja a Disable-AzHDInsightAzureMonitor parancsmagot:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Az Azure Monitor engedélyezése az Azure CLI használatával

Az Azure Monitor-naplókat az Azure CLI az hdinsight azure-monitor enable paranccsal engedélyezheti.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

A letiltáshoz használja a az hdinsight monitor disable parancsot.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

A HDInsight beépített Elemzések használata egyetlen fürt monitorozásához

A HDInsight munkaterhelés-specifikus munkafüzetet biztosít, amely segít az elemzések gyors lekérésében. Ez a munkafüzet fontos teljesítménymetrikákat gyűjt a HDInsight-fürtből, és vizualizációkat és irányítópultokat biztosít a leggyakoribb forgatókönyvekhez. A beépített elemzések teljes áttekintést nyújtanak egyetlen HDInsight-fürtről, beleértve az erőforrás-kihasználtságot és az alkalmazás állapotát.

Elérhető HDInsight-munkafüzetek:

  • HDInsight Spark-munkafüzet
  • HDInsight Kafka-munkafüzet
  • HDInsight HBase-munkafüzet
  • HDInsight Hive/LLAP-munkafüzet

Képernyőkép a Spark-munkafüzetről Spark workbook screenshot.

Teljesítményszámlálók konfigurálása

Az Azure Monitor támogatja a fürt csomópontjaihoz tartozó teljesítménymetrikák gyűjtését és elemzését. További információ: Linux teljesítményadatforrások az Azure Monitorban.

Fürt naplózása

A HDInsight az alábbi naplótípusok importálásával támogatja a fürtnaplózást az Azure Monitor-naplókkal:

  • log_gateway_audit_CL - ez a táblázat naplókat biztosít a fürtátjáró csomópontjairól, amelyek sikeres és sikertelen bejelentkezési kísérleteket mutatnak.
  • log_auth_CL - ez a táblázat sikeres és sikertelen bejelentkezési kísérleteket biztosít az SSH-naplóknak.
  • log_ambari_audit_CL - ez a táblázat az Ambari naplóit tartalmazza.
  • log_ranger_audti_CL - ez a táblázat az Apache Ranger naplóit tartalmazza ESP-fürtökön.

A HDInsight Azure Monitor Integration által használt Log Analytics-ügynök (OMS) frissítése

Ha az Azure Monitor-integráció engedélyezve van egy fürtön, a Log Analytics-ügynök vagy az Operations Management Suite (OMS) ügynök telepítve van a fürtön, és csak akkor frissül, ha letiltja és újra engedélyezi az Azure Monitor-integrációt. Ha frissítenie kell az OMS-ügynököt a fürtön, hajtsa végre a következő lépéseket. Ha tűzfal mögött van, előfordulhat, hogy a lépések elvégzése előtt teljesítenie kell a tűzfal mögötti fürtök előfeltételeit.

  1. Az Azure Portalon válassza ki a fürtöt. A fürt egy új portállapon nyílik meg.
  2. A bal oldalon a Monitorozás területen válassza az Azure Monitort.
  3. Jegyezze fel az aktuális Log Analytics-munkaterület nevét.
  4. A fő nézet Azure Monitor-integráció területén tiltsa le a kapcsolót, majd válassza a Mentés lehetőséget.
  5. A beállítás mentése után engedélyezze újra az Azure Monitor-integráció kapcsolót, és győződjön meg arról, hogy ugyanaz a Log Analytics-munkaterület van kijelölve, majd válassza a Mentés lehetőséget.

Ha az Azure Monitor-integráció engedélyezve van egy fürtön, az OMS-ügynök frissítése az Open Management Infrastructure (OMI) verzióját is frissíti. A fürt OMI-verzióját az alábbi parancs futtatásával ellenőrizheti:

 sudo /opt/omi/bin/omiserver –version

Következő lépések