Use selective logging with a script action in Azure HDInsight

  • Cikk

Az Azure Monitor Logs egy Azure Monitor-szolgáltatás, amely figyeli a felhőbeli és a helyszíni környezeteket. A monitorozás segít fenntartani a rendelkezésre állásukat és a teljesítményüket.

Az Azure Monitor-naplók a felhőbeli erőforrások, a helyszíni környezetekben lévő erőforrások és más monitorozási eszközök által létrehozott adatokat gyűjtik. Az adatokat több forrás elemzésére használja. Az elemzés lekéréséhez engedélyezze a szelektív naplózási funkciót a HDInsight szkriptműveletével az Azure Portalon.

Tudnivalók a szelektív naplózásról

A szelektív naplózás az Azure általános monitorozási rendszerének része. Miután csatlakoztatta a fürtöt egy Log Analytics-munkaterülethez, és engedélyezte a szelektív naplózást, olyan naplókat és metrikákat láthat, mint a HDInsight biztonsági naplói, a Yarn Resource Manager és a rendszermetrikák. Figyelheti a számítási feladatokat, és megtekintheti, hogy ezek hogyan befolyásolják a fürt stabilitását.

A szelektív naplózás lehetővé teszi az összes tábla engedélyezését vagy letiltását, illetve a kijelölt táblák engedélyezését a Log Analytics-munkaterületen. Az egyes táblák forrástípusát módosíthatja.

Megjegyzés:

Ha a Log Analytics újratelepítve van egy fürtben, akkor ismét le kell tiltania az összes táblát és naplótípust. Az újratelepítés visszaállítja az összes konfigurációs fájlt az eredeti állapotba.

A szkriptműveletek szempontjai

  • A monitorozási rendszer a Metadata Server Daemont (egy monitorozási ügynököt) és a Fluentdet használja a naplók egységes naplózási réteg használatával történő gyűjtéséhez.
  • A szelektív naplózás szkriptművelettel tiltja le vagy engedélyezi a táblákat és a naplótípusokat. Mivel a szelektív naplózás nem nyit meg új portokat, és nem módosítja a meglévő biztonsági beállításokat, nincsenek biztonsági változások.
  • A szkriptművelet párhuzamosan fut az összes megadott csomóponton, és módosítja a konfigurációs fájlokat a táblák és a naplótípusok letiltására vagy engedélyezésére.

Előfeltételek

  • Egy Log Analytics-munkaterület. Ezt a munkaterületet úgy tekintheti, mint egy egyedi Azure Monitor-naplókörnyezetet, amelynek saját adattára, adatforrásai és megoldásai vannak. Útmutatásért lásd: Log Analytics-munkaterület létrehozása.
  • Egy Azure-beli HDInsight-fürt. Jelenleg a szelektív naplózási funkciót a következő HDInsight-fürttípusokkal használhatja:
    • Hadoop
    • HBase
    • Interaktív lekérdezés
    • Spark

A HDInsight-fürtök létrehozásával kapcsolatos útmutatásért tekintse meg az Azure HDInsight használatának első lépéseit.

Naplók engedélyezése vagy letiltása több tábla és naplótípus szkriptműveletével

  1. Nyissa meg a fürt szkriptműveleteit , és válassza az Új beküldés lehetőséget a szkriptműveletek létrehozásának megkezdéséhez.

    Screenshot that shows the button for starting the process of creating a script action.

    Megjelenik a Szkript elküldése műveletpanel .

    Screenshot that shows the pane for submitting a script action.

  2. A szkripttípushoz válassza az Egyéni lehetőséget.

  3. Nevezze el a szkriptet. Például: Tiltson le két táblát és két forrást.

  4. A Bash-szkript URI-jának selectiveLoggingScript.sh mutató hivatkozásnak kell lennie.

  5. Válassza ki a fürtre vonatkozó összes csomóponttípust. A beállítások a fő csomópont, a feldolgozó csomópont és a ZooKeeper csomópont.

  6. Adja meg a paramétereket. Például:

    • Szikra: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • Interaktív lekérdezés: interactivehive HDInsightSparkLogs:SparkExecutorLog --enable
    • Hadoop: hadoop HDInsightSparkLogs:SparkExecutorLog --disable
    • HBase: hbase HDInsightSparkLogs: HDInsightHBaseLogs --enable

    További információ: Paraméter szintaxisa szakasz.

  7. Select Create.

  8. Néhány perc múlva megjelenik egy zöld pipa a szkript műveleti előzményei mellett. Ez azt jelenti, hogy a szkript sikeresen lefutott.

    Screenshot that shows a successful run of a script to enable tables and log types.

A módosítások a Log Analytics-munkaterületen lesznek láthatók.

Hibaelhárítás

Nem jelennek meg módosítások a Log Analytics-munkaterületen

Ha elküldi a szkriptműveletet, de a Log Analytics-munkaterületen nincsenek változások:

  1. Az Irányítópultok területen válassza az Ambari kezdőlapot a hibakeresési információk ellenőrzéséhez.

    Screenshot that shows the location of the Ambari home dashboard.

  2. Válassza a Gépház gombot.

    Screenshot that shows the Settings button.

  3. Válassza ki a legújabb szkript futtatását a háttérműveletek listájának tetején.

    Screenshot that shows background operations.

  4. Ellenőrizze a szkript futtatásának állapotát az összes csomóponton egyenként.

    Screenshot that shows the script run status for hosts.

  5. Ellenőrizze, hogy a paraméterszintaxis szakasz paraméterszintaxisa helyes-e.

  6. Ellenőrizze, hogy a Log Analytics-munkaterület csatlakoztatva van-e a fürthöz, és hogy a Log Analytics-figyelés be van-e kapcsolva.

  7. Ellenőrizze, hogy a futtatott szkriptművelethez új csomópontok hozzáadásakor a program bejelölte-e a Szkript megőrzése műveletet újrafuttatva jelölőnégyzetet.

    Screenshot that shows the checkbox for persisting a script action.

  8. Ellenőrizze, hogy a közelmúltban új csomópontot adtak-e hozzá a fürthöz.

    Megjegyzés:

    Ahhoz, hogy a szkript a legújabb fürtben fusson, a szkriptnek meg kell őriznie.

  9. Győződjön meg arról, hogy az összes csomóponttípust kiválasztotta a szkriptművelethez.

    Screenshot that shows selected node types.

A szkriptművelet nem sikerült

Ha a szkriptművelet hibaállapotot mutat a szkriptművelet előzményeiben:

  1. Ellenőrizze, hogy a paraméterszintaxis szakasz paraméterszintaxisa helyes-e.
  2. Ellenőrizze, hogy helyes-e a szkripthivatkozás. Ennek a következőnek kell lennie: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScripts/selectiveLoggingScript.sh.

Táblanevek

Spark-fürt

Az alábbi táblázatnevek a Spark-táblákon belüli különböző naplótípusokhoz (forrásokhoz) tartoznak.

Forrásszám Table name (Táblázat neve) Naplótípusok Leírás
1. HDInsightAmbariCluster-riasztások Nincsenek naplótípusok Ez a táblázat Ambari-fürtriasztásokat tartalmaz a fürt minden csomópontjáról (kivéve az élcsomópontokat). Minden riasztás egy rekord ebben a táblában.
2. HDInsightAmbariSystem metrikák Nincsenek naplótípusok Ez a táblázat az Ambaritól gyűjtött rendszermetrikákat tartalmazza. A metrikák mostantól a fürt minden csomópontjáról származnak (a peremcsomópontok kivételével) a két fő csomópont helyett. Minden metrika mostantól egy oszlop, és minden metrika rekordonként egyszer lesz jelentve.
3. HDInsightHadoopAnd YarnLogs Head node: MRJobSummary, Resource Manager, TimelineServer Worker node: NodeManager Ez a táblázat a Hadoop és a YARN keretrendszerekből létrehozott összes naplót tartalmazza.
4. HDInsightSecurityLogs AmbariAuditLog, AuthLog Ez a tábla az Ambari naplózási és hitelesítési naplóiból származó rekordokat tartalmazza.
5. HDInsightSparkLogs Head node: JupyterLog, LivyLog, SparkThriftDriverLog Worker node: SparkExecutorLog, SparkDriverLog Ez a táblázat a Sparkhoz és annak kapcsolódó összetevőihez, a Livyhez és a Jupyterhez kapcsolódó összes naplót tartalmazza.
6. HDInsightHadoopAnd YarnMetrics Nincsenek naplótípusok Ez a táblázat a Hadoop- és YARN-keretrendszerek JMX-metrikáit tartalmazza. Ugyanazokat a JMX-metrikákat tartalmazza, mint a régi Egyéni naplók táblák, valamint további fontosnak tartott metrikákat. Az Idősor-kiszolgáló, a Csomópontkezelő és a Feladatelőzmény-kiszolgáló metrikákat adtunk hozzá. Rekordonként egy metrikát tartalmaz.
7. HDInsightOozieLogs Oozie Ez a táblázat az Oozie-keretrendszerből létrehozott összes naplót tartalmazza.

Interaktív lekérdezésfürt

Az alábbi táblázatnevek különböző naplótípusokhoz (forrásokhoz) tartoznak az Interaktív lekérdezés táblákban.

Forrásszám Table name (Táblázat neve) Naplótípusok Leírás
1. HDInsightAmbariClusterAlerts Nincsenek naplótípusok Ez a táblázat Ambari-fürtriasztásokat tartalmaz a fürt minden csomópontjáról (kivéve az élcsomópontokat). Minden riasztás egy rekord ebben a táblában.
2. HDInsightAmbariSystem metrikák Nincsenek naplótípusok Ez a táblázat az Ambaritól gyűjtött rendszermetrikákat tartalmazza. A metrikák mostantól a fürt minden csomópontjáról származnak (a peremcsomópontok kivételével) a két fő csomópont helyett. Minden metrika mostantól egy oszlop, és minden metrika rekordonként egyszer lesz jelentve.
3. HDInsightHadoopAndYarnLogs Head node: MRJobSummary, Resource Manager, TimelineServer Worker node: NodeManager Ez a táblázat a Hadoop és a YARN keretrendszerekből létrehozott összes naplót tartalmazza.
4. HDInsightHadoopAndYarnMetrics Nincsenek naplótípusok Ez a táblázat a Hadoop- és YARN-keretrendszerek JMX-metrikáit tartalmazza. Ugyanazokat a JMX-metrikákat tartalmazza, mint a régi Egyéni naplók táblák, valamint további fontosnak tartott metrikákat. Az Idősor-kiszolgáló, a Csomópontkezelő és a Feladatelőzmény-kiszolgáló metrikákat adtunk hozzá. Rekordonként egy metrikát tartalmaz.
5. HDInsightHiveAndLLAPLogs Head node: InteractiveHiveHSILog, InteractiveHiveMetastoreLog, ZeppelinLog Ez a táblázat a Hive- és LLAP-naplókból, valamint azok kapcsolódó összetevőiből, a WebHCatből és a Zeppelinből létrehozott naplókat tartalmazza.
6. HDInsightHiveAndLLAPmetrics Nincsenek naplótípusok Ez a táblázat a Hive- és LLAP-keretrendszerekből származó JMX-metrikákat tartalmazza. Ugyanazokat a JMX-metrikákat tartalmazza, mint a régi egyéni naplók táblái. Rekordonként egy metrikát tartalmaz.
7. HDInsightHiveTezAppStats Nincsenek naplótípusok
8. HDInsightSecurityLogs Head node: AmbariAuditLog, AuthLog ZooKeeper csomópont, feldolgozó csomópont: AuthLog Ez a tábla az Ambari naplózási és hitelesítési naplóiból származó rekordokat tartalmazza.

HBase-fürt

Az alábbi táblázatnevek a HBase-táblákon belüli különböző naplótípusokhoz (forrásokhoz) tartoznak.

Forrásszám Table name (Táblázat neve) Naplótípusok Leírás
1. HDInsightAmbariClusterAlerts Nincs más naplótípus Ez a táblázat Ambari-fürtriasztásokat tartalmaz a fürt minden csomópontjáról (kivéve az élcsomópontokat). Minden riasztás egy rekord ebben a táblában.
2. HDInsightAmbariSystem metrikák Nincs más naplótípus Ez a táblázat az Ambaritól gyűjtött rendszermetrikákat tartalmazza. A metrikák mostantól a fürt minden csomópontjáról származnak (a peremcsomópontok kivételével) a két fő csomópont helyett. Minden metrika mostantól egy oszlop, és minden metrika rekordonként egyszer lesz jelentve.
3. HDInsightHadoopAndYarnLogs Head node: MRJobSummary, Resource Manager, TimelineServer Worker node: NodeManager Ez a táblázat a Hadoop és a YARN keretrendszerekből létrehozott összes naplót tartalmazza.
4. HDInsightSecurityLogs Head node: AmbariAuditLog, AuthLog Worker node: AuthLog ZooKeeper node: AuthLog Ez a tábla az Ambari naplózási és hitelesítési naplóiból származó rekordokat tartalmazza.
5. HDInsightHBaseLogs Head node: HDFSGarbageCollectorLog, HDFSNameNodeLog Worker node: PhoenixServerLog, HBaseRegionServerLog, HBaseRestServerLog ZooKeeper node: HBaseMasterLog Ez a táblázat a HBase naplóit és a kapcsolódó összetevőket tartalmazza: Phoenix és HDFS.
6. HDInsightHBaseMetrics Nincsenek naplótípusok Ez a táblázat JMX-metrikákat tartalmaz a HBase-ből. A régi séma oszlopban felsorolt táblákban szereplő összes JMX-metrikát tartalmazza. A régi tábláktól eltérően minden sor egy metrikát tartalmaz.
7. HDInsightHadoopAndYarn metrikák Nincsenek naplótípusok Ez a táblázat a Hadoop- és YARN-keretrendszerek JMX-metrikáit tartalmazza. Ugyanazokat a JMX-metrikákat tartalmazza, mint a régi Egyéni naplók táblák, valamint további fontosnak tartott metrikákat. Az Idősor-kiszolgáló, a Csomópontkezelő és a Feladatelőzmény-kiszolgáló metrikákat adtunk hozzá. Rekordonként egy metrikát tartalmaz.

Hadoop-fürt

Az alábbi táblázatnevek a Hadoop-táblákban található különböző naplótípusokhoz (forrásokhoz) tartoznak.

Forrásszám Table name (Táblázat neve) Naplótípusok Leírás
1. HDInsightAmbariClusterAlerts Nincsenek naplótípusok Ez a táblázat Ambari-fürtriasztásokat tartalmaz a fürt minden csomópontjáról (kivéve az élcsomópontokat). Minden riasztás egy rekord ebben a táblában.
2. HDInsightAmbariSystem metrikák Nincsenek naplótípusok Ez a táblázat az Ambaritól gyűjtött rendszermetrikákat tartalmazza. A metrikák mostantól a fürt minden csomópontjáról származnak (a peremcsomópontok kivételével) a két fő csomópont helyett. Minden metrika mostantól egy oszlop, és minden metrika rekordonként egyszer lesz jelentve.
3. HDInsightHadoopAndYarnLogs Head node: MRJobSummary, Resource Manager, TimelineServer Worker node: NodeManager Ez a táblázat a Hadoop és a YARN keretrendszerekből létrehozott összes naplót tartalmazza.
4. HDInsightHadoopAndYarnMetrics Nincsenek naplótípusok Ez a táblázat a Hadoop- és YARN-keretrendszerek JMX-metrikáit tartalmazza. Ugyanazokat a JMX-metrikákat tartalmazza, mint a régi Egyéni naplók táblák, valamint további fontosnak tartott metrikákat. Az Idősor-kiszolgáló, a Csomópontkezelő és a Feladatelőzmény-kiszolgáló metrikákat adtunk hozzá. Rekordonként egy metrikát tartalmaz.
5. HDInsightHiveAndLLAPLogs Fő csomópont: HiveMetastoreLog, HiveServer2Log, WebHcatLog Ez a táblázat a Hive- és LLAP-naplókból, valamint azok kapcsolódó összetevőiből, a WebHCatből és a Zeppelinből létrehozott naplókat tartalmazza.
6. HDInsight Hive és LLAP-metrikák Nincsenek naplótípusok Ez a táblázat a Hive- és LLAP-keretrendszerekből származó JMX-metrikákat tartalmazza. Ugyanazokat a JMX-metrikákat tartalmazza, mint a régi egyéni naplók táblái. Rekordonként egy metrikát tartalmaz.
7. HDInsight biztonsági naplók Head node: AmbariAuditLog, AuthLog ZooKeeper node: AuthLog Ez a tábla az Ambari naplózási és hitelesítési naplóiból származó rekordokat tartalmazza.

Paraméterszintaxis

A paraméterek határozzák meg a fürt típusát, a táblaneveket, a forrásneveket és a műveletet.

Screenshot that shows the parameter syntax box.

A paraméter három részből áll:

  • Fürt típusa
  • Táblák és naplótípusok
  • Művelet (vagy --disable--enable)

Több tábla szintaxisa

Ha több táblával rendelkezik, azok vesszővel vannak elválasztva. Például:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Szintaxis több forrástípushoz vagy naplótípushoz

Ha több forrástípussal vagy naplótípussal rendelkezik, azok szóközzel vannak elválasztva.

Forrás letiltásához írja be a naplótípusokat tartalmazó táblanevet, majd a kettőspontot, majd a valódi naplótípus nevét:

TableName : LogTypeName

Tegyük fel például, hogy spark HDInsightSecurityLogs egy tábla két naplótípussal rendelkezik: AmbariAuditLog és AuthLog. Mindkét naplótípus letiltásához a helyes szintaxis a következő:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Több tábla és forrástípus szintaxisa

Ha két táblát és két forrástípust kell letiltania, használja a következő szintaxist:

  • Spark: InteractiveHiveMetastoreLog naplótípus a HDInsightHiveAndLLAPLogs táblázatban
  • Hbase: InteractiveHiveHSILog naplótípus a HDInsightHiveAndLLAPLogs táblázatban
  • Hadoop: HDInsightHiveAndLLAPMetrics tábla
  • Hadoop: HDInsightHiveTezAppStats tábla

Különítse el a táblákat vesszővel. A források jelölése kettősponttal a tábla neve után, amelyben azok találhatók.

Az ilyen esetek megfelelő paraméterszintaxisa a következő:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

Következő lépések