Monitorování clusterů HDInsight s využitím dotazování protokolů služby Azure Monitor

  • Článek

Seznamte se s některými základními scénáři použití protokolů služby Azure Monitor k monitorování clusterů Azure HDInsight:

Poznámka:

Tento článek byl nedávno aktualizován tak, aby místo Log Analytics používal termín protokoly služby Azure Monitor. Data protokolů jsou stále uložená v pracovním prostoru služby Log Analytics a stále se shromažďují a analyzují stejnou službou Log Analytics. Aktualizujeme terminologii tak, aby lépe odrážela roli protokolů ve službě Azure Monitor. Podrobnosti najdete v tématu Změny terminologie služby Azure Monitor.

Požadavky

Musíte mít nakonfigurovaný cluster HDInsight tak, aby používal protokoly služby Azure Monitor, a přidali do pracovního prostoru řešení monitorování protokolů specifické pro cluster HDInsight. Pokyny najdete v tématu Použití protokolů služby Azure Monitor s clustery HDInsight.

Analýza metrik clusteru HDInsight

Zjistěte, jak hledat konkrétní metriky pro cluster HDInsight.

  1. Na webu Azure Portal otevřete pracovní prostor služby Log Analytics přidružený ke clusteru HDInsight.

  2. V části Obecné vyberte Protokoly.

  3. Zadáním následujícího dotazu do vyhledávacího pole vyhledejte všechny metriky pro všechny dostupné metriky pro všechny clustery HDInsight nakonfigurované tak, aby používaly protokoly služby Azure Monitor, a pak vyberte Spustit. Zkontrolujte výsledky.

    search *

    Apache Ambari analytics search all metrics.

  4. V nabídce vlevo vyberte kartu Filtr .

  5. V části Typ vyberte Prezenčních signálů. Pak vyberte Použít a spustit.

    log analytics search specific metrics.

  6. Všimněte si, že se dotaz v textovém poli změní na:

    search *
| where Type == "Heartbeat"

  7. Podrobnější možnosti můžete prozkoumat pomocí možností dostupných v nabídce vlevo. Příklad:

    • Zobrazení protokolů z určitého uzlu:

      Search for specific errors output1.

    • Zobrazení protokolů v určitých časech:

      Search for specific errors output2.

  8. Vyberte Použít a spustit a zkontrolujte výsledky. Všimněte si také, že dotaz byl aktualizován na:

    search *
| where Type == "Heartbeat"
| where (Computer == "zk2-myhado") and (TimeGenerated == "2019-12-02T23:15:02.69Z" or TimeGenerated == "2019-12-02T23:15:08.07Z" or TimeGenerated == "2019-12-02T21:09:34.787Z")

Další ukázkové dotazy

Ukázkový dotaz založený na průměru prostředků použitých v 10minutovém intervalu rozdělený do kategorií podle názvu clusteru:

search in (metrics_resourcemanager_queue_root_default_CL) * 
| summarize AggregatedValue = avg(UsedAMResourceMB_d) by ClusterName_s, bin(TimeGenerated, 10m)

Místo upřesnění na základě průměru použitých prostředků můžete pomocí následujícího dotazu upřesnit výsledky na základě toho, kdy se v 10minutovém intervalu použily maximální prostředky (a také 90. a 95. percentil):

search in (metrics_resourcemanager_queue_root_default_CL) * 
| summarize ["max(UsedAMResourceMB_d)"] = max(UsedAMResourceMB_d), ["pct95(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 95), ["pct90(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 90) by ClusterName_s, bin(TimeGenerated, 10m)

Vytváření upozornění pro sledování událostí

Prvním krokem k vytvoření výstrahy je přijetí dotazu na základě toho, na kterém se výstraha aktivuje. Můžete použít libovolný dotaz, který chcete vytvořit výstrahu.

  1. Na webu Azure Portal otevřete pracovní prostor služby Log Analytics přidružený ke clusteru HDInsight.

  2. V části Obecné vyberte Protokoly.

  3. Spusťte následující dotaz, na kterém chcete vytvořit výstrahu, a pak vyberte Spustit.

    metrics_resourcemanager_queue_root_default_CL | where AppsFailed_d > 0

    Dotaz poskytuje seznam neúspěšných aplikací spuštěných v clusterech HDInsight.

  4. V horní části stránky vyberte Nové pravidlo upozornění.

    New alert rule.

  5. V okně Vytvořit pravidlo zadejte dotaz a další podrobnosti a vytvořte výstrahu a pak vyberte Vytvořit pravidlo upozornění.

    Define alert condition.

Úprava nebo odstranění existující výstrahy

  1. Otevřete pracovní prostor Služby Log Analytics na webu Azure Portal.

  2. V nabídce vlevo v části Monitorování vyberte Výstrahy.

  3. Nahoře vyberte Spravovat pravidla upozornění.

  4. Vyberte upozornění, které chcete upravit nebo odstranit.

  5. Máte následující možnosti: Uložit, Zahodit, Zakázat a Odstranit.

    HDInsight Azure Monitor logs alert delete edit.

Další informace najdete v tématu Vytváření, zobrazování a správa upozornění metrik pomocí služby Azure Monitor.

Viz také