Abilitare il monitoraggio dei processi di HDInsight.
Il monitoraggio di un cluster HDInsight è interessante sia per gli ingegneri dei dati che per gli amministratori IT, perché possono monitorare le seguenti aree del cluster:
- Disponibilità e integrità del cluster
- Utilizzo delle risorse e prestazioni
- Log e informazioni sul carico di lavoro
Gli amministratori IT utilizzeranno il monitoraggio per visualizzare la disponibilità e l'integrità del cluster e per monitorare la sicurezza del cluster. Gli ingegneri dei dati sono interessati agli elementi seguenti:
- Log e informazioni sul carico di lavoro
- Controllo degli errori o delle corrette esecuzioni del processo
- Prestazioni del cluster
- Visualizzazione dei carichi di lavoro tramite log
Sono disponibili due strumenti principali per il monitoraggio: Apache Ambari e Monitoraggio di Azure.
Apache Ambari
Questo strumento viene usato per la gestione e il monitoraggio del cluster open source. Fornisce un dashboard con una serie di widget che consentono di visualizzare l'integrità di un cluster HDInsight da una prospettiva hardware a livello sia del cluster che del nodo. Il dashboard è accessibile dalla schermata Panoramica del cluster HDInsight nel portale di Azure.
Apache Ambari si apre in un Web browser che fornisce un dashboard di strumenti di monitoraggio.
Molte aree di Apache Ambari sono utili sia per gli amministratori IT che per gli ingegneri dei dati. Il dashboard iniziale è utile agli amministratori IT per monitorare l'integrità del cluster in tempo reale. Sono disponibili altre aree, ad esempio la schermata YARN, che consentono agli ingegneri dei dati di visualizzare le capacità della coda, i processi e i log associati per monitorare i carichi di lavoro nel cluster. Inoltre, le funzionalità di avviso consentono di identificare i componenti malfunzionanti in modo da poter essere proattivi nel supporto del cluster.
Monitoraggio
Monitoraggio di Azure è uno strumento di monitoraggio a livello di Azure che può essere usato nei cluster HDInsight per monitorare l'integrità del servizio. Gli aspetti di Monitoraggio di Azure vengono esposti direttamente nel portale di Azure:
Avvisi
Gli avvisi sono uno strumento utile per monitorare in modo proattivo una risorsa in Azure e per agire sulla base di una condizione. È possibile impostare un avviso per una determinata risorsa, ad esempio un cluster HDInsight, per fissare la soglia di una condizione che attiva la generazione di un avviso. Una condizione potrebbe includere la scalabilità automatica abilitata. Questa condizione può essere true o false. Le azioni possono andare dall'invio di un messaggio di posta elettronica al riavvio di un servizio, a seconda della modalità di definizione della condizione.
Metriche
Le metriche sono un componente di Monitoraggio di Azure che consentono di configurare grafici visivi specifici per gli elementi che si intende monitorare. L'uso di grafici visivi consente di visualizzare, misurare e correlare i punti dati per stabilire se un servizio è in esecuzione in un intervallo accettabile. Le metriche di HDInsight includono le richieste del gateway per visualizzare il carico sul cluster e il numero di ruoli di lavoro attivi che consente di tenere sotto controllo le dimensioni del cluster HDInsight
Impostazioni di diagnostica
Queste impostazioni consentono di selezionare una destinazione (un account di archiviazione, un servizio Hub eventi o un account di Log Analytics) che riceverà i dati di diagnostica relativi al servizio abilitato. I log vengono inviati alla destinazione scelta, il che consente di registrare l'attività del servizio nel tempo e di analizzarla in seguito. Queste impostazioni devono essere effettuate solo se si intende eseguire un'analisi approfondita del servizio.
Monitoraggio di Azure
È disponibile un collegamento diretto a Monitoraggio di Azure in modo che sia possibile usare le funzionalità complete di monitoraggio di Azure.
Integrità delle risorse
Questo dashboard è standard in tutti i servizi di Azure e consente di visualizzare l'integrità del servizio HDInsight in un determinato giorno. Da questa area non vengono inviate notifiche ed è quindi necessario esaminarla autonomamente. Integrità risorsa può fornire una panoramica delle informazioni sull'integrità.