Habilite o monitoramento de trabalhos do HDInsight.
O monitoramento de um cluster HDInsight é de interesse para engenheiros de dados e administradores de TI, para que eles possam monitorar as seguintes áreas do cluster:
- estado de funcionamento e disponibilidade do cluster
- Utilização e desempenho de recursos
- Informações e logs da carga de trabalho
Os administradores de TI usarão o monitoramento para exibir a integridade e a disponibilidade do cluster, bem como monitorar a segurança do cluster. Os engenheiros de dados estão interessados no seguinte:
- Informações e logs da carga de trabalho
- Observar os fracassos ou sucessos do trabalho
- Desempenho do cluster
- Exibindo cargas de trabalho usando logs
Há duas ferramentas principais que podem ser usadas para monitorar: Apache Ambari e Azure Monitor.
Apache Ambari
Esta ferramenta é usada para gerenciamento e monitoramento de cluster de código aberto. Ele fornece um painel com uma série de widgets que permitem visualizar a integridade de um cluster HDInsight de uma perspetiva de hardware no nível do cluster e do nó. O painel pode ser acessado na tela de visão geral do cluster HDInsight no portal do Azure.
O Apache Ambari é aberto em um navegador da Web que fornece um painel de ferramentas de monitoramento.
Muitas áreas do Apache Ambari são úteis para administradores de TI e engenheiros de dados. O painel inicial é útil para os administradores de TI monitorarem a integridade do cluster em tempo real. Há áreas adicionais, como a tela YARN, que permitem que os engenheiros de dados visualizem capacidades de fila, trabalhos e logs associados para monitorar cargas de trabalho no cluster. Além disso, os recursos de alerta permitem identificar componentes com mau funcionamento para que você possa ser proativo no suporte ao cluster.
Monitorização
O Azure Monitor é uma ferramenta de monitoramento em todo o Azure que pode ser usada em clusters HDInsight para monitorar a integridade do seu serviço. Os aspetos do Azure Monitor são expostos diretamente no portal do Azure:
Alertas
Os alertas são uma ferramenta útil para monitorar proativamente um recurso no Azure e agir com base em uma condição. Um alerta pode ser definido em relação a um determinado recurso, como um cluster HDInsight, para determinar o limite de uma condição que ditaria se um alerta é acionado. Uma condição que pode incluir é AutoScale habilitado. Esta condição pode ser verdadeira ou falsa. As ações podem variar desde o envio de um e-mail até a reinicialização de um serviço, dependendo de como a condição é definida.
Métricas
As métricas são um componente do Azure Monitor que permitem configurar gráficos visuais específicos para o que você deseja monitorar. O uso de gráficos visuais permite visualizar, medir e correlacionar pontos de dados para ajudar a determinar se um serviço está sendo executado em um intervalo aceitável. As métricas do HDInsight incluem Solicitações de Gateway para ver a carga em seu cluster e o número de trabalhadores ativos, o que permite que você fique de olho no tamanho do cluster HDInsight
Definições de Diagnóstico
Essas configurações permitem que você selecione um destino (uma conta de armazenamento, um serviço do Hub de Eventos ou uma conta do Log Analytics) para receber dados de diagnóstico sobre o serviço habilitado. Os logs são enviados para o destino escolhido, o que permite registrar a atividade do serviço ao longo do tempo e analisar mais tarde. Essas configurações devem ser definidas somente se você quiser fazer uma análise aprofundada do serviço.
Azure Monitor
Há um link direto para o Azure Monitor para que você possa usar todos os recursos fornecidos pelo Azure Monitor.
Estado de funcionamento de recursos
Esse painel é padrão em todos os serviços no Azure e permite que você exiba a integridade do serviço HDInsight em um determinado dia. Não há notificações desta área, e você mesmo deve investigar isso. A integridade do recurso pode fornecer uma visão geral das informações de saúde.