Referência de dados de monitoramento do Azure HDInsight
Este artigo contém todas as informações de referência de monitoramento para este serviço.
Consulte Monitorar o HDInsight para obter detalhes sobre os dados que você pode coletar para o Azure HDInsight e como usá-los.
Métricas
Esta seção lista todas as métricas da plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas da plataforma com suporte no Azure Monitor.
Para obter informações sobre retenção de métricas, consulte Visão geral das métricas do Azure Monitor.
Métricas com suporte para Microsoft.HDInsight/clusters
A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.HDInsight/clusters.
- Nem todas as colunas podem estar presentes em todas as tabelas.
- Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para exibir todas as colunas disponíveis.
Títulos de tabela
- Categoria: o grupo ou classificação de métricas.
- Métrica: o nome de exibição da métrica como aparece no portal do Azure.
- Nome na API REST: o nome da métrica, conforme mencionado na API REST.
- Unidade: unidade de medida
- Agregação: o tipo de agregação padrão. Valores válidos: Médio (Méd.), Mínimo (Mín.), Máximo (Máx.), Total (Soma), Contagem.
- Dimensões: as Dimensões disponíveis para a métrica.
- Intervalos de agregação: os Intervalos em que a métrica é amostrada. Por exemplo,
PT1Mindica que a métrica é amostrada a cada minuto,PT30Ma cada 30 minutos,PT1Ha cada hora e assim por diante. - Exportação de DS: se a métrica é exportável para os Logs do Azure Monitor via configurações de diagnóstico. Para obter mais informações sobre exportação de métricas, consulte as Criar configurações de diagnóstico no Azure Monitor.
| Categoria | Metric | Nome na API REST | Unidade | Agregação | Dimensões | Granularidade de tempo | Exportação de DS |
|---|---|---|---|---|---|---|---|
| Disponibilidade | Solicitações de gateway categorizadas Número de solicitações de gateway por categorias (1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
Count | Contagem, Total | HttpStatus |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Solicitações de gateway Número de solicitações de gateway |
GatewayRequests |
Count | Contagem, Total | HttpStatus |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Proxy REST Solicitação do consumidorThroughput Número de solicitações do consumidor para o proxy REST do Kafka |
KafkaRestProxy.ConsumerRequest.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Solicitações malsucedidas do consumidor do proxy REST Exceções de solicitação do consumidor |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Proxy REST: Consumer RequestLatency Latência de mensagem em uma solicitação do consumidor por meio do proxy REST do Kafka |
KafkaRestProxy.ConsumerRequestTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Lista de pendências de solicitação do consumidor do proxy REST Tamanho da fila do proxy REST do consumidor |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Produtor de proxy REST MessageThroughput Número de mensagens do produtor por meio do proxy REST do Kafka |
KafkaRestProxy.MessagesIn.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Mensagem do consumidor do proxy RESTPthroughput Número de mensagens do consumidor por meio do proxy REST do Kafka |
KafkaRestProxy.MessagesOut.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | REST proxy ConcurrentConnections Número de conexões simultâneas por meio do proxy REST do Kafka |
KafkaRestProxy.OpenConnections |
Contagem | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | REST proxy Producer RequestThroughput Número de solicitações do produtor para o proxy REST do Kafka |
KafkaRestProxy.ProducerRequest.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Solicitações malsucedidas do produtor de proxy REST Exceções de solicitação do produtor |
KafkaRestProxy.ProducerRequestFail.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | RequestLatency do produtor do proxy REST Latência de mensagem em uma solicitação do produtor por meio do proxy REST do Kafka |
KafkaRestProxy.ProducerRequestTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Lista de pendências de solicitação do produtor do proxy REST Tamanho da fila do proxy REST do produtor |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | Número de Trabalhadores Ativos Número de Trabalhos Ativos |
NumActiveWorkers |
Count | Médio, Máximo, Mínimo | MetricName |
PT1M, PT1H, P1D | Yes |
| Disponibilidade | CPU pendente Solicitações de CPU pendentes em YARN |
PendingCPU |
Count | Médio, Máximo, Mínimo | <none> | PT1M, PT1H, P1D | Yes |
| Disponibilidade | Memória pendente Solicitações de memória pendentes em YARN |
PendingMemory |
Count | Médio, Máximo, Mínimo | <none> | PT1M, PT1H, P1D | Yes |
Dimensões de métrica
Para obter mais informações sobre o que são dimensões de métrica, confira Métricas multidimensionais.
Esse serviço tem as seguintes dimensões associadas às suas métricas.
As dimensões da tabela Microsoft.HDInsight/clusters incluem:
- HttpStatus
- Computador
- Tópico
- MetricName
Logs de recursos
Esta seção lista os tipos de logs de recursos que você pode coletar para o este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.
O HDInsight não usa logs de recursos ou configurações de diagnóstico do Monitor do Azure. Os logs são coletados por outros métodos, incluindo o uso do agente do Log Analytics.
Tabelas de Logs do Azure Monitor
Esta seção lista as tabelas de Logs do Azure Monitor relevantes para este serviço, que estão disponíveis para consulta pelo Log Analytics usando consultas Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para eles.
Clusters do HDInsight
Microsoft.HDInsight/Clusters
Os logs e as métricas disponíveis variam de acordo com o tipo de cluster HDInsight.
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
Mapeamento de tabela de log
A nova integração do Azure Monitor implementa novas tabelas no workspace do Log Analytics. As tabelas a seguir mostram os mapeamentos de tabela de log da integração clássica do Azure Monitor para a nova.
A coluna Nova tabela mostra o nome da nova tabela. A linha Descrição descreve o tipo de logs/métricas disponíveis nesta tabela. A coluna Tabela Clássica é uma lista de todas as tabelas da integração clássica do Azure Monitor cujos dados agora estão presentes na nova tabela.
Observação
Algumas tabelas são completamente novas e não se baseiam em tabelas anteriores.
Tabelas de carga de trabalho geral
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightAmbariSystemMetrics | Métricas do sistema coletadas do Ambari. As métricas agora são provenientes de cada nó no cluster (exceto os nós de borda) em vez de apenas os dois nós de cabeçalho. Agora, cada métrica é uma coluna e cada métrica é relatada uma vez por registro. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | Ambari Cluster Alertas de cada nó no cluster (exceto nós de borda). Cada alerta é um registro dessa tabela. | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Registros da Ambari Audit e Auth Logs. | log_ambari_audit_CL, log_auth_CL |
| HDInsightRangerAuditLogs | Todos os registros do log de auditoria da Ranger para clusters ESP. | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | As informações de auditoria dos nós do Gateway são exibidas. Mesmo formato da tabela clássica e ainda localizado na seção Logs Personalizados. | log_gateway_Audit_CL |
Carga de trabalho do Spark
Observação
As tabelas relacionadas ao aplicativo Spark foram substituídas por 11 novas tabelas do Spark que fornecem informações mais detalhadas sobre suas cargas de trabalho do Spark.
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightSparkLogs | Todos os logs relacionados ao Spark e seu componente relacionado: Livy e Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | Informações de eventos para aplicativos do Spark, incluindo tempo de envio e conclusão, ID do aplicativo e AppName. Útil para acompanhar quando os aplicativos foram iniciados e concluídos. | |
| HDInsightSparkBlockManagerEvents | Informações do evento relacionadas ao Gerenciador de Blocos do Spark. Inclui informações como o uso da memória do executor. | |
| HDInsightSparkEnvironmentEvents | Informações de evento relacionadas ao ambiente em que um aplicativo é executado, incluindo, Modo de implantação do Spark, Mestre e informações sobre o Executor. | |
| HDInsightSparkExecutorEvents | Informações de evento sobre o uso do Spark Executor por um aplicativo. | |
| HDInsightSparkExtraEvents | Informações de eventos que não se encaixam em nenhuma outra tabela do Spark. | |
| HDInsightSparkJobEvents | Informações sobre o Spark Jobs, incluindo suas horas de início e término, resultado e estágios associados. | |
| HDInsightSparkSqlExecutionEvents | Informações de eventos sobre consultas SQL do Spark, incluindo suas informações de plano e descrição e horários de início e término. | |
| HDInsightSparkStageEvents | Informações de eventos para Spark Stages, incluindo seus horários de início e conclusão, status de falha e informações detalhadas de execução. | |
| HDInsightSparkStageTaskAccumulables | Métricas de desempenho para estágios e tarefas. | |
| HDInsightTaskEvents | Informações de evento para Tarefas do Spark, incluindo tempo de início e conclusão, estágios associados, status de execução e tipo de tarefa. | |
| HDInsightJupyterNotebookEvents | Informações do evento para Blocos de Anotações Jupyter. |
Carga de trabalho do Hadoop/do YARN
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Métricas JMX das estruturas Hadoop e YARN. Contém todas as mesmas métricas JMX que as tabelas de Logs Personalizados anteriores, além de métricas mais importantes: Servidor de Linha do Tempo, Gerenciador de Nó e Servidor de Histórico de Trabalhos. Contém uma métrica por registro. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Todos os logs gerados a partir das estruturas Hadoop e YARN. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL log_nodemanager_CL |
Carga de trabalho do Hive/do LLAP
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Métricas JMX dos frameworks Hive e LLAP. Contém todas as mesmas métricas JMX que as tabelas de Logs Personalizados anteriores, uma métrica por registro. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Logs gerados a partir do Hive, LLAP e seus componentes relacionados: WebHCat e Zeppelin. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL log_zeppelin_zeppelin_CL |
Carga de trabalho do Kafka
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightKafkaMetrics | Métricas JMX de Kafka. Contém todas as mesmas métricas JMX que as antigas tabelas de Logs Personalizados, além de outras métricas importantes. Uma métrica por registro. | metrics_kafka_CL |
| HDInsightKafkaLogs | Todos os logs gerados a partir dos Kafka Brokers. | log_kafkaserver_CL, log_kafkacontroller_CL |
Carga de trabalho do HBase
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightHBaseMetrics | Métricas JMX do HBase. Contém todas as mesmas métricas JMX das tabelas anteriores. Em contraste com as tabelas anteriores, cada linha contém uma métrica. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | Logs do HBase e seus componentes relacionados: Phoenix e HDFS. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL log_garbage_collector_CL |
Carga de trabalho do Oozie
| Nova tabela | Descrição | Mesa clássica |
|---|---|---|
| HDInsightOozieLogs | Todos os logs gerados a partir do framework Oozie. | Log_oozie_CL |
Log de atividades
A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações do provedor de recursos possíveis no log de atividades.
Para obter mais informações sobre o esquema de entradas do log de atividades, confira Esquema do log de atividades.
Conteúdo relacionado
- Consulte Monitorar o HDInsight para obter uma descrição do monitoramento do HDInsight.
- Confira Monitorar recursos do Azure com o Azure Monitor para ver informações detalhadas sobre o monitoramento dos recursos do Azure.