Guia de migração do Log Analytics para clusters do Azure HDInsight
O Azure HDInsight é um serviço de cluster gerenciado pronto para a empresa. Esse serviço executa estruturas de análise de software livre como o Apache Spark, o Hadoop, o HBase e o Kafka no Azure. O Azure HDInsight integrou-se a outros serviços do Azure para permitir que os clientes gerenciem melhor os aplicativos de análise de Big Data.
O Log Analytics fornece uma ferramenta no portal do Azure para editar e executar consultas de log. As consultas são provenientes dos dados coletados pelos logs do Azure Monitor e analisam os resultados de maneira interativa. Os clientes podem usar consultas do Log Analytics para recuperar registros que correspondem a critérios específicos. Eles também podem usar consultas para identificar tendências, analisar padrões e fornecer insights sobre os dados.
O Azure HDInsight habilitou a integração ao Log Analytics em 2017. Os clientes do HDInsight adotaram rapidamente esse recurso para monitorar clusters do HDInsight e consultar os logs nos clusters. Embora a adoção desse recurso tenha aumentado, os clientes forneceram comentários sobre a integração:
- Eles não podem decidir quais logs serão armazenados, e o armazenamento de todos os logs pode custar caro.
- Os logs atuais de esquemas do HDInsight não seguem convenções de nomenclatura consistentes, e algumas tabelas são repetitivas.
- Os clientes desejam obter um painel pronto para uso para monitorar com facilidade o KPI dos clusters do HDInsight.
- Eles precisam acessar o Log Analytics para executar consultas simples.
Visão geral da solução
Considerando os comentários dos clientes, a equipe do Azure HDInsight investiu na integração ao Azure Monitor. Essa integração permite:
- Um novo conjunto de tabelas no workspace do Log Analytics do cliente. As novas tabelas são entregues por meio de um novo pipeline do Log Analytics.
- Maior confiabilidade
- Entrega de logs mais rápida
- Agrupamento de tabelas baseado em recursos e consultas padrão
Observação
A nova integração do Azure Monitor está na Visualização Pública em todas as regiões em que o HDInsight está disponível.
Benefícios da nova integração do Azure Monitor
Este documento descreve as alterações na integração do Azure Monitor e fornece as melhores práticas para o uso das novas tabelas.
Esquemas reformulados: a formatação dos esquemas para a nova integração do Azure Monitor ficou mais organizada e fácil de entender. Há dois terços a menos de esquemas para remover o máximo possível de ambiguidade nos esquemas herdados.
Log seletivo: há logs e métricas disponíveis por meio do Log Analytics. Para ajudar você a economizar em custos de monitoramento, lançaremos um novo recurso de log seletivo. Use esse recurso para ativar e desativar diferentes logs e fontes de métrica. Com esse recurso, você só precisará pagar pelo que usar. Para obter mais detalhes, consulte Log Seletivo
Integração dos logs ao portal do cluster: o painel Logs é uma novidade do portal do cluster do HDInsight. Qualquer pessoa com acesso ao cluster pode acessar esse painel para consultar qualquer tabela para a qual o recurso de cluster envia registros. Os usuários não precisam mais acessar o workspace do Log Analytics para ver os registros de um recurso de cluster específico.
Integração dos insights ao portal de cluster: o painel Insights também é uma novidade do portal do cluster do HDInsight. Depois de habilitar a nova integração do Azure Monitor, selecione o painel Insights e um painel de logs e métricas pronto para uso específico do tipo de cluster será preenchido automaticamente para você. Esses painéis foram reformulados com base em nossas soluções anteriores do Azure. Eles fornecem insights detalhados sobre o desempenho e a integridade do seu cluster.
Cenários de clientes
As seções a seguir descrevem como os clientes podem usar a nova integração do Azure Monitor em diferentes cenários. A seção Ativar uma nova integração do Azure Monitor descreve como ativar e usar a nova integração do Azure Monitor. A seção Como migrar do Azure Monitor clássico para a nova integração do Azure Monitor inclui informações adicionais para os usuários que dependem da integração antiga do Azure Monitor.
Observação
Somente os clusters criados no final de setembro de 2020 e após esse período estão qualificados para a nova integração do Monitoramento do Azure.
Ativar uma nova integração do Azure Monitor
Observação
Você precisará ter um workspace do Log Analytics criado em uma assinatura à qual você tenha acesso antes de habilitar a nova integração. Para obter mais informações sobre como criar um workspace do Log Analytics, confira Criar um workspace do Log Analytics no portal do Azure.
Ative a nova integração acessando a página do portal do cluster e rolando o menu à esquerda até chegar à seção Monitoramento. Na seção Monitoramento, escolha Integração do Monitor. Em seguida, selecione Habilitar e você poderá escolher o workspace do Log Analytics para o qual deseja enviar os logs. Selecione Salvar depois de escolher o workspace.
Acessar as novas tabelas
Há duas maneiras de acessar as novas tabelas.
Abordagem 1:
A primeira é por meio do workspace do Log Analytics.
- Acesse o workspace do Log Analytics que você selecionou quando habilitou a integração.
- Role o menu para baixo no lado esquerdo da tela e selecione Logs. Um editor de consultas de Logs será exibido com uma lista de todas as tabelas do workspace.
- Se as tabelas forem agrupadas por Solução, as novas tabelas do HDI estarão na seção Gerenciamento de Logs.
- Se você agrupar as tabelas por Tipo de Recurso, as tabelas estarão na seção Clusters do HDInsight, conforme mostrado na imagem abaixo.
Observação
Esse processo descreve como os logs eram acessados na integração antiga. Isso exige que o usuário tenha acesso ao workspace.
Abordagem 2:
A segunda maneira de acessar as novas tabelas é por meio do acesso ao portal do cluster.
- Navegue até a página do portal do cluster e role o menu no lado esquerdo até ver a seção Monitoramento. Nesta seção, você verá o painel Logs.
- Selecione Logs e um editor de consultas de Logs será exibido. O editor contém todos os logs associados ao recurso de cluster. Você enviou os logs para o workspace do Log Analytics quando habilitou a integração. Esses logs fornecem o RBAC (acesso baseado em recurso). Com o RBAC, os usuários que têm acesso ao cluster, mas não ao workspace, podem ver os logs associados ao cluster.
Para comparação, as seguintes capturas de tela mostram as exibições do workspace da integração herdada e da nova integração:
Exibição do workspace da integração herdada
Exibição do workspace da nova integração
Usar as novas tabelas
Essas integrações podem ajudar você a usar as novas tabelas:
Consultas padrão a serem usadas com novas tabelas
No editor de consultas de Logs, defina a alternância para Consultas acima da lista de tabelas. Agrupe as consultas por Tipo de Recurso e verifique se não há nenhum filtro definido para um tipo de recurso diferente de Clusters do HDInsight. A imagem a seguir mostra a aparência dos resultados quando agrupados por Tipo de Recurso e filtrados por Clusters do HDInsight. Basta selecionar um deles e ele será exibido no editor de consultas de Logs. Lembre-se de ler os comentários incluídos nas consultas, pois algumas exigem que você insira informações, como o nome do cluster, para que a consulta seja executada com êxito.
Criar consultas próprias
Você pode inserir consultas próprias no editor de consultas de Logs. As consultas usadas nas tabelas antigas não serão válidas nas novas tabelas, pois muitas das novas tabelas têm esquemas novos e refinados. As consultas padrão são ótimas referências para a formatação de consultas nas novas tabelas.
Insights
Os insights são painéis de visualização específicos do cluster criados por meio de pastas de trabalho do Azure. Esses painéis fornecem gráficos detalhados e visualizações sobre a execução do cluster. Eles apresentam seções para cada tipo de cluster, YARN, métricas do sistema e logs de componentes. Acesse o painel do cluster acessando a página do seu cluster no portal, rolando o menu para baixo até a seção Monitoramento e selecionando o painel Insights. O painel será carregado automaticamente se você tiver habilitado a nova integração. Aguarde alguns segundos para que os grafos sejam carregados à medida que consultam os logs.
Pastas de trabalho personalizadas do Azure
Você pode criar suas pastas de trabalho do Azure com visualizações e gráficos personalizados. Na página do portal do cluster, role o menu para baixo até a seção Monitoramento e selecione o painel Pastas de trabalho no menu à esquerda. Comece usando um modelo em branco ou use um dos modelos da seção Clusters do HDInsight. Há um modelo para cada tipo de cluster. Os modelos são úteis se você deseja salvar personalizações específicas não fornecidas pelos Insights padrão do HDInsight. Fique à vontade para enviar solicitações de novos recursos nos Insights do HDInsight se achar que está faltando algo.
Alertas
Você pode adicionar alertas personalizados aos clusters e aos workspaces no editor de consultas de Logs. Acesse o editor de consultas de Logs selecionando o painel Logs por meio do portal do cluster ou do workspace. Execute uma consulta e selecione Nova Regra de Alerta, conforme mostrado na captura de tela a seguir. Para obter mais informações, leia mais sobre como configurar alertas.
Migrar para a nova integração do Azure Monitor
Se você estiver usando a integração clássica do Azure Monitor, precisará fazer alguns ajustes nos novos formatos de tabela depois de alternar para a nova integração do Azure Monitor.
Para habilitar a nova integração do Azure Monitor, siga as etapas descritas na seção Ativar uma nova integração do Azure Monitor.
Executar consultas no Log Analytics
Como o novo formato de tabela é diferente do anterior, as consultas precisam ser retrabalhadas para que você possa usar nossas novas tabelas. Depois de habilitar a nova integração do Azure Monitor, você poderá procurar as tabelas e os esquemas para identificar os campos usados nas consultas antigas.
Fornecemos uma tabela de mapeamento entre a tabela antiga e a nova tabela para ajudar você a encontrar rapidamente os novos campos que precisará usar para migrar os painéis e as consultas.
Consultas padrão: criamos consultas padrão que mostram como usar as novas tabelas em situações comuns. As consultas padrão também mostram quais informações estão disponíveis em cada tabela. Acesse as consultas padrão seguindo as instruções descritas na seção Consultas padrão a serem usadas com novas tabelas deste artigo.
Atualizar painéis para clusters do HDInsight
Se você tiver criado vários painéis para monitorar seus clusters do HDInsight, ajuste a consulta por trás da tabela depois de habilitar a nova integração do Azure Monitor. O nome da tabela ou do campo pode ser alterado na nova integração, mas todas as informações existentes na integração antiga estão incluídas.
Veja a tabela de mapeamento entre a tabela/o esquema antigo e a tabela/o esquema novo para atualizar a consulta por trás dos painéis.
Painéis prontos para uso
Também aprimoramos os painéis prontos para uso no nível do cluster. Há um botão no canto superior direito de cada grafo que permite ver a consulta subjacente que produz as informações. O grafo é uma ótima forma de se acostumar com o modo de consultar as novas tabelas com eficiência.
Habilitar as duas integrações para acelerar a migração
Ative as integrações clássica e nova do Azure Monitor ao mesmo tempo em um cluster que esteja qualificado para as duas integrações a fim de migrar para a nova integração do Azure Monitor rapidamente. A nova integração está disponível para todos os clusters criados após meados de setembro de 2020.
Dessa forma, você pode fazer com facilidade uma comparação lado a lado das consultas que está usando.
Como habilitar a integração clássica
Se você estiver usando um cluster criado após meados de setembro de 2020, verá a nova experiência do portal no portal do cluster. Para habilitar o novo pipeline, siga as etapas descritas na seção Ativar uma nova integração do Azure Monitor. Para ativar a integração clássica nesse cluster, acesse a página do portal do cluster. Selecione o painel Integração do Monitor na seção Monitoramento do menu no lado esquerdo da página do portal do cluster. Selecione Configurar o Azure Monitor para integração de clusters do HDInsight (clássico) . Um contexto lateral será exibido com uma alternância que você poderá usar para habilitar e desabilitar a integração clássica do Monitoramento do Azure.
Observação
Você não verá nenhum log ou métrica da integração clássica por meio da página Logs e insights do portal do cluster. Somente os logs e as métricas da nova integração estarão presentes nessas localizações.
A criação de clusters com a integração clássica do Azure Monitor não estará disponível após 1º de janeiro de 2023.
Linha do tempo de versões e suporte
- A integração clássica do Monitoramento do Azure ficará indisponível após 15 de outubro de 2021. Você não poderá habilitar a integração clássica do Monitoramento do Azure após essa data.
- As integrações clássicas do Monitoramento do Azure continuarão funcionando. Haverá suporte limitado para a integração clássica do Monitoramento do Azure.
- Os problemas serão investigados depois que os clientes enviarem o tíquete de suporte.
- Se a solução exigir uma alteração de imagem, os clientes deverão migrar para a nova integração.
- Não corrigiremos os clusters da integração clássica do Monitoramento do Azure, exceto os problemas críticos de segurança.
Apêndice: Mapeamento de tabela
Para obter os mapeamentos da tabela de log da integração clássica do Azure Monitor com a nova, confira Mapeamento da tabela de log.
Conteúdo relacionado
Consulta logs do Azure Monitor para monitorar clusters do HDInsight