Otimizar clusters com o Apache Ambari no Azure HDInsight

O HDInsight fornece clusters Apache Hadoop para aplicativos de processamento de dados em grande escala. Gerenciar, monitorar e otimizar esses clusters complexos de vários nós pode ser um desafio. Apache Ambari é uma interface web para gerenciar e monitorar clusters HDInsight Linux.

Para obter uma introdução ao uso da interface do usuário da Web do Ambari, consulte Gerenciar clusters HDInsight usando a interface do usuário da Web do Apache Ambari

Faça login no Ambari em https://CLUSTERNAME.azurehdidnsight.net com suas credenciais de cluster. A tela inicial exibe um painel de visão geral.

Apache Ambari user dashboard displayed.

A interface do usuário da Web do Ambari é usada para gerenciar hosts, serviços, alertas, configurações e exibições. O Ambari não pode ser usado para criar um cluster HDInsight ou atualizar serviços. Também não é possível gerenciar pilhas e versões, desativar ou recomissionar hosts ou adicionar serviços ao cluster.

Gerenciar a configuração do cluster

As definições de configuração ajudam a ajustar um serviço específico. Para modificar as definições de configuração de um serviço, selecione-o na barra lateral Serviços (à esquerda). Em seguida, navegue até a guia Configurações na página de detalhes do serviço.

Apache Ambari Services sidebar.

Modificar o tamanho da pilha Java NameNode

O tamanho da pilha Java NameNode depende de muitos fatores, como a carga no cluster. Além disso, os números de arquivos e os números de blocos. O tamanho padrão de 1 GB funciona bem com a maioria dos clusters, embora algumas cargas de trabalho possam exigir mais ou menos memória.

Para modificar o tamanho da pilha Java NameNode:

  1. Selecione HDFS na barra lateral Serviços e navegue até a guia Configurações .

    Apache Ambari HDFS configuration.

  2. Encontre a configuração NameNode Java heap size. Você também pode usar a caixa de texto do filtro para digitar e localizar uma configuração específica. Selecione o ícone da caneta ao lado do nome da configuração.

    Apache Ambari NameNode Java heap size.

  3. Digite o novo valor na caixa de texto e pressione Enter para salvar a alteração.

    Ambari Edit NameNode Java heap size1.

  4. O tamanho da pilha Java NameNode é alterado de 2 GB para 1 GB.

    Edited NameNode Java heap size2.

  5. Salve suas alterações clicando no botão verde Salvar na parte superior da tela de configuração.

    `Apache Ambari save configurations`.

Próximos passos