Instalar aplicativos Apache Hadoop de terceiros no Azure HDInsight

Saiba como instalar um aplicativo do Apache Hadoop de terceiros no Azure HDInsight. Para obter instruções sobre como instalar seu próprio aplicativo, confira Instalar aplicativos personalizados do HDInsight.

Um aplicativo do HDInsight é um aplicativo que os usuários podem instalar em um cluster do HDInsight. Esses aplicativos podem ser desenvolvidos pela Microsoft, por ISVs (fornecedores independentes de software) ou por conta própria.

A lista a seguir mostra os aplicativos publicados:

Aplicativo Tipo(s) de cluster Descrição
Plataforma de inteligência AtScale O Hadoop O AtScale transforma seu cluster HDInsight em um servidor OLAP de expansão, permitindo que você consulte bilhões de linhas de dados interativamente usando as ferramentas de BI que você já conhece, tem e adora – do Microsoft Excel, Power BI, Software Tableau para QlikView.
Datameer O Hadoop A plataforma escalável de autoatendimento do Datameer para preparar, explorar e governar seus dados para acelerações de análise, transformando dados complexos de múltiplas fontes em informações úteis e prontas para o negócio, fornecendo insights mais rápidos e inteligentes em escala corporativa.
Dataiku DSS no HDInsight Hadoop, Spark Dataiku DSS em uma plataforma de ciência de dados corporativos que permite que cientistas de dados e analistas de dados colaborem para projetar e executar novos produtos de dados e serviços com mais eficiência, transformando dados brutos em previsões impactantes.
Aplicativo WANdisco Fusion HDI Hadoop, Spark, HBase, Kafka Manter os dados consistentes em um ambiente distribuído é um grande desafio para operações de dados. O WANdisco Fusion, uma plataforma de software de classe empresarial, resolve esse problema habilitando a consistência de dados não estruturados em qualquer ambiente.
H2O SparklingWater para HDInsight Spark O H2O Sparkling Water dá suporte aos seguintes algoritmos distribuídos: GLM, Naïve Bayes, Distributed Random Forest, Gradient Boosting Machine, Deep Neural Networks, Aprendizado profundo, K-means, PCA, Generalized Low Rank Models, Anomaly Detection, Autoencoders.
Striim para integração de dados em tempo real ao HDInsight Hadoop, HBase, Spark, Kafka O Striim (pronuncia-se "fluxo") é uma integração de dados de fluxo contínuo de ponta a ponta + plataforma de inteligência, permitindo a ingestão, o processamento e a análise contínuos de fluxos de dados diferentes.
Jumbune Enterprise – acelerando o BigData Analytics Hadoop, Spark Em um alto nível, o Jumbune auxilia empresas ao: 1. Acelerar o Tez, o MapReduce e o Hive baseado no mecanismo Spark, o Java, o desempenho da carga de trabalho Scala. 2. Monitorar proativamente o cluster Hadoop, 3. Estabelecer o gerenciamento de qualidade de dados no sistema de arquivos distribuído.
Kyligence Enterprise Hadoop, HBase, Spark Desenvolvido pela Apache Kylin, o Kyligence Enterprise permite BI em Big Data. Como um mecanismo OLAP corporativo no Hadoop, o Kyligence Enterprise capacita o analista de negócios a arquitetar BI no Hadoop com metodologia de data warehouse e BI padrão do setor.
Coletor de dados do StreamSets para nuvem do HDInsight Hadoop, HBase, Spark, Kafka O coletor de dados StreamSets é um mecanismo leve e poderoso que transmite dados em tempo real. Use o coletor de dados para rotear e processar dados em seus fluxos de dados. Ele vem com uma licença de avaliação gratuita de 30 dias.
Trifacta Wrangler Enterprise Hadoop, Spark, HBase Trifacta Wrangler Enterprise para HDInsight dá suporte à estruturação de dados de toda a empresa para qualquer escala de dados. O custo da execução de Trifacta no Azure é uma combinação dos custos de assinatura do Trifacta, além dos custos de infraestrutura do Azure para as máquinas virtuais.
Unifi Data Platform Hadoop, HBase, Spark O Unifi Data Platform é um conjunto perfeitamente integrado de ferramentas de dados de autoatendimento projetado para capacitar o usuário corporativo a enfrentar desafios de dados que geram receita incremental, reduzem custos ou complexidade operacional.

As instruções fornecidas neste artigo usam o portal do Azure. Também é possível exportar o modelo do Azure Resource Manager do portal ou obter uma cópia do modelo do Resource Manager de fornecedores e usar o Azure PowerShell e a CLI clássica do Azure para implantar o modelo. Consulte Criar clusters do Apache Hadoop no HDInsight usando modelos do Resource Manager.

Pré-requisitos

Se você quiser instalar aplicativos do HDInsight em um cluster HDInsight existente, precisará ter um cluster HDInsight. Para criar um, confira Criar clusters. Você também pode instalar aplicativos do HDInsight quando cria um cluster HDInsight.

Instalar aplicativos em clusters existentes

O procedimento a seguir mostra como instalar aplicativos do HDInsight em um cluster HDInsight existente.

Instalar um aplicativo do HDInsight

  1. Entre no portal do Azure.

  2. No menu esquerdo, navegue até Todos os serviços>Analytics>clusters HDInsight.

  3. Selecione um cluster HDInsight na lista. Se não tiver um, você deverá criá-lo primeiro. Confira Criar clusters.

  4. Na categoria Configurações, selecione Aplicativos. Você poderá ver uma lista de aplicativos instalados na janela principal.

    HDInsight applications portal menu.

  5. Selecione +Adicionar no menu. Você pode ver uma lista de aplicativos disponíveis. Se +Adicionar estiver esmaecido, isso significa que não há nenhum aplicativo para esta versão do cluster HDInsight.

    HDInsight applications available applications.

  6. Selecione em um dos aplicativos disponíveis e, em seguida, siga as instruções para aceitar os termos legais.

Você pode ver o status de instalação nas notificações do portal (selecione o ícone de sino na parte superior do portal). Depois que o aplicativo é instalado, ele é exibido na folha Aplicativos Instalados.

Instalar aplicativos durante a criação do cluster

Você tem a opção de instalar aplicativos do HDInsight ao criar um cluster. Durante o processo, os aplicativos do HDInsight são instalados depois que o cluster é criado e está no estado de execução. Para instalar aplicativos durante a criação do cluster usando o portal do Azure, na guia Configuração + preços, selecione +Adicionar aplicativo.

Azure portal cluster configuration applications.

Listar os aplicativos do HDInsight instalados e as propriedades

O portal mostra uma lista dos aplicativos do HDInsight instalados para um cluster e as propriedades de cada aplicativo instalado.

Listar o aplicativo do HDInsight e exibir as propriedades

  1. Entre no portal do Azure.

  2. No menu esquerdo, navegue até Todos os serviços>Analytics>clusters HDInsight.

  3. Selecione um cluster HDInsight na lista.

  4. Na categoria Configurações, selecione Aplicativos. Você poderá ver uma lista de aplicativos instalados na janela principal.

    HDInsight applications installed apps.

  5. Selecione um dos aplicativos instalados para mostrar a propriedade. A propriedades lista:

    Propriedade Descrição
    Nome do aplicativo Nome do aplicativo.
    Status Status do aplicativo.
    Página da web A URL do aplicativo Web que você implantou no nó de borda. A credencial é igual às credenciais de usuário HTTP que você configurou para o cluster.
    Ponto de extremidade SSH Você pode usar o SSH para conectar-se ao nó de borda. As credenciais SSH são iguais às credenciais de usuário SSH que você configurou para o cluster. Para obter informações, consulte Usar SSH com HDInsight.
    Descrição Descrição do aplicativo.
  6. Para excluir um aplicativo, clique nele com o botão direito do mouse e clique em Excluir no menu de contexto.

Conectar-se ao nó de borda

Você pode se conectar ao nó de borda usando HTTP e SSH. As informações de ponto de extremidade podem ser encontradas no portal. Para obter informações, consulte Usar SSH com HDInsight.

As credenciais do ponto de extremidade HTTP são as credenciais de usuário HTTP configuradas para o cluster do HDInsight. As credenciais de ponto de extremidade SSH são as credenciais SSH configuradas para o cluster do HDInsight.

Solucionar problemas

Confira Solucionar problemas de instalação.

Próximas etapas