Consultas interativas com o HDInsight

Data Factory
Data Lake Storage
HDInsight
Power BI

Ideia de solução Solution Idea

Se quiser ver-nos expandir este artigo com mais informações, detalhes de implementação, orientação de preços ou exemplos de código, informe-nos com o Feedback do GitHub!If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Execute SQL rápido e interativo como consultas em escala sobre dados estruturados ou não estruturados com Apache Hive LLAP em Azure HDInsight.Perform fast, interactive SQL like queries at scale over structured or unstructured data with Apache Hive LLAP on Azure HDInsight.

ArquiteturaArchitecture

Diagrama de arquitetura Descarregue um SVG desta arquitetura.Architecture Diagram Download an SVG of this architecture.

Fluxo de DadosData Flow

  1. Mova dados entre a nuvem Azure ou qualquer outra nuvem não Azure usando a Azure Data FactoryMove data between Azure cloud or any other non Azure cloud using Azure Data Factory
  2. Crie uma zona de desembarque de dados utilizando o serviço Azure Data Lake Gen2, que é também a principal conta de armazenamento do cluster de hadoop Azure HDInsightsCreate a data landing zone using Azure Data Lake Gen2 service, which is also the primary storage account for the Azure HDInsights hadoop cluster
  3. Executar procedimentos ELT usando Azure Data Factory ou Colmeia para transformar dados de entrada em HDFSRun ELT procedures using Azure Data Factory or Hive to transform incoming data in HDFS
  4. Criar tabelas externas na Colmeia utilizando estes dados em HDFSCreate external tables in Hive using this data in HDFS
  5. Use o Power BI para interpretar estes dados e criar novas visualizaçõesUse Power BI to interpret this data and create new visualizations

ComponentesComponents

  • A Azure Data Factory é um serviço híbrido de integração de dados que lhe permite criar, programar e orquestrar os seus fluxos de trabalho ETL/ELT.Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage é um conjunto de capacidades tais como semântica do sistema de ficheiros, e segurança ao nível de ficheiros dedicada a grandes análises de dados construídas no armazenamento de Azure Blob.Azure Data Lake Storage is a set of capabilities such as file system semantics, and file-level security dedicated to big data analytics built on Azure Blob storage.
  • O Azure HDInsight torna fácil, rápido e rentável o processamento de quantidades massivas de dados.Azure HDInsight makes it easy, fast, and cost-effective to process massive amounts of data. Pode utilizar as estruturas de código aberto mais populares, como o Hadoop, o Spark, o Hive, o LLAP, o Kafka, o Storm, o R, entre outras.You can use the most popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R, and more.
  • Power BI é um conjunto de ferramentas de análise de negócios que fornecem insights em toda a sua organização.Power BI is a suite of business analytics tools that deliver insights throughout your organization. Ligue-se a centenas de fontes de dados, simplifique a preparação de dados e conduza a análise de adhoc.Connect to hundreds of data sources, simplify data prep, and drive adhoc analysis.

Consulte tambémSee Also