Interaktiv frågekörning med HDInsight

Data Factory
Data Lake Storage
HDInsight
Power BI

Lösnings idé Solution Idea

Om du vill se den här artikeln med mer information, implementerings information, prissättnings vägledning eller kod exempel kan du berätta för oss med GitHub feedback!If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Utför snabba, interaktiva SQL-liknande frågor i skala över strukturerade eller ostrukturerade data med Apache Hive LLAP på Azure HDInsight.Perform fast, interactive SQL like queries at scale over structured or unstructured data with Apache Hive LLAP on Azure HDInsight.

ArkitekturArchitecture

Arkitektur diagram Ladda ned en SVG -arkitektur.Architecture Diagram Download an SVG of this architecture.

DataflödeData Flow

  1. Flytta data mellan Azure-moln eller andra icke-Azure-moln med Azure Data FactoryMove data between Azure cloud or any other non Azure cloud using Azure Data Factory
  2. Skapa en data landnings zon med hjälp av Azure Data Lake Gen2-tjänsten, som också är det primära lagrings kontot för Azure HDInsights Hadoop-klustretCreate a data landing zone using Azure Data Lake Gen2 service, which is also the primary storage account for the Azure HDInsights hadoop cluster
  3. Köra ELT-procedurer med Azure Data Factory eller Hive för att transformera inkommande data i HDFSRun ELT procedures using Azure Data Factory or Hive to transform incoming data in HDFS
  4. Skapa externa tabeller i Hive med dessa data i HDFSCreate external tables in Hive using this data in HDFS
  5. Använd Power BI för att tolka dessa data och skapa nya visualiseringarUse Power BI to interpret this data and create new visualizations

KomponenterComponents

  • Azure Data Factory är en integrerings tjänst för Hybrid data där du kan skapa, schemalägga och dirigera dina ETL/ELT-arbetsflöden.Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage är en uppsättning funktioner som fil systemets semantik och säkerhet på filnivå som är dedikerad till Big data Analytics som bygger på Azure Blob Storage.Azure Data Lake Storage is a set of capabilities such as file system semantics, and file-level security dedicated to big data analytics built on Azure Blob storage.
  • Azure HDInsight gör det enkelt, snabbt och kostnads effektivt att bearbeta enorma data mängder.Azure HDInsight makes it easy, fast, and cost-effective to process massive amounts of data. Du kan använda de mest populära ramverken baserade på öppen källkod, till exempel Hadoop, Spark, Hive, LLAP, Kafka, Storm, R med flera.You can use the most popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R, and more.
  • Power BI är en uppsättning affärs analys verktyg som ger insikter i hela organisationen.Power BI is a suite of business analytics tools that deliver insights throughout your organization. Anslut till hundratals data källor, förenkla förberedelse av data och köra adhoc-analys.Connect to hundreds of data sources, simplify data prep, and drive adhoc analysis.

Se ävenSee Also