Interaktív lekérdezés a HDInsighttal

Data Factory
Data Lake Storage
HDInsight
Power BI

Solution Idea

Ha szeretné látni, hogyan bővítjük ki ezt a cikket olyan további információkkal, mint a lehetséges esetek, az alternatív szolgáltatások, az implementációval kapcsolatos megfontolások vagy a díjszabási útmutató, GitHub visszajelzéssel!

Gyors, interaktív SQL, például strukturált vagy strukturálatlan adatokon nagy léptékű lekérdezéseket hajt végre a Apache Hive LLAP használatával a Azure HDInsight.

Architektúra

Architektúradiagram Az architektúra SVG-nek letöltése.

Adatfolyam

  1. Adatok áthelyezése az Azure-felhő vagy bármely más nem Azure-felhő között az Azure Data Factory
  2. Adat-kezdőlapzóna létrehozása az Azure Data Lake Gen2 szolgáltatással, amely egyben az Azure HDInsights Hadoop-fürt elsődleges tárfiókja is
  3. ELT-eljárások futtatása a Azure Data Factory Hive használatával a bejövő adatok átalakításához a HDFS-ben
  4. Külső táblák létrehozása a Hive-ban ezen adatok használatával a HDFS-ben
  5. Az Power BI az adatok értelmezéséhez és új vizualizációk létrehozásához

Összetevők

  • Azure Data Factory egy hibrid adatintegrációs szolgáltatás, amely lehetővé teszi az ETL-/ELT-munkafolyamatok létrehozására, ütemezésére és vezénylését.
  • Az Azure Data Lake Storage olyan képességek készlete, mint a fájlrendszer-szemantika és az Azure Blob Storage-on big data elemzéshez dedikált fájlszintű biztonság.
  • Azure HDInsight nagy mennyiségű adat egyszerű, gyors és költséghatékony feldolgozását teszi lehetővé. Használhat olyan népszerű, nyílt forráskódú keretrendszereket, mint a Hadoop, a Spark, a Hive, az LLAP, a Kafka, a Storm, az R stb.
  • Power BI egy üzleti elemzési eszközökből álló csomag, amely céges elemzéseket biztosít. Csatlakozás több száz adatforráshoz, leegyszerűsítheti az adat-előkészítést, és adhoc-elemzésre lehet szükség.

Lásd még:

  • Hozzon létre egy adat folyamatot, amely értékesítési elemzéseket hoz létre Azure HDInsight egy kinyerési, átalakítási és betöltési (ETL) műveleteket végző, teljes folyamat létrehozásához.
  • Az Apache Hive Microsoft Power BI segítségével vizualizálhatja a Microsoft Power BI Desktop és Azure HDInsight ODBC használatával, és hogyan vizualizálhatja Apache Hive adatokat.
  • Apache Hive a Azure HDInsight HiveQL az Apache Hadoop adattárházrendszere. A Hive lehetővé teszi az adatok összegzését, lekérdezését és elemzését. A Hive-lekérdezések a HiveQL-ben vannak megírva, amely az SQL.