Big data-architektúrák valós idejű elemzése

Analysis Services
Event Hubs
Synapse Analytics

Solution Idea

Ha szeretné látni, hogyan bővítjük ki ezt a cikket olyan további információkkal, mint a lehetséges esetek, az alternatív szolgáltatások, az implementációval kapcsolatos megfontolások vagy a díjszabási útmutató, GitHub visszajelzéssel!

Könnyedén kaphat elemzéseket az élő streamelési adatokból. Folyamatosan rögzítheti az adatokat bármely IoT-eszközről vagy a webhely kattintásstreameiből származó naplókból, és közel valós időben dolgoz fel adatokat.

Architektúra

Az Azure Data Lake Storage Azure Synapse Analytics Gen2, event hub, Azure Analysis Services, Azure Cosmos DB és big data azure data lake Storage gen2, event hub és Azure Cosmos DB használatával való valós idejű Power BI.

Töltse le az architektúra SVG-ját.

Adatfolyam

  1. Egy alkalmazás élő streamelési adatainak egyszerű be- és Azure Event Hubs.
  2. A Synapse Pipelines és az Azure Blob Storage.
  3. Kihasználhatja a Apache Spark a streamelési adatok tisztításához, átalakításához és elemzéséhez, valamint az operatív adatbázisokból vagy adattárházból származó strukturált adatokkal való összevonásához.
  4. Skálázható gépi tanulási/mély tanulási technikákkal mélyebb elemzéseket nyerhet ki ezekből az adatokból a Python, a Scala vagy a .NET használatával, az Apache Spark notebookokkal.
  5. A Apache Spark Synapse Pipelines Azure Synapse Analytics alkalmazásokkal nagy méretekben férhet hozzá és mozgathat adatokat.
  6. Elemzési irányítópultokat és beágyazott jelentéseket hozhat létre dedikált SQL-készletben, hogy elemzéseket osztjon meg a szervezeten belül, és Azure Analysis Services segítségével ezeket az adatokat felhasználók ezrei számára szolgálhatja ki.
  7. A valós idejű alkalmazásokon keresztül Apache Spark a Cosmos DB elemzéseket.

Összetevők

  • Azure Synapse Analytics egy gyors, rugalmas és megbízható felhőalapú adattárház, amellyel rugalmasan és függetlenül méretzheti, számításokat és tárolhatja, nagymértékben párhuzamos feldolgozási architektúrával.
  • A Synapse Pipelines dokumentációja lehetővé teszi ETL/ELT-munkafolyamatok létrehozásához, ütemezéshez és vezénylését.
  • Azure Data Lake Storage:Nagymértékben skálázható, biztonságos Data Lake-funkciók, amelyek az Azure Blob Storage
  • Azure Synapse Analytics Spark-készletek gyors, egyszerű és együttműködésen alapuló, Apache Spark elemzési platformot kínálnak.
  • Az Azure Azure Event Hubs dokumentációja egy big data streamelési platform és eseménybeozási szolgáltatás.
  • Azure Cosmos DB egy globálisan elosztott, többmodelles adatbázis-szolgáltatás. Ezután megtudhatja, hogyan replikálhatja adatait bármilyen számú Azure-régióban, és hogyan skálázhatja az átviteli sebességet a tárolótól függetlenül.
  • A Azure Synapse Link for Azure Cosmos DB lehetővé teszi, hogy közel valós idejű elemzést futtathat az operatív adatokon a Azure Cosmos DB-ban anélkül, hogy az hatással lenne a tranzakciós számítási feladatok teljesítményére vagy költségeire, a Azure Synapse-munkaterületről elérhető két elemzési motor használatával: SQL kiszolgáló nélküli és Spark-készletek.
  • Azure Analysis Services egy nagyvállalati szintű elemzési szolgáltatás, amellyel magabiztosan irányíthatja, helyezheti üzembe, tesztelheti és kézbesítheti BI-megoldását.
  • Power BI egy üzleti elemzési eszközökből álló csomag, amely céges elemzéseket biztosít. Csatlakozás több száz adatforráshoz, leegyszerűsítheti az adat-előkészítést, és nem tervezett elemzést hajtana elő. Gyönyörű jelentéseket készít, majd közzéteheti őket a szervezet számára a weben és mobileszközökön.

Alternatív megoldások

  • Synapse Link a Microsoft által előnyben részesített elemzési megoldás az Cosmos DB alapján.

Díjszabás

Következő lépések