Ez a példaforgatókönyv egy olyan adatfolyamot mutat be, amely több forrásból származó nagy mennyiségű adatot integrál egy egységes elemzési platformba az Azure-ban. Ez a konkrét forgatókönyv egy értékesítési és marketingmegoldáson alapul, de a tervezési minták számos olyan iparág esetében relevánsak, amelyek nagy adathalmazok, például az e-kereskedelem, a kiskereskedelem és az egészségügy fejlett elemzését igénylik.
Felépítés
Töltse le az architektúra Visio-fájlját.
Adatfolyam
Az adatok a következő módon haladnak át a megoldáson:
- Minden adatforrás esetében a rendszer rendszeresen exportálja a frissítéseket az Azure Data Lake Storage átmeneti területére.
- Az Azure Data Factory növekményesen tölti be az Adatokat az Azure Data Lake Storage-ból az Azure Synapse Analytics átmeneti tábláiba. A folyamat során az adatok megtisztítva és átalakítva lesznek. A PolyBase képes párhuzamosítani a nagy adathalmazok folyamatát.
- Miután betöltött egy új adatköteget a raktárba, a rendszer frissít egy korábban létrehozott Azure Analysis Services-táblázatos modellt. Ez a szemantikai modell leegyszerűsíti az üzleti adatok és kapcsolatok elemzését.
- Az üzleti elemzők a Microsoft Power BI használatával elemzik a raktározott adatokat az Analysis Services szemantikai modelljén keresztül.
Összetevők
A vállalat számos különböző platformon rendelkezik adatforrásokkal:
- Helyszíni SQL Server
- Oracle helyszíni
- Azure SQL Database
- Azure Table Storage
- Azure Cosmos DB
A rendszer az alábbi különböző adatforrásokból tölt be adatokat több Azure-összetevő használatával:
- Az Azure Data Lake Storage a forrásadatok az Azure Synapse-be való betöltése előtt történő szakaszozására szolgál.
- A Data Factory vezényli a szakaszos adatok átalakítását az Azure Synapse közös struktúrájába. A Data Factory a PolyBase-t használja az adatok Azure Synapse-ba való betöltésekor az átviteli sebesség maximalizálása érdekében.
- Az Azure Synapse egy elosztott rendszer nagy adathalmazok tárolására és elemzésére. A nagy teljesítményű párhuzamos feldolgozás (MPP) használatával alkalmassá válik nagy teljesítményű elemzések futtatására. Az Azure Synapse a PolyBase használatával gyorsan betölthet adatokat az Azure Data Lake Storage-ból.
- Az Analysis Services szemantikai modellt biztosít az adatokhoz. Emellett növelheti a rendszer teljesítményét az adatok elemzésekor.
- A Power BI üzleti elemzési eszközökből álló csomagja az adatok elemzésére és az elemzések megosztására. A Power BI lekérdezhet egy Analysis Servicesben tárolt szemantikai modellt, vagy közvetlenül lekérdezheti az Azure Synapse-t.
- A Microsoft Entra ID hitelesíti az Analysis Services-kiszolgálóhoz a Power BI-on keresztül csatlakozó felhasználókat. A Data Factory a Microsoft Entra ID-t is használhatja az Azure Synapse-beli hitelesítéshez egy szolgáltatásnévvel vagy az Azure-erőforrások felügyelt identitásával.
Alternatívák
A példafolyamat számos különböző adatforrást tartalmaz. Ez az architektúra számos relációs és nem relációs adatforrást képes kezelni.
A Data Factory vezényli az adatfolyam munkafolyamatait. Ha csak egyszer vagy igény szerint szeretne adatokat betölteni, használhat olyan eszközöket, mint az SQL Server tömeges másolása (bcp) és az AzCopy, hogy adatokat másoljanak az Azure Data Lake Storage-ba. Ezután közvetlenül betöltheti az adatokat az Azure Synapse-ba a PolyBase használatával.
Ha nagyon nagy adatkészletekkel rendelkezik, fontolja meg a Data Lake Storage használatát, amely korlátlan tárterületet biztosít az elemzési adatokhoz.
Az Azure Synapse nem alkalmas 250 GB-nál kisebb OLTP-számítási feladatokhoz vagy adatkészletekhez. Ilyen esetekben az Azure SQL Database-t vagy az SQL Servert kell használnia.
Más alternatívák összehasonlítását lásd:
Forgatókönyv részletei
Ez a példa egy olyan értékesítési és marketingvállalatot mutat be, amely ösztönző programokat hoz létre. Ezek a programok megjutalmazzák az ügyfeleket, a beszállítókat, az értékesítőket és az alkalmazottakat. Az adatok alapvető fontosságúak ezekhez a programokhoz, és a vállalat javítani szeretné az Azure-nal végzett adatelemzésen keresztül szerzett megállapításokat.
A vállalatnak modern megközelítésre van szüksége az adatok elemzéséhez, hogy a döntéseket a megfelelő adatokkal hozza meg a megfelelő időben. A vállalat céljai a következők:
- Különböző típusú adatforrások kombinálása felhőalapú platformmá.
- A forrásadatok átalakítása általános osztályozássá és struktúrává, hogy az adatok egységesek és könnyen összehasonlíthatóak legyenek.
- Adatok betöltése rendkívül párhuzamos megközelítéssel, amely ösztönző programok ezreit támogathatja, a helyszíni infrastruktúra üzembe helyezésének és karbantartásának magas költségei nélkül.
- Jelentősen csökkenti az adatok gyűjtéséhez és átalakításához szükséges időt, így az adatok elemzésére összpontosíthat.
Lehetséges használati esetek
Ez a megközelítés a következőket is lehetővé teszi:
- Hozzon létre egy adattárházat, amely az adatok egyetlen igazságforrása.
- Relációs adatforrások integrálása más strukturálatlan adatkészletekkel.
- Az egyszerűbb adatelemzéshez szemantikai modellezést és hatékony vizualizációs eszközöket használhat.
Considerations
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.
Az architektúra technológiáit azért választották ki, mert megfeleltek a vállalat skálázhatóságára és rendelkezésre állására vonatkozó követelményeinek, és segítették őket a költségek szabályozásában.
- Az Azure Synapse nagymértékben párhuzamos feldolgozási architektúrája skálázhatóságot és nagy teljesítményt biztosít.
- Az Azure Synapse garantált SLA-kat és ajánlott eljárásokat biztosít a magas rendelkezésre állás eléréséhez.
- Ha az elemzési tevékenység alacsony, a vállalat igény szerint skálázhatja az Azure Synapse-t, csökkentve vagy akár szüneteltetve a számítást a költségek csökkentése érdekében.
- Az Azure Analysis Services horizontális felskálázható, hogy csökkentse a válaszidőt a nagy lekérdezési számítási feladatok során. A feldolgozást a lekérdezéskészlettől is elkülönítheti, így az ügyfél-lekérdezések nem lassíthatók a feldolgozási műveletek által.
- Az Azure Analysis Services emellett garantált SLA-kkal és ajánlott eljárásokkal rendelkezik a magas rendelkezésre állás eléréséhez.
- Az Azure Synapse biztonsági modell biztosítja a kapcsolat biztonságát, a hitelesítést és az engedélyezést a Microsoft Entra ID vagy az SQL Server hitelesítésével, valamint titkosítással. Az Azure Analysis Services a Microsoft Entra-azonosítót használja az identitáskezeléshez és a felhasználói hitelesítéshez.
Költségoptimalizálás
A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.
Tekintse át az adatraktározási forgatókönyvek díjszabási mintáját az Azure díjkalkulátorán keresztül. Módosítsa az értékeket, hogy lássa, a követelmények hogyan befolyásolják a költségeket.
- Az Azure Synapse lehetővé teszi a számítási és tárolási szintek egymástól függetlenül történő skálázását. A számítási erőforrások óránként kerülnek felszámításra, és igény szerint skálázhatja vagy szüneteltetheti ezeket az erőforrásokat. A tárolási erőforrásokat terabájtonként számlázzák, így a költségek növekedni fognak, amikor több adatot vesz fel.
- A Data Factory költségei a számítási feladatban végrehajtott olvasási/írási műveletek, monitorozási műveletek és vezénylési tevékenységek számán alapulnak. A Data Factory költségei minden további adatfolyammal és az egyes által feldolgozott adatok mennyiségével növekednek.
- Az Analysis Services fejlesztői, alapszintű és standard szinteken érhető el. A példányok ára a lekérdezésfeldolgozó egységek (QPU-k) és a rendelkezésre álló memória alapján van megadva. A költségek csökkentése érdekében minimalizálja a futtatott lekérdezések számát, a feldolgozott adatok számát és a futtatás gyakoriságát.
- A Power BI különböző terméklehetőségekkel rendelkezik a különböző követelményekhez. A Power BI Embedded azure-alapú lehetőséget biztosít a Power BI-funkciók alkalmazásokba való beágyazásához. A fenti díjszabási minta egy Power BI Embedded-példányt tartalmaz.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködő írta.
Fő szerző:
- Alex Buck | Vezető tartalomfejlesztő
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.
További lépések
Tekintse át az azure-beli referenciaarchitektúrát az automatizált nagyvállalati BI-hoz, amely útmutatást tartalmaz az architektúra egy példányának azure-beli üzembe helyezéséhez.
További információ az ebben a forgatókönyvben használt szolgáltatásokról: