Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Ez a cikk egy azure-beli nagyvállalati adattárház megoldását mutatja be, amely a következőket tartalmazza:
- A méretezéstől és a formátumtól függetlenül egyesíti az összes adatot.
- Lehetővé teszi, hogy minden felhasználó elemzési irányítópultokon, operatív jelentéseken és speciális elemzéseken keresztül betekintést nyerjen az adataiból.
Az Apache® és az Apache Spark az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Felépítés
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- Az Azure Synapse Analytics-folyamatok strukturált, strukturálatlan és félig strukturált adatokat, például naplókat, fájlokat és adathordozókat hoznak létre. A folyamatok az adatokat az Azure Data Lake Storage-ban tárolják.
- Az Azure Synapse Analytics Apache Spark-készletei megtisztítják és átalakítják a Data Lake Storage-adatokat.
- Az Azure Synapse Analytics egyesíti a feldolgozott adatokat a meglévő strukturált adatokkal, és egyetlen egységes adatközpontot hoz létre.
- Egy dedikált SQL-készlet elérhetővé teszi az adatokat az elemzéseket kinyerő operatív jelentésekhez és elemzési irányítópultokhoz. Az Azure Analysis Services több ezer végfelhasználó számára nyújt jelentéseket és irányítópultokat.
Összetevők
- Az Azure Synapse Analytics adatraktárak és big data rendszerek elemzési szolgáltatása. Ez az eszköz nagymértékben párhuzamos feldolgozási architektúrát használ, és mély integrációval rendelkezik az Azure-szolgáltatásokkal.
- Az Azure Synapse Analytics-folyamatokkal munkafolyamatokat hozhat létre, ütemezhet és vezényelhet, például kinyerhet, betölthet, átalakíthat (ELT) és kinyerhet, átalakíthat, betölthet (ETL) munkafolyamatokat.
- Az Azure Blob Storage nagymértékben skálázható, költséghatékony objektumtárolást biztosít bármilyen strukturálatlan adathoz – képekhez, videókhoz, hanganyagokhoz, dokumentumokhoz stb.
- A Data Lake Storage egy tárház, amely nagy mennyiségű adatot tárol natív, nyers formátumban. A Data Lake Storage a Blob Storage-ra épül. Ennek eredményeképpen a Data Lake Storage a Blob Storage méretezhetőségét, rétegzett tárolását, magas rendelkezésre állását és vészhelyreállítási képességeit kínálja.
- Az Azure Synapse Analytics Spark-készletek párhuzamos feldolgozási keretrendszert biztosítanak, amely támogatja a memórián belüli feldolgozást a big data elemzési alkalmazások teljesítményének növelése érdekében.
- Az Analysis Services egy nagyvállalati szintű elemzési motor, amely megkönnyíti a felhasználók számára az alkalmi adatelemzést. Az Analysis Services használatával nagy léptékben szabályozhatja, tesztelheti és szolgáltathatja az üzleti megoldásokat.
- A Power BI egy üzleti elemzési eszközcsomag, amely a szervezet egészében nyújt elemzéseket. A Power BI használatával több száz adatforráshoz csatlakozhat, egyszerűbbé teheti az adatok előkészítését, és alkalmi elemzéseket végezhet. Gyönyörű jelentéseket is készíthet, és közzéteheti őket a szervezet számára, hogy a weben és a mobileszközökön is felhasználhassa őket.
Forgatókönyv részletei
A vállalati adattárházak a forrástól, formátumtól és skálázástól függetlenül egyesítik az összes adatot. Az adattárház lehetővé teszi a nagy teljesítményű elemzések futtatását is az adatokon, így elemzési irányítópultokon, operatív jelentéseken és speciális elemzéseken keresztül nyerhet elemzéseket.
Ez a megoldás létrehoz egy adattárházat, amely:
- Az adatok egyetlen igazságforrása.
- Integrálja a relációs adatforrásokat más strukturálatlan adathalmazokkal.
- Szemantikai modellezést és hatékony vizualizációs eszközöket használ az egyszerűbb adatelemzéshez.
Az adatok egységes platformba való integrálásához ez a megoldás Azure Synapse Analytics-folyamatokat használ. Ezek a folyamatok ELT- és ETL-képességeket kínálnak. A folyamatokkal adatokat helyezhet át adatvezérelt munkafolyamatokban. A folyamatok különböző adatformátumokkal és struktúrákkal működnek.
A folyamatok az adatokat a Blob Storage-ra épülő Data Lake Storage-ban tárolják. Ez a tárolási szolgáltatás nagy mennyiségű strukturálatlan adatot képes kezelni.
Az Azure Synapse Analytics Spark-készletek a megoldás kulcsfontosságú részét képezik. Ezek a készletek megtisztítják és átalakítják az Azure-ban tárolt adatokat. Párhuzamos feldolgozási keretrendszerük támogatja a memórián belüli feldolgozást a sebesség és a hatékonyság érdekében. A készletek az automatikus skálázást is támogatják, így szükség esetén csomópontokat adhatnak hozzá vagy távolíthatnak el.
Egy dedikált SQL-készlet teszi elérhetővé a feldolgozott adatokat a nagy teljesítményű elemzésekhez. Ez a készlet oszlopos tárolóval rendelkező relációs táblákban tárolja az adatokat, ami jelentősen csökkenti az adattárolás költségeit. Emellett javítja a lekérdezési teljesítményt, így nagy léptékben futtathat elemzéseket.
Lehetséges használati esetek
Ezt a megoldást olyan helyzetekben használhatja, mint a következő, nagy mennyiségű adatot tartalmazó helyzetekben:
- IoT-eszközintegráció
- Ügyfél-adatplatformok
- Természetes nyelvek feldolgozása
- Gépi tanulási algoritmusok
Pricing
A megoldás költségbecslésének megtekintéséhez tekintse meg a díjszabási kalkulátorban található díjszabási mintát.
További lépések
- Az Azure Synapse Analytics dokumentációja
- Az Azure Synapse Analytics-folyamatok dokumentációja
- Az azure-beli objektumtárolás bemutatása
- Azure Synapse Analytics Spark-készletek
- Az Analysis Services dokumentációja
- Power BI-dokumentáció