Ez a példa számítási feladat számos módszert mutat be, amellyel a kis- és középvállalkozások modernizálhatják az örökölt adattárakat, és megismerhetik a big data-eszközöket és képességeket anélkül, hogy túlterhelik a jelenlegi költségvetéseket és készségkészleteket. Ezek a végpontok közötti Azure-adattárház-megoldások könnyen integrálhatók olyan eszközökkel, mint az Azure Machine Tanulás, a Microsoft Power Platform, a Microsoft Dynamics és más Microsoft-technológiák.
Felépítés
Töltse le az architektúra Visio-fájlját.
Az örökölt SMB-adattárházak több adattípust is tartalmazhatnak:
- Strukturálatlan adatok, például dokumentumok és ábrák
- Részben strukturált adatok, például naplók, CSV-k, JSON- és XML-fájlok
- Strukturált relációs adatok, beleértve azokat az adatbázisokat is, amelyek tárolt eljárásokat használnak a kinyerési-transzformációs/extract-load-transform (ETL/ELT) tevékenységekhez
Adatfolyam
Az alábbi adatfolyam a kiválasztott adattípus betöltését mutatja be:
Az Azure Synapse Analytics-folyamatok betöltik az örökölt adattárházakat az Azure-ba.
A folyamatok vezénylik a migrált vagy részben újrabontásra kerülő örökölt adatbázisok és SSIS-csomagok folyamatát az Azure SQL Database-be. Ez az átemelési megközelítés a leggyorsabb megoldás, és zökkenőmentes átmenetet biztosít a helyszíni SQL-megoldásról egy végleges Azure-platformra (PaaS). Az adatbázisok az emelés és a váltás után fokozatosan modernizálhatók.
A folyamatok strukturálatlan, félig strukturált és strukturált adatokat is átadhatnak az Azure Data Lake Storage-ba a központosított tárolás és elemzés érdekében más forrásokkal. Ezt a módszert akkor érdemes használni, ha az adatok összeolvadása több üzleti előnyt biztosít, mint egyszerűen az adatok újraformálása.
A Microsoft Dynamics adatforrásokkal központosított BI-irányítópultokat hozhat létre bővített adathalmazokon a Synapse kiszolgáló nélküli elemző eszközeivel. Az egyesített, feldolgozott adatokat visszahozhatja a Dynamicsbe és a Power BI-ba további elemzés céljából.
A streamelési forrásokból származó valós idejű adatok az Azure Event Hubson keresztül is beléphetnek a rendszerbe. A valós idejű irányítópult-követelményekkel rendelkező ügyfelek számára az Azure Stream Analytics azonnal elemezheti ezeket az adatokat.
Az adatok a központosított Data Lake-be is beléphetnek további elemzés, tárolás és jelentéskészítés céljából.
A kiszolgáló nélküli elemzési eszközök az Azure Synapse Analytics-munkaterületen érhetők el. Ezek az eszközök kiszolgáló nélküli SQL-készletet vagy Apache Spark számítási képességeket használnak az adatok feldolgozásához a Data Lake Storage Gen2-ben. A kiszolgáló nélküli készletek igény szerint érhetők el, és nem igényelnek kiépített erőforrásokat.
A kiszolgáló nélküli készletek ideálisak a következőkhöz:
- Alkalmi adatelemzési kutatások T-SQL formátumban.
- Az adattárház-entitások korai prototípus-készítése.
- Olyan nézetek meghatározása, amelyeket a felhasználók használhatnak például a Power BI-ban olyan forgatókönyvekhez, amelyek képesek elviselni a teljesítménybeli késést.
Az Azure Synapse szorosan integrálva van az egyesített adathalmazok potenciális felhasználóival, például az Azure Machine Tanulás. Más felhasználók közé tartozhatnak a Power Apps, az Azure Logic Apps, az Azure Functions-alkalmazások és a Azure-alkalmazás Service-webalkalmazások.
Összetevők
Az Azure Synapse Analytics egy elemzési szolgáltatás, amely egyesíti az adatintegrációt, a nagyvállalati adattárházakat és a big data elemzéseket. Ebben a megoldásban:
- Az Azure Synapse-munkaterület elősegíti az adatmérnökök, adattudósok, adatelemzők és üzletiintelligencia-szakemberek közötti együttműködést.
- Az Azure Synapse-folyamatok vezényelik és betöltik az adatokat az SQL Database-be és a Data Lake Storage Gen2-be.
- Az Azure Synapse kiszolgáló nélküli SQL-készletei igény szerint strukturálatlan és félig strukturált adatokat elemeznek a Data Lake Storage Gen2-ben.
- Az Azure Synapse kiszolgáló nélküli Apache Spark-készletek a 2. generációs Data Lake Storage-ban végeznek kódelső feltárásokat Olyan Spark-nyelvekkel, mint a Spark SQL, a pySpark és a Scala.
Az Azure SQL Database egy intelligens, skálázható, relációs adatbázis-szolgáltatás, amely a felhőhöz készült. Ebben a megoldásban az SQL Database tárolja a vállalati adattárházat, és tárolt eljárásokat használó ETL-/ELT-tevékenységeket hajt végre.
Az Azure Event Hubs egy valós idejű adatstreamelési platform és eseménybetöltési szolgáltatás. Az Event Hubs bárhonnan betölthet adatokat, és zökkenőmentesen integrálható az Azure-beli adatszolgáltatásokkal.
Az Azure Stream Analytics egy valós idejű, kiszolgáló nélküli elemzési szolgáltatás a streamelési adatokhoz. A Stream Analytics gyors, rugalmas méretezhetőséget, nagyvállalati szintű megbízhatóságot és helyreállítást, valamint beépített gépi tanulási képességeket kínál.
Az Azure Machine Tanulás az adatelemzési modellek fejlesztésének és életciklus-kezelésének eszközkészlete. A gépi Tanulás az Azure és a Microsoft-szolgáltatások egyik példája, amely a Data Lake Storage Gen2-ből származó, egyesített, feldolgozott adatokat képes felhasználni.
Alternatívák
Az Azure IoT Hub lecserélheti vagy kiegészítheti az Event Hubsot. A választott megoldás a streamelési adatok forrásától, valamint attól függ, hogy klónozásra és kétirányú kommunikációra van-e szükség a jelentéskészítő eszközökkel.
Az Azure Data Factoryt az Azure Synapse-folyamatok helyett adatintegrációhoz használhatja. A választás több tényezőtől függ:
- Az Azure Synapse-folyamatok egyszerűbbé teszik a megoldás kialakítását, és lehetővé teszik az együttműködést egyetlen Azure Synapse-munkaterületen belül.
- Az Azure Synapse-folyamatok nem támogatják az SSIS-csomagok újrahelyezését, amely az Azure Data Factoryben érhető el.
- A Synapse Monitor Hub az Azure Synapse-folyamatokat figyeli, míg az Azure Monitor képes monitorozni a Data Factoryt.
További információ és az Azure Synapse-folyamatok és a Data Factory funkcióinak összehasonlítása: Adatintegráció az Azure Synapse Analyticsben és az Azure Data Factoryben.
Az SQL Database használata helyett a Synapse Analytics dedikált SQL-készleteit használhatja vállalati adatok tárolására. Tekintse át a cikkben szereplő használati eseteket és szempontokat, valamint a kapcsolódó erőforrásokat a döntéshozatalhoz.
Forgatókönyv részletei
A kis- és középvállalkozások (KKV-k) választhatnak a helyszíni adattárházak felhőbeli modernizálása során. Big Data-eszközöket alkalmazhatnak a jövőbeli bővíthetőség érdekében, vagy megtarthatják a hagyományos, SQL-alapú megoldásokat a költséghatékonyság, a könnyű karbantartás és a zökkenőmentes átmenet érdekében.
A hibrid megközelítés azonban egyesíti a meglévő adattulajdon egyszerű migrálását, és lehetővé teszi big data eszközök és folyamatok hozzáadását bizonyos használati esetekhez. Az SQL-alapú adatforrások továbbra is futhatnak a felhőben, és a megfelelő módon tovább modernizálhatók.
Ez a példa számítási feladat számos módszert mutat be, amelyekkel a kkv-k modernizálhatják az örökölt adattárakat, és megismerhetik a big data-eszközöket és képességeket anélkül, hogy túlterhelik a jelenlegi költségvetéseket és készségeket. Ezek a végpontok közötti Azure-adattárház-megoldások könnyen integrálhatók az Azure-ral, Microsoft-szolgáltatások és olyan eszközökkel, mint az Azure Machine Tanulás, a Microsoft Power Platform és a Microsoft Dynamics.
Lehetséges használati esetek
Ennek a számítási feladatnak több forgatókönyv is hasznára lehet:
Egy 1 TB-nál kisebb, hagyományos, helyszíni relációs adattárház migrálása és az SQL Server Integration Services (SSIS) csomagok széles körű használata a tárolt eljárások vezényléséhez.
Meglévő Dynamics- vagy Power Platform Dataverse-adatok hálózása kötegelt és valós idejű Azure Data Lake-forrásokkal .
Innovatív technikák használata a központosított Data Lake Storage Gen2-adatokkal való interakcióhoz. A technikák közé tartozik a kiszolgáló nélküli elemzés, a tudásbányászat, a tartományok közötti adategyesítés és a végfelhasználói adatok feltárása.
Az e-kereskedelmi vállalatok beállítása adattárház bevezetésére a műveleteik optimalizálása érdekében.
Ez a megoldás nem ajánlott a következő célokra:
Egy éven belül 1 TB-ra > becsült adattárházak zöldmezős üzembe helyezése.
Az 1 TB-os vagy a tervezett méretre tervezett helyszíni adattárházak > migrálása egy éven belül.
Considerations
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.
Erre a forgatókönyvre az alábbi szempontok vonatkoznak.
Elérhetőség
Az SQL Database egy PaaS-szolgáltatás, amely megfelel a magas rendelkezésre állási (HA) és vészhelyreállítási (DR) követelményeknek. Mindenképpen válassza ki a követelményeknek megfelelő termékváltozatot. Útmutatásért tekintse meg az Azure SQL Database magas rendelkezésre állását.
Operations
Az SQL Database az SQL Server Management Studio (SSMS) használatával fejleszti és karbantartja az örökölt összetevőket, például a tárolt eljárásokat.
Költségoptimalizálás
A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.
Az Azure díjszabási kalkulátorában egy SMB-adatraktározási forgatókönyv díjszabási mintáját tekinti meg. Módosítsa az értékeket, hogy lássa, a követelmények hogyan befolyásolják a költségeket.
Az SQL Database a kiválasztott számítási és szolgáltatási szintekre, valamint a virtuális magok és az adatbázis-tranzakciós egységek (DTU-k) számára alapozza a költségeket. A példa egyetlen, kiépített számítási és nyolc virtuális maggal rendelkező adatbázist mutat be azon feltételezés alapján, hogy tárolt eljárásokat kell futtatnia az SQL Database-ben.
A Data Lake Storage Gen2 díjszabása a tárolt adatok mennyiségétől és az adatok használatának gyakoriságától függ. A minta díjszabása 1 TB tárolt adatot tartalmaz, további tranzakciós feltételezésekkel. Az 1 TB a data lake méretére vonatkozik, nem az eredeti régi adatbázis méretére.
Az Azure Synapse-folyamatok az adatfolyam-tevékenységek száma, az integrációs futásidejű órák, az adatfolyam-fürt mérete, valamint a végrehajtási és üzemeltetési költségek alapján számolják el a költségeket. A folyamat költségei további adatforrásokkal és feldolgozott adatok mennyiségével növekednek. A példa azt feltételezi, hogy egy azure-beli integrációs modulban óránként 15 percig kötegelve van egy adatforrás.
Az Azure Synapse Spark-készlet a csomópont méretére, a példányok számára és az üzemidőre alapozza a díjszabást. A példa egy kis számítási csomópontot feltételez, amely heti öt órát és havi 40 órát használ.
Az Azure Synapse kiszolgáló nélküli SQL-készlete a feldolgozott adatok TB-jeire alapozza a díjszabást. A minta 50, havonta feldolgozott TB-t feltételez. Ez az ábra a data lake méretét jelenti, nem az eredeti örökölt adatbázisméretet.
Az Event Hubs számlái a szint, a kiosztott átviteli egységek és a bejövő forgalom alapján. A példa egy átviteli egységet feltételez a Standard szinten több mint egymillió eseményt egy hónapra.
A Stream Analytics a kiépített streamelési egységek száma alapján alapozza a költségeket. A minta egy, a hónap során használt streamelési egységet feltételez.
Közreműködők
Ezt a cikket a Microsoft frissíti és karbantartja. Eredetileg a következő közreműködők írták.
Fő szerző:
- Galina Polyakova | Vezető felhőmegoldás-tervező
További lépések
- A betanítási tartalmakat és tesztkörnyezeteket a adatmérnök Tanulás Elérési utak című témakörben talál.
- Oktatóanyag: Az Azure Synapse Analytics használatának első lépései
- Egyetlen adatbázis létrehozása – Azure SQL Database
- Tárfiók létrehozása az Azure Data Lake Storage Gen2-hez
- Azure Event Hubs – Rövid útmutató – Eseményközpont létrehozása az Azure Portal használatával
- Rövid útmutató – Stream Analytics-feladat létrehozása az Azure Portal használatával
- Rövid útmutató: Az Azure Machine Tanulás használatának első lépései