Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, az alternatív szolgáltatásokat, a megvalósítási szempontokat vagy a díjszabással kapcsolatos útmutatást, tudassa velünk a GitHub visszajelzésével.
A logikai adattárház (LDW) minta egy egyszerű virtualizált relációs réteget helyez el a data lake-ben vagy adatbázisban tárolt adatokra. Ez a virtualizálási réteg adatáthelyezés nélkül biztosít adattárház-hozzáférést. Ez a megoldás kombinálhatja az online tranzakciófeldolgozási (OLTP-) adatokat a data lake-ekből származó elemzési adatokkal az üzleti intelligencia (BI) és az elemzési számítási feladatok kiszolgálásának alacsony összetettsége és kis késésű módja érdekében.
Az Apache Spark™ az Apache Software Foundation védjegye a Egyesült Államok és/vagy más országokban/régiókban. Az Apache Software Foundation nem támogatja ezt a jelölést.
Architektúra
Töltse le a cikk összes diagramját bemutató PowerPoint-fájlt .
Adatfolyam
Azure Data Factory a forrásrendszerekből származó adatokat integrálja a vállalati adattóba.
Az eszköz- és érzékelőadatok a peremeszközökről is streamelnek a felhőbe Azure IoT Hub keresztül. Az Azure Stream Analytics feldolgozza az adatokat, és elküldi azokat a vállalati data lake-nek.
Azure Synapse kiszolgáló nélküli SQL-készletek olyan LDW-t határoznak meg, amely a Azure Synapse munkaterület kiszolgáló nélküli SQL-készletének igény szerinti végpontján keresztül elérhető logikai táblákat és nézeteket tartalmaz.
Azure Synapse Link az Azure Cosmos DB-hez valós idejű tranzakciós adatokat kér le a Azure Synapse kiszolgáló nélküli SQL-készleteken keresztül. Ezek az adatok a nagyvállalati data lake-ből származó ritka elérésű kötegelt és gyakori elérésű streamelési adatokkal csatlakoznak a logikai nézetek létrehozásához.
A jelentéskészítési, BI- és egyéb elemzési alkalmazások a Azure Synapse munkaterület kiszolgáló nélküli SQL-végpontjának használatával férnek hozzá az LDW-adatokhoz és -nézetekhez.
Megjegyzés
A Azure Synapse munkaterület kiszolgáló nélküli SQL-végpontja bármely olyan eszközről vagy szolgáltatásból elérhető, amely támogatja a táblázatos adatfolyam -kapcsolatokat SQL Server.
Összetevők
- Azure Synapse Analytics egy korlátlan elemzési szolgáltatás, amely egyesíti az adatintegrációt, a vállalati adattárházat és a big data-elemzést.
- Azure Synapse kiszolgáló nélküli SQL-készletek A T-SQL és a kiszolgáló nélküli igény szerinti SQL-végpontok használatával kérdezik le a data lake-eket.
- Azure Synapse Link az Azure Cosmos DB-hez az Azure Cosmos DB OLTP-adatokat Azure Synapse kiszolgáló nélküli SQL-készletek használatával lekérdezi.
- A Data Factory felhőalapú adatintegrációt és adatfolyam-vezénylést kínál.
- IoT Hub biztonságos és megbízható kommunikációt tesz lehetővé az eszközök internetes hálózata (IoT) alkalmazásai és eszközei között.
- A Stream Analytics kiszolgáló nélküli, valós idejű streamelési elemzési folyamatokat biztosít.
- Azure Data Lake Storage skálázható, költséghatékony felhőtárhelyet kínál.
- Az Azure Cosmos DB egy teljes körűen felügyelt NoSQL-adatbázis modern alkalmazásfejlesztéshez.
Forgatókönyv részletei
Ha egy LDW-t Azure Synapse kiszolgáló nélküli SQL-készletekkel használ, egyetlen T-SQL-lekérdezésben vagy -nézetdefinícióban összekapcsolhatja a ritka elérésű kötegelt adatokat, a gyakori elérésű streamelési adatokat és az élő tranzakciós adatokat.
Ezzel a megoldással elkerülheti az adatok összetett, költséges és késésre hajlamos kinyerési, átalakítási és betöltési (ETL) folyamatokon keresztül történő áthelyezését. Az LDW-koncepció hasonló a data lakehouse-hoz, de a Azure Synapse Analyticsszel rendelkező LDW támogatja a hibrid tranzakciók/elemzési feldolgozás (HTAP) használatát. A HTAP Azure Synapse kiszolgáló nélküli SQL-készleteket használ az Azure Cosmos DB-ben tárolt OLTP-adatok lekérdezéséhez.
A Azure Synapse Analytics LDW kiszolgáló nélküli SQL-készleteken alapul, amelyek az összes Azure Synapse munkaterületen elérhetők. Az OPENROWSET függvény továbbfejlesztett verziója lehetővé teszi, hogy a kiszolgáló nélküli SQL-készletek hozzáférjenek Data Lake Storage adataihoz.
Ez az adathozzáférés lehetővé teszi relációs adatbázis-objektumok, például táblák és nézetek létrehozását a logikai entitásokat, például termékeket, ügyfeleket és értékesítési tranzakciókat képviselő adatfájlok gyűjteményeivel kapcsolatban. A szabványos SQL Server végponttal csatlakozó BI-eszközök dimenziókként és ténytáblákként használhatják ezeket a logikai entitásokat.
Az Azure Cosmos DB-hez készült Azure Synapse Linken keresztül elérhető tranzakciós adattárak, például az Azure Cosmos DB kiterjesztik ezeket a képességeket. Az OLTP-adatok HTAP-architektúra használatával való elérése azonnali frissítéseket biztosít anélkül, hogy zavarnák az élő tranzakciókat.
Minden Azure Synapse munkaterület tartalmaz egy igény szerinti SQL-végpontot. A végpont lehetővé teszi SQL Server rendszergazdáknak és fejlesztőknek, hogy ismerős környezeteket használjanak a kiszolgáló nélküli SQL-készletek Azure Synapse LDW-k használatához.
Az alábbi képernyőképen egy Azure Synapse kiszolgáló nélküli SQL-készlethez csatlakoztatott SQL Server Management Studio (SSMS) látható.
Azure Synapse kiszolgáló nélküli SQL-készletek a következő fájlformátumokat támogatják:
- Tagolt szöveg, például CSV, TSV és TXT
- JSON
- Parquet
Azure Synapse kiszolgáló nélküli SQL-készletek a Delta Lake formátumot is támogatják. Ez a támogatás olyan mintákat tesz lehetővé, mint a sparkos bővítés, az SQL-hez, ahol az Apache Spark-szolgáltatások™, például az Azure Databricks vagy az Apache Spark-készletek Azure Synapse mérnökadatokban válogatott adatkészleteket hoznak létre a data lake-ben. Ahelyett, hogy ezeket az adathalmazokat fizikai adattárházba kellene betöltenie, definiálhat egy LDW-t a data lake-en keresztül, hogy biztosítsa a modell/kiszolgáló réteget a jelentéskészítéshez.
A Azure Synapse kiszolgáló nélküli SQL-készletekkel rendelkező LDW a Data Lakehouse-minta implementációja. Alternatív megoldás a Databricks SQL használata LDW implementálásához. A Databricks SQL azonban nem rendelkezik a Cosmos DB-hez készült Azure Synapse Link HTAP-képességével.
Lehetséges használati esetek
Ez a minta a következő esetekben hasznos:
- Adatraktár-kiszolgáló réteg a BI-hoz és más elemzési használati esetekhez.
- A nyers adatok alkalmi feltárása egy adattóban.
- Költséghatékony adatstreamelés olyan data lake-be, amelyhez nincs szükség saját számítási erőforrásokra az adatok írásához. Egy logikai adatbázistábla, nézet vagy alkalmi T-SQL-lekérdezés azonnal hozzáférhet az adatokhoz a data lake-ből.
- Azonnali hozzáférés az Azure Cosmos DB tranzakciós adataihoz valós idejű összesítési folyamatok létrehozásához vagy a data lake-ben tárolt elemzési adatokhoz való csatlakozáshoz.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Jon Dobrzeniecki | Sr. Cloud Solution Architect
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.
Következő lépések
- Tárolófájlok lekérdezése kiszolgáló nélküli SQL-készlettel a Azure Synapse Analyticsben
- Oktatóanyag: Logikai Data Warehouse létrehozása kiszolgáló nélküli SQL-készlettel
- Mi az az Azure Cosmos DB-hez készült Azure Synapse Link?
- POLARIS: Az elosztott SQL-motor Azure Synapse
- Mi az a Delta Lake?