Mi az az Azure Cosmos DB-hez készült Azure Synapse Link?

A következőkre vonatkozik: SQL API Azure Cosmos db API a MongoDB

Azure Synapse Link for Azure Cosmos DB egy natív felhőbeli hibrid tranzakciós és analitikai feldolgozási (HTAP) képesség, amellyel közel valós idejű elemzéseket futtathat a felhőben található Azure Cosmos DB. Azure Synapse Link szorosan zökkenőmentes integrációt hoz létre a Azure Cosmos DB és Azure Synapse Analytics.

Az Azure Cosmos DB Azure SynapseLink egy teljes mértékben elkülönített oszloptárolót, az elemzési tárolót használva nem tesz lehetővé kinyerési-átalakítási-betöltési (ETL) elemzést Azure Synapse Analytics a nagy léptékű operatív adatokon. Az üzleti elemzők, adatmérnökök és adattudósok mostantól a Synapse Spark vagy Synapse SQL felcserélhető használatával közel valós idejű üzleti intelligenciát, elemzést és gépi tanulási folyamatot futtatnak. Mindez a tranzakciós számítási feladatok teljesítményének csökkenése nélkül érhető el az Azure Cosmos DB-n.

Az alábbi képen a Azure Synapse Link integrációja látható Azure Cosmos DB és Azure Synapse Analytics:

Architektúradiagram Azure Synapse Analytics integrációhoz a Azure Cosmos DB

Előnyök

A nagy méretű operatív adatkészletek elemzéséhez és a kritikus fontosságú tranzakciós számítási feladatok teljesítményére gyakorolt hatás minimalizálásához hagyományosan az Azure Cosmos DB-ban található működési adatokat kinyerik és feldolgoznak az extract-transform-load (ETL) folyamatok. Az ETL-folyamatokhoz számos adatátmozgatási rétegre van szükség, ami sokkal összetettebbé teszi a működést, és hatással van a tranzakciós számítási feladatok teljesítményére. Emellett növeli a késést a működési adatoknak a forrástól való elemzéséhez.

A hagyományos ETL-alapú megoldásokhoz képest a Azure Synapse Link for Azure Cosmos DB számos előnyt kínál, például:

Csökkentett összetettség ETL-feladatok nélkül

Azure Synapse Link lehetővé teszi, hogy összetett adatátmozgatás Azure Cosmos DB Azure Synapse Analytics nélkül közvetlenül hozzáfér Azure Synapse Analytics elemzési tárolóhoz. Az operatív adatokon történt frissítések közel valós időben láthatók az elemzési tárolóban ETL- vagy változáscsatorna-feladatok nélkül. Nagy léptékű elemzéseket futtathat elemzési táran, Azure Synapse Analytics adatátalakítás nélkül.

Közel valós idejű elemzések az üzemeltetési adatokról

Mostantól közel valós időben kaphat gazdag elemzési adatokat az operatív adatokról a Azure Synapse Link használatával. Az ETL-alapú rendszerek általában nagyobb késéssel elemzik az operatív adatokat, mivel az operatív adatok kinyeréséhez, átalakításához és betöltéséhez számos réteg szükséges. Az elemzési Azure Cosmos DB és a Azure Synapse Analytics natív integrációjával közel valós időben elemezheti az operatív adatokat, így új üzleti forgatókönyveket is lehetővé téve.

Nincs hatással az üzemeltetési számítási feladatokra

A Azure Synapse Link használatával elemzési lekérdezéseket futtathat egy Azure Cosmos DB elemzési tárolón (egy külön oszloptárolón), míg a tranzakciós műveletek feldolgozása a tranzakciós számítási feladathoz (soralapú tranzakciós tároló) kiépített átviteli sebesség használatával történik. Az elemzési számítási feladat a tranzakciós számítási feladat forgalmától függetlenül lesz kiszolgálva anélkül, hogy az operatív adatokhoz szükséges átviteli sebességet felfogja.

Nagy léptékű elemzési számítási feladatokhoz optimalizálva

Azure Cosmos DB elemzési tároló úgy van optimalizálva, hogy skálázhatóságot, rugalmasságot és teljesítményt nyújtson az elemzési számítási feladatokhoz anélkül, hogy a számítási feladatok futási időtől függenének. A tárolási technológia saját maga kezeli az elemzési számítási feladatok optimalizálását. A tárolási réteghez való beépített Azure Synapse Analytics a tárolási réteg egyszerűséget és nagy teljesítményt biztosít.

Költséghatékony.

A Azure Synapse Link használatával költségoptimalált, teljes körűen felügyelt megoldást kaphat az üzemeltetési elemzésekhez. Kiküszöböli a hagyományos ETL-folyamatokban az operatív adatok elemzéséhez szükséges további tárolási és számítási rétegeket.

Azure Cosmos DB elemzési tár egy használatalapú díjszabási modellt követ, amely az adattároláson, az elemzési olvasási/írási műveleteken és a végrehajtott lekérdezésen alapul. Ehhez nem szükséges átviteli sebességet kiépítenünk, ahogy jelenleg is a tranzakciós számítási feladatok esetében. Az adatok rendkívül rugalmas számítási motorokkal való elérése Azure Synapse Analytics teszi a tárolás és a számítás futtatásának teljes költségét.

Helyileg elérhető, globálisan elosztott, többrétű írások elemzése

Az elemzési lekérdezéseket hatékonyan futtathatja a lekérdezésekben található adatok legközelebbi regionális Azure Cosmos DB. Azure Cosmos DB a legaktikusabb képességet biztosítja a globálisan elosztott elemzési számítási feladatok, valamint a tranzakciós számítási feladatok aktív-aktív futtatására.

HTAP-forgatókönyvek engedélyezése a működési adatokhoz

Synapse Link elemzési Azure Cosmos DB elemzési Azure Synapse támogatásával egyesíti az elemzési tárolót. Ez az integráció lehetővé teszi natív HTAP-megoldások (hibrid tranzakciós/analitikai feldolgozás) felépítését, amelyek a nagy méretű adatkészletek működési adatainak valós idejű frissítései alapján hoznak létre elemzéseket. Új üzleti forgatókönyveket old fel, amelyek élő trendek alapján küldenek riasztásokat, közel valós idejű irányítópultokat és felhasználói viselkedésen alapuló üzleti felületeket hoznak létre.

Azure Cosmos DB elemzési tároló

Azure Cosmos DB elemzési tároló az operatív adatok oszloporientált ábrázolása a Azure Cosmos DB. Ez az elemzési tároló nagy méretű operatív adatkészletek gyors és költséghatékony lekérdezéséhez alkalmas anélkül, hogy átmásolja az adatokat, és befolyásolta volna a tranzakciós számítási feladatok teljesítményét.

Az elemzési tár a tranzakciós számítási feladatok nagy gyakoriságú beszúrásokat, frissítéseket és törléseket használ szinte valós időben, a szolgáltatás teljes mértékben felügyelt képességeként ("automatikus szinkronizálás") Azure Cosmos DB. Nincs szükség változáscsatornára vagy ETL-re.

Ha globálisan elosztott fiókkal Azure Cosmos DB, miután engedélyezi az elemzési tárolót egy tárolóhoz, az a fiók minden régiójában elérhető lesz. Az elemzési tárolóval kapcsolatos további információkért lásd az elemzési Azure Cosmos DB áttekintését ismertető cikket.

Integráció a Azure Synapse Analytics

A Synapse Link mostantól közvetlenül csatlakozhat a Azure Cosmos DB-tárolókhoz a Azure Synapse Analytics és külön összekötők nélkül férhet hozzá az elemzési tárolóhoz. Azure Synapse Analytics jelenleg támogatja Synapse Link Synapse-Apache Spark kiszolgáló nélküli SQL-készletben való használatot.

Az elemzési tára Azure Cosmos DB lekérdezheti az adatokat, a különböző elemzési futási idők közötti, a Azure Synapse Analytics. Az operatív adatok elemzéséhez nincs szükség további adatátalakításra. Az elemzési adattár adatait a következő használatával lehet lekérdezni és elemezni:

  • Synapse Apache Spark Scala, Python, SparkSQL és C# teljes körű támogatásával. A Synapse Spark központi szerepet bevesz az adatmérnöki és adattudományi forgatókönyvekben

  • Kiszolgáló nélküli SQL-készlet T-SQL nyelvvel és a jól ismert BI-eszközök (például Power BI Premium stb.) támogatásával

Megjegyzés

A Azure Synapse Analytics elemzési és tranzakciós tárolókhoz is hozzáférhet a Azure Cosmos DB tárolóban. Ha azonban nagy léptékű elemzést vagy vizsgálatot szeretne futtatni az operatív adatokon, javasoljuk, hogy elemzési tárolót használjon a tranzakciós számítási feladatok teljesítményére gyakorolt hatás elkerülése érdekében.

Megjegyzés

Alacsony késésű elemzéseket futtathat egy Azure-régióban, ha csatlakoztatja a Azure Cosmos DB-tárolót az ebben a régióban található Synapse-runtime-hoz.

Ez az integráció a következő HTAP-forgatókönyveket teszi lehetővé a különböző felhasználók számára:

  • Egy BI-mérnök, aki egy Power BI-jelentést szeretne modellként és közzétenni, hogy közvetlenül a Azure Cosmos DB hozzáfér a Synapse SQL.

  • Egy adatelemző, aki elemzéseket szeretne kihozni egy Azure Cosmos DB-tároló működési adataiból az Synapse SQL-val való lekérdezéssel, nagy méretekben szeretné olvasni az adatokat, és ezeket az eredményeket más adatforrásokkal kombinálni.

  • Egy adattudós, aki a Synapse Spark használatával keres egy funkciót, amely tovább javítja a modellt, és összetett adattervezés nélkül betanítja azt. A modell bejegyzésének eredményeit a Spark Synapse-on Azure Cosmos DB adatok valós idejű pontozására is kiírhatja.

  • Egy adatmérnök, aki az adatokat a felhasználók számára szeretné elérhetővé tenni azáltal, hogy manuális ETL-folyamatok nélkül hoz létre SQL- vagy Spark-táblákat Azure Cosmos DB tárolókban.

További információ a Azure Synapse Analytics támogatásához szükséges Azure Cosmos DB: Azure Synapse Analytics a Cosmos DB támogatásához.

Synapse Link következő esetekben ajánlott a használata:

  • Ha Ön egy Azure Cosmos DB, és elemzéseket, bi-adatokat és gépi tanulást szeretne futtatni az operatív adatokon. Ilyen esetekben a Synapse Link integráltabb elemzési élményt biztosít anélkül, hogy ez hatással lenne a tranzakciós tároló kiépített átviteli sebességére. Például:

    • Ha elemzéseket vagy ÜZLETI adatokat futtat a Azure Cosmos DB az operatív adatokat közvetlenül külön összekötők használatával, vagy

    • Ha ETL-folyamatokat futtat a működési adatok külön elemzési rendszerbe való kinyerését.

Ilyen esetekben a Synapse Link integráltabb elemzési élményt biztosít anélkül, hogy ez hatással lenne a tranzakciós tároló kiépített átviteli sebességére.

Synapse Link használata nem ajánlott, ha olyan hagyományos adattárház-követelményeket keres, mint a magas egyidejűség, a számítási feladatok kezelése és az összesítések több adatforráson való állandósága. További információkért tekintse meg az Azure Synapse Link for Azure Cosmos DB gyakori forgatókönyveket.

Korlátozások

  • Az Azure Cosmos DB-hez készült Azure Synapse Link támogatott az SQL API-k és a MongoDB-hez készült Azure Cosmos DB API esetében. A Gremlin API, a Cassandra API és a Table API.

  • Az elemzési tároló csak új tárolókhoz engedélyezhető. Ha az elemzési tárolót meglévő tárolókhoz használja, migrálja az adatokat a meglévő tárolókból az új tárolókba a Azure Cosmos DB migrálási eszközökkel. Engedélyezheti a Synapse Link új és meglévő Azure Cosmos DB fiókokon.

  • Az elemzési tárat bekapcsolt tárolók esetén az adatok automatikus biztonsági mentése és visszaállítása az elemzési tárolóban jelenleg nem támogatott. Ha Synapse Link engedélyezve van egy adatbázisfiókban, a Azure Cosmos DB továbbra is automatikusan biztonsági másolatot készít a tárolók tranzakciós tárolóiban tárolt adatairól az ütemezett biztonsági mentési időközzel, ahogy mindig. Fontos megjegyezni, hogy ha egy olyan tárolót ad vissza egy új fiókba, amelybe be van kapcsolva az elemzési tároló, akkor a tároló csak tranzakciós tárolóval lesz visszaállva, és nincs engedélyezve az elemzési tároló.

  • A Azure Cosmos DB elemzési Synapse SQL kiépítése jelenleg nem érhető el.

Biztonság

Synapse Link segítségével közel valós idejű elemzéseket futtathat a kritikus fontosságú adatokon a Azure Cosmos DB. Rendkívül fontos, hogy a kritikus fontosságú üzleti adatok biztonságosan tárolódnak a tranzakciós és az elemzési tárolókban is. Azure Synapse Link for Azure Cosmos DB a következő funkciókkal segít megfelelni ezeknek a biztonsági követelményeknek:

  • Hálózatelszigetelés privát végpontok használatával – A tranzakciós és elemzési tárolókban lévő adatok hálózati hozzáférését egymástól függetlenül szabályozhatja. A hálózatelszigetelés külön felügyelt privát végpontok használatával történik az egyes tárolókhoz, a felügyelt virtuális hálózatokon belül a Azure Synapse munkaterületeken. További tudnivalókért tekintse meg a Privát végpontok konfigurálása elemzési tárolóhoz cikket.

  • Adattitkosítás ügyfél által kezelt kulcsokkal – Automatikusan és átlátható módon, zökkenőmentesen titkosíthatja az adatokat a tranzakciós és elemzési tárolókban ugyanazokkal az ügyfél által kezelt kulcsokkal. További tudnivalókért lásd az ügyfél által kezelt kulcsok konfigurálásról való cikkét.

  • Biztonságos kulcskezelés – Az elemzési tárolóban lévő adatok Synapse Sparkból és kiszolgáló nélküli Synapse SQL-készletekből való eléréséhez Azure Cosmos DB kulcsokat kell Synapse Analytics munkaterületeken. Ahelyett, hogy a Azure Cosmos DB Spark-feladatokban vagy SQL-szkriptekben beágyazott fiókkulcsokat használ, a Azure Synapse Link biztonságosabb képességeket biztosít.

    • Kiszolgáló nélküli Synapse SQL-készletek használata esetén lekérdezheti az Azure Cosmos DB elemzési tárolót úgy, hogy előre létrehozza a fiókkulcsokat tároló SQL-hitelesítő adatokat, és ezekre hivatkozik a OPENROWSET függvényben. További információ: Lekérdezés kiszolgáló nélküli SQL-készlet használatával a Azure Synapse Link című cikkben.

    • A Synapse Spark használata esetén a fiókkulcsokat egy Azure Cosmos DB-adatbázisra hivatkozó csatolt szolgáltatásobjektumban tárolhatja, és a Spark-konfigurációban hivatkozhat rá futásidőben. További információ: Adatok másolása dedikált SQL-készletbe az Apache Spark használatával.

Díjszabás

A Azure Synapse Link számlázási modellje tartalmazza a Azure Cosmos DB elemzési tároló és a Synapse-futtatás használatával felmerült költségeket. További tudnivalókért tekintse meg az elemzési Azure Cosmos DB és díjszabását Azure Synapse Analytics cikkeket.

Következő lépések

További tudnivalókért tekintse meg a következő dokumentumokban: