Azure Synapse Link för Azure Cosmos DB: Användningsfall för analys i nästan realtid

GÄLLER för: SQL API Azure Cosmos DB API för MongoDB

Azure Synapse Link för Azure Cosmos DB är en molnbaserad funktion för intern hybridtransaktions- och analysbearbetning (HTAP) som gör att du kan köra analys i nästan realtid över driftdata. Synapse Link skapar en nära sömlös integrering mellan Azure Cosmos DB och Azure Synapse Analytics.

Du kanske är nyfiken på vilka branschanvändningsfall som kan dra nytta av den här molnbaserade HTAP-funktionen för analys i nästan realtid över driftdata. Här är tre vanliga användningsfall för Azure Synapse Link för Azure Cosmos DB:

• Analys av leveranskedjan, & rapportering
• Anpassning i realtid
• Förutsägande underhåll, avvikelseidentifiering i IOT-scenarier

Analys av leveranskedjan, & rapportering

Forskningsstudier visar att inbäddning av stordataanalys i leveranskedjan leder till förbättringar av order-till-cykel-leveranstider och effektivitet i leveranskedjan.

Tillverkare håller på att registrera sig för molnbaserad teknik för att bryta ut från begränsningar i äldre ERP-system (Enterprise Resource Planning) och SCM-system (Supply Chain Management). Med leveranskedjor som genererar ökande mängder driftdata varje minut (order, leverans, transaktionsdata) behöver tillverkare en driftsdatabas. Den här driftdatabasen bör skalas för att hantera datavolymerna samt en analytisk plattform för att få en nivå av kontextuell information i realtid för att ligga steget före kurvan.

Följande arkitektur visar kraften i att använda Azure Cosmos DB som den molnbaserade driftdatabasen och Synapse Link i analys i leveranskedjan:

Baserat på tidigare arkitektur kan du uppnå följande användningsfall med Synapse Link för Azure Cosmos DB:

• Förbered & träna en förutsägelsepipeline: Generera insikter över driftdata i leveranskedjan med hjälp av maskininlärning översätts. På så sätt kan du sänka lager- och driftkostnaderna och minska kundernas order-till-leverans-tider.

  Synapse Link kan du analysera föränderliga driftdata i Azure Cosmos DB utan manuella ETL-processer. Det sparar dig från ytterligare kostnad, svarstid och driftskomplexitet. Synapse Link datatekniker och dataexperter kan skapa robusta förutsägelsepipelines:

  • Fråga driftdata från Azure Cosmos DB analysarkiv genom att utnyttja intern integrering med Apache Spark i Azure Synapse Analytics. Du kan köra frågor mot data i en interaktiv notebook-dator eller schemalagda fjärrjobb utan komplex datateknik.

  • Skapa Machine Learning (ML)-modeller med Spark ML-algoritmer och Azure ML-integrering i Azure Synapse Analytics.

  • Skriv tillbaka resultatet efter modell inferensen till Azure Cosmos DB för bedömning av drift i nära realtid.

• Driftrapportering: Leveranskedjeteam behöver flexibla och anpassade rapporter över korrekta driftdata i realtid. Dessa rapporter krävs för att få en ögonblicksbild av effektiviteten, lönsamheten och produktiviteten i leveranskedjan. Den gör det möjligt för dataanalytiker och andra viktiga intressenter att ständigt omvärdera verksamheten och identifiera områden som kan justeras för att minska driftskostnaderna.

  Synapse Link för Azure Cosmos DB möjliggör omfattande business intelligence (BI)/rapporteringsscenarier:

  • Fråga driftdata från Azure Cosmos DB analysarkiv med hjälp av intern integrering med serverlös SQL-pool och fullständig uttrycksfullhet i T-SQL-språket.

  • Modellera och publicera BI-instrumentpaneler för automatisk uppdatering Azure Cosmos DB via serverlöst SQL-poolstöd för välbekanta BI-verktyg. Till exempel Azure Analysis Services, Power BI Premium osv.

Följande är några riktlinjer för dataintegrering för batch-& strömmande data till Azure Cosmos DB:

• Batch-dataintegrering & orkestrering: När leveranskedjorna blir mer komplexa måste dataplattformarna för leveranskedjan integreras med olika datakällor och format. Azure Synapse är inbyggt med samma dataintegreringsmotor och funktioner som Azure Data Factory. Den här integreringen gör att datatekniker kan skapa omfattande datapipelines utan en separat orkestreringsmotor:

  • Flytta data från över 85 datakällor som stöds till Azure Cosmos DB med Azure Data Factory.

  • Skriv kodfria ETL-pipelines till Azure Cosmos DB inklusive relationella till hierarkiska och hierarkiska-till-hierarkiskamappningar med mappning av dataflöden .

• Direktuppspelande dataintegrering & bearbetning: I och med tillväxten av industriella IoT (sensorer som spårar tillgångar från "golv till butik", anslutna logistikparker osv.) genereras en explosion av realtidsdata som genereras på ett strömmande sätt som måste integreras med traditionella data som rör sig långsamt för att generera insikter. Azure Stream Analytics är en rekommenderad tjänst för direktuppspelning av ETL och bearbetning i Azure med en mängd olika scenarier. Azure Stream Analytics stöder Azure Cosmos DB som en intern data mottagare.

Anpassning i realtid

Dagens återförsäljare måste skapa säkra och skalbara e-handelslösningar som uppfyller kraven från både kunder och företag. Dessa e-handelslösningar måste engagera kunder genom anpassade produkter och erbjudanden, bearbeta transaktioner snabbt och säkert och fokusera på uppfyllelse och kundtjänst. Azure Cosmos DB den senaste versionen Synapse Link för Azure Cosmos DB återförsäljare att generera anpassade rekommendationer för kunder i realtid. De använder inställningar för låg latens och kan ändra konsekvensinställningar för omedelbara insikter, som du ser i följande arkitektur:

Synapse Link för Azure Cosmos DB användningsfall:

• Förbered & träna en förutsägelsepipeline: Du kan generera insikter om driftdata i dina affärsenheter eller kundsegment med hjälp av Synapse Spark och maskininlärningsmodeller. Detta innebär anpassad leverans till kundsegment, prediktiva slutanvändarupplevelser och riktad marknadsföring som passar dina slutanvändares krav.

Förutsägande IOT-underhåll

Industriella IOT-innovationer har drastiskt minskat stilleståndstiden för maskiner och ökat den övergripande effektiviteten i alla branscher. En av dessa innovationer är analys av förutsägande underhåll för maskiner vid gränsen till molnet.

Följande är en arkitektur som utnyttjar de molnbaserade HTAP-funktionerna i Azure Synapse Link för Azure Cosmos DB i förutsägande underhåll i IoT:

Synapse Link för Azure Cosmos DB användningsfall:

• Förbered & träna en förutsägelsepipeline: Historiska driftdata från IoT-enhetssensorer kan användas för att träna förutsägelsemodeller, till exempel avvikelsedetektorer. Dessa avvikelsedetektorer distribueras sedan tillbaka till gränsen för övervakning i realtid. En sådan positiv loop möjliggör kontinuerlig omträning av förutsägelsemodellerna.

• Driftrapportering: Med de digitala tvillinginitiativens tillväxt samlar företag in stora mängder driftdata från ett stort antal sensorer för att skapa en digital kopia av varje dator. Dessa data gör att BI behöver förstå trender över historiska data utöver realtidsprogram över senaste heta data.

Exempelscenario: HTAP för Azure Cosmos DB

I nästan tio år har Azure Cosmos DB använts av tusentals kunder för verksamhetskritiska program som kräver elastisk skalning, nyckelfärdig global distribution, skrivreplikering i flera regioner för låg latens och hög tillgänglighet för både läsningar & skrivningar i sina transaktionsarbetsbelastningar.

I följande lista visas en översikt över de olika arbetsbelastningsmönster som stöds med driftdata med hjälp av Azure Cosmos DB:

• Realtidsappar & tjänster
• Bearbetning av händelseströmmar
• BI-instrumentpaneler
• Stordataanalyser
• Maskininlärning

Azure Synapse Link gör det Azure Cosmos DB att inte bara driva transaktionsarbetsbelastningar utan även utföra analytiska arbetsbelastningar i nära realtid över historiska driftdata. Det sker utan ETL-krav och garanterad prestandaisolering från transaktionsarbetsbelastningarna.

Följande bild visar arbetsbelastningsmönster med hjälp Azure Cosmos DB:

Låt oss ta exemplet med ett e-handelsföretag CompanyXYZ med globala åtgärder i 20 länder/regioner för att illustrera fördelarna med att välja Azure Cosmos DB som en enkel realtidsdatabas som driver både transaktionella och analytiska krav för en plattform för lagerhantering.

• CompanyXYZ kärnverksamhet är beroende av inventeringshanteringssystemet , och därför är tillgängligheten & tillförlitligheten grundläggande krav. Fördelar med att använda Azure Cosmos DB:

  • Tack vare djupgående integrering med Azure-infrastrukturen och transparenta skrivningar i flera regioner, global replikering, ger Azure Cosmos DB branschledande 99,999 % hög tillgänglighet mot regionala avbrott.

• CompanyXYZ:s partner i leveranskedjan kan finnas på olika geografiska platser, men de kan behöva se en enda vy över produktinventeringen över hela världen för att stödja sin lokala drift. Detta omfattar behovet av att kunna läsa uppdateringar som görs av andra partner i leveranskedjan i realtid. Samt att kunna göra uppdateringar utan att behöva oroa sig för konflikter med andra partner vid högt dataflöde. Fördelar med att använda Azure Cosmos DB:

  • Med sitt unika replikeringsprotokoll för skrivningar i flera regioner och ett spärrfritt, skrivoptimerat transaktionslager garanterar Azure Cosmos DB mindre än 10 ms svarstider för både indexerade läsningar och skrivningar i den 99:e percentilen globalt.

  • Dataflödesinmatning av båda batcharna & strömmande datafeeds med realtidsindexering i transaktionslager.

  • Azure Cosmos DB transaktionslager har ytterligare tre alternativ än de två extremvärdena för stark och slutlig konsekvens för att uppnå den tillgänglighet kontra de kompromisser för prestanda som är närmast företagets behov.

• CompanyXYZ:s partner i leveranskedjan har mycket varierande trafikmönster från hundratals till miljontals begäranden och därför måste plattformen för lagerhantering hantera oväntade trafikstörningar. Fördelar med att använda Azure Cosmos DB:

  • Azure Cosmos DB transaktionslager har stöd för elastisk skalbarhet för lagring och dataflöde med horisontell partitionering. Containrar och databaser som konfigureras i Autopilot-läge kan automatiskt och omedelbart skala det etablerade dataflödet baserat på programmets behov utan att påverka arbetsbelastningens tillgänglighet, svarstid, dataflöde eller prestanda globalt.

• CompanyXYZ måste upprätta en säker analysplattform för att lagra systemomfattande historiska inventeringsdata för att möjliggöra analyser och insikter för partner, affärsenheter och funktioner i leveranskedjan. Analysplattformen måste möjliggöra samarbete i hela systemet, traditionella BI-/rapporteringsanvändningsfall, avancerade analysanvändningsfall och förutsägande intelligenta lösningar över driftinventeringsdata. Fördelar med att använda Synapse Link för Azure Cosmos DB:

  • Genom att Azure Cosmos DBett helt isolerat kolumnarkiv i Azure Cosmos DB möjliggör Synapse Link ingen ETL-analys (Extract-Transform-Load) i Azure Synapse Analytics mot globalt distribuerade driftdata i stor skala. Affärsanalytiker, datatekniker och dataexperter kan nu använda Synapse Spark eller Synapse SQL på ett samverkande sätt för att köra pipelines för business intelligence, analys och maskininlärning i nära realtid utan att påverka prestanda för deras transaktionsarbetsbelastningar på Azure Cosmos DB. Se fördelarna med att Synapse Link i Azure Cosmos DB mer information.

Nästa steg

Mer information finns i följande dokument:

• Azure Synapse Link för Azure Cosmos DB

• Azure Cosmos DB-analysarkiv

• Arbeta med Azure Synapse Link för Azure Cosmos DB

• Vanliga frågor och svar om Azure Synapse Link för Azure Cosmos DB

• Apache Spark i Azure Synapse Analytics

• Stöd för serverlös SQL-poolkörning i Azure Synapse Analytics