Azure Synapse Link för Azure Cosmos DB: Användningsfall för analys i nästan realtid

GÄLLER FÖR: Nosql Mongodb Gremlin

Azure Synapse Link för Azure Cosmos DB är en molnbaserad HTAP-funktion (hybridtransaktions- och analysbearbetning) som gör att du kan köra analyser i nära realtid över driftdata. Synapse Link skapar en nära sömlös integrering mellan Azure Cosmos DB och Azure Synapse Analytics.

Du kanske är nyfiken på vilka branschanvändningsfall som kan utnyttja den här molnbaserade HTAP-funktionen för nästan realtidsanalys över driftdata. Här är tre vanliga användningsfall för Azure Synapse Link för Azure Cosmos DB:

  • Analys av leveranskedjan, prognostisering och rapportering
  • Personanpassning i realtid
  • Förebyggande underhåll, avvikelseidentifiering i IOT-scenarier

Kommentar

Azure Synapse Link för Azure Cosmos DB riktar in sig på scenariot där företagsteam vill köra analyser i nära realtid. Dessa analyser körs utan ETL över driftdata som genereras i transaktionsprogram som bygger på Azure Cosmos DB. Detta ersätter inte behovet av ett separat informationslager när det finns traditionella informationslagerkrav som arbetsbelastningshantering, hög samtidighet, beständighetsaggregeringar över flera datakällor.

Kommentar

Synapse Link för Gremlin API är nu i förhandsversion. Du kan aktivera Synapse Link i dina nya eller befintliga diagram med hjälp av Azure CLI. Klicka här om du vill ha mer information om hur du konfigurerar det.

Analys av leveranskedjan, prognostisering och rapportering

Forskningsstudier visar att inbäddning av stordataanalyser i leveranskedjeoperationer leder till förbättringar i leveranstider och effektivitet i leveranskedjan.

Tillverkare registrerar sig för molnbaserade tekniker för att bryta sig ur begränsningar i äldre SYSTEM för företagsresursplanering (ERP) och Supply Chain Management (SCM). Med leveranskedjor som genererar ökande volymer av driftdata varje minut (order, leverans, transaktionsdata) behöver tillverkarna en driftdatabas. Den här driftdatabasen bör skalas för att hantera datavolymerna samt en analysplattform för att komma till en nivå av kontextuell intelligens i realtid för att ligga steget före kurvan.

Följande arkitektur visar kraften i att använda Azure Cosmos DB som den molnbaserade driftdatabasen och Synapse Link i analys av leveranskedjan:

Azure Synapse Link for Azure Cosmos DB in supply chain analytics

Baserat på tidigare arkitektur kan du uppnå följande användningsfall med Synapse Link för Azure Cosmos DB:

  • Förbered och träna förutsägelsepipeline: Generera insikter över driftdata i leveranskedjan med hjälp av maskininlärningsöversättningar. På så sätt kan du sänka lager- och driftkostnaderna och minska leveranstiderna för kunderna.

    Med Synapse Link kan du analysera ändrade driftdata i Azure Cosmos DB utan några manuella ETL-processer. Det sparar dig från ytterligare kostnader, svarstider och driftskomplexitet. Synapse Link gör det möjligt för datatekniker och dataforskare att skapa robusta förutsägelsepipelines:

    • Fråga efter driftdata från Azure Cosmos DB-analysarkivet genom att använda intern integrering med Apache Spark-pooler i Azure Synapse Analytics. Du kan köra frågor mot data i en interaktiv notebook-fil eller schemalagda fjärrjobb utan komplex datateknik.

    • Skapa Maskininlärningsmodeller (ML) med Spark ML-algoritmer och Azure ML-integrering i Azure Synapse Analytics.

    • Skriv tillbaka resultaten efter modellslutsatsningen till Azure Cosmos DB för drift nästan realtidsbedömning.

  • Driftrapportering: Leveranskedjeteam behöver flexibla och anpassade rapporter över realtid, korrekta driftdata. Dessa rapporter krävs för att få en ögonblicksbild av leveranskedjans effektivitet, lönsamhet och produktivitet. Det gör det möjligt för dataanalytiker och andra viktiga intressenter att ständigt omvärdera verksamheten och identifiera områden för att justera för att minska driftskostnaderna.

    Synapse Link för Azure Cosmos DB möjliggör omfattande business intelligence(BI)/rapporteringsscenarier:

    • Fråga driftdata från Azure Cosmos DB-analysarkivet med hjälp av intern integrering med serverlös SQL-pool och fullständig uttrycksfullhet i T-SQL-språket.

    • Modellera och publicera automatisk uppdatering av BI-instrumentpaneler via Azure Cosmos DB via serverlöst STÖD för SQL-pooler för välbekanta BI-verktyg. Till exempel Azure Analysis Services, Power BI Premium osv.

Följande är några riktlinjer för dataintegrering för batch- och strömmande data till Azure Cosmos DB:

  • Batch-dataintegrering och orkestrering: När leveranskedjorna blir mer komplexa måste dataplattformarna i leveranskedjan integreras med olika datakällor och format. Azure Synapse är inbyggt med samma dataintegreringsmotor och funktioner som Azure Data Factory. Med den här integreringen kan datatekniker skapa omfattande datapipelines utan en separat orkestreringsmotor:

  • Integrering och bearbetning av strömmande data: Med tillväxten av industriell IoT (sensorer som spårar tillgångar från "golv till butik", anslutna logistikflottor osv.) genereras en explosion av realtidsdata som genereras på ett strömmande sätt som måste integreras med traditionella långsamma data för att generera insikter. Azure Stream Analytics är en rekommenderad tjänst för strömning av ETL och bearbetning i Azure med en mängd olika scenarier. Azure Stream Analytics stöder Azure Cosmos DB som en intern datamottagare.

Personanpassning i realtid

Återförsäljare måste idag bygga säkra och skalbara e-handelslösningar som uppfyller kraven från både kunder och företag. Dessa e-handelslösningar måste engagera kunder genom anpassade produkter och erbjudanden, bearbeta transaktioner snabbt och säkert och fokusera på uppfyllelse och kundservice. Med Azure Cosmos DB tillsammans med den senaste Synapse Link för Azure Cosmos DB kan återförsäljare generera anpassade rekommendationer för kunder i realtid. De använder inställningar för låg latens och justerbar konsekvens för omedelbara insikter som visas i följande arkitektur:

Azure Synapse Link for Azure Cosmos DB in real-time personalization

Användningsfall för Synapse Link för Azure Cosmos DB:

  • Förbered och träna förutsägelsepipeline: Du kan generera insikter om driftdata i dina affärsenheter eller kundsegment med hjälp av Synapse Spark- och maskininlärningsmodeller. Detta innebär personlig leverans till målkundsegment, prediktiva slutanvändarupplevelser och riktad marknadsföring för att passa dina slutanvändares krav.

Förutsägande underhåll av IOT

Industriella IOT-innovationer har drastiskt minskat stilleståndstiden för maskiner och ökat den totala effektiviteten inom alla branscher. En av dessa innovationer är analys av förutsägande underhåll för maskiner i molnets utkant.

Följande är en arkitektur som utnyttjar de molnbaserade HTAP-funktionerna i Azure Synapse Link för Azure Cosmos DB i IoT-förutsägande underhåll:

Azure Synapse Link for Azure Cosmos DB in IOT predictive maintenance

Användningsfall för Synapse Link för Azure Cosmos DB:

  • Förbered och träna förutsägelsepipeline: Historiska driftdata från IoT-enhetssensorer kan användas för att träna förutsägelsemodeller som avvikelsedetektorer. Dessa avvikelsedetektorer distribueras sedan tillbaka till gränsen för övervakning i realtid. En sådan god loop möjliggör kontinuerlig omträning av prediktiva modeller.

  • Verksamhetsrapportering: Med tillväxten av initiativ för digitala tvillingar samlar företag in stora mängder driftdata från ett stort antal sensorer för att skapa en digital kopia av varje dator. Dessa data driver BI måste förstå trender över historiska data utöver realtidsprogram jämfört med senaste frekventa data.

Exempelscenario: HTAP för Azure Cosmos DB

I nästan ett decennium har Azure Cosmos DB använts av tusentals kunder för verksamhetskritiska program som kräver elastisk skalning, nyckelfärdig global distribution, skrivreplikering i flera regioner för låg svarstid och hög tillgänglighet för både läsningar och skrivningar i sina transaktionsarbetsbelastningar.

I följande lista visas en översikt över de olika arbetsbelastningsmönster som stöds med driftdata med hjälp av Azure Cosmos DB:

  • Realtidsappar och -tjänster
  • Bearbetning av händelseströmmar
  • BI-instrumentpaneler
  • Stordataanalys
  • Maskininlärning

Med Azure Synapse Link kan Azure Cosmos DB inte bara driva transaktionsarbetsbelastningar utan även utföra analytiska arbetsbelastningar i nära realtid över historiska driftdata. Det sker utan ETL-krav och garanterad prestandaisolering från transaktionsarbetsbelastningarna.

Följande bild visar arbetsbelastningsmönster med Hjälp av Azure Cosmos DB: Azure Synapse Link for Azure Cosmos DB workload patterns

Låt oss ta exemplet med ett e-handelsföretag CompanyXYZ med global verksamhet i 20 länder/regioner för att illustrera fördelarna med att välja Azure Cosmos DB som den enda realtidsdatabasen som driver både transaktions- och analyskrav för en lagerhanteringsplattform.

  • CompanyXYZ kärnverksamhet är beroende av lagerhanteringssystemet – därför är tillgänglighet och tillförlitlighet grundläggande krav. Fördelar med att använda Azure Cosmos DB:

    • Tack vare djup integrering med Azure-infrastruktur och transparenta skrivningar i flera regioner, global replikering, ger Azure Cosmos DB branschledande 99,999 % hög tillgänglighet mot regionala avbrott.
  • CompanyXYZ:s partner i leveranskedjan kan finnas på separata geografiska platser, men de kan behöva se en enda vy över produktinventeringen över hela världen för att stödja sin lokala verksamhet. Detta inkluderar behovet av att kunna läsa uppdateringar som gjorts av andra partner i leveranskedjan i realtid. Förutom att kunna göra uppdateringar utan att behöva oroa sig för konflikter med andra partner vid högt dataflöde. Fördelar med att använda Azure Cosmos DB:

    • Med sitt unika protokoll för skrivningar i flera regioner och det spärrfria, skrivoptimerade transaktionsarkivet garanterar Azure Cosmos DB mindre än 10 ms svarstider för både indexerade läsningar och skrivningar i den 99:e percentilen globalt.

    • Hög dataflödesinmatning av både batch- och strömmande dataflöden med realtidsindexering i transaktionslager.

    • Azure Cosmos DB-transaktionslager innehåller ytterligare tre alternativ än de två extremerna med starka och slutliga konsekvensnivåer för att uppnå de tillgänglighets- och prestandaavvägningar som är närmast affärsbehovet.

  • CompanyXYZ:s partner i leveranskedjan har mycket fluktuerande trafikmönster som sträcker sig från hundratals till miljontals begäranden/s och därför måste lagerhanteringsplattformen hantera oväntade trafiktoppar. Fördelar med att använda Azure Cosmos DB:

    • Azure Cosmos DB:s transaktionslager stöder elastisk skalbarhet för lagring och dataflöde med hjälp av horisontell partitionering. Containrar och databaser som konfigurerats i Autopilot-läge kan automatiskt och omedelbart skala det etablerade dataflödet baserat på programmets behov utan att påverka tillgängligheten, svarstiden, dataflödet eller prestandan för arbetsbelastningen globalt.
  • CompanyXYZ måste upprätta en säker analysplattform för att lagra systemomfattande historiska inventeringsdata för att möjliggöra analys och insikter mellan partner, affärsenheter och funktioner i leveranskedjan. Analysplattformen måste möjliggöra samarbete i hela systemet, traditionella BI/rapporteringsanvändningsfall, avancerade analysanvändningsfall och förutsägande intelligenta lösningar över driftinventeringsdata. Fördelar med att använda Synapse Link för Azure Cosmos DB:

    • Genom att använda Azure Cosmos DB-analysarkivet, ett helt isolerat kolumnarkiv, möjliggör Synapse Link inga ETL-analyser (Extract-Transform-Load) i Azure Synapse Analytics mot globalt distribuerade driftdata i stor skala. Affärsanalytiker, datatekniker och dataforskare kan nu använda Synapse Spark eller Synapse SQL på ett samverkande sätt för att köra pipelines för affärsintelligens, analys och maskininlärning i nära realtid utan att påverka prestandan för deras transaktionsarbetsbelastningar i Azure Cosmos DB. Mer information finns i fördelarna med Synapse Link i Azure Cosmos DB .

Nästa steg

Mer information finns i följande dokument: