Azure Synapse Link voor Azure Cosmos DB: Toepassingsscenario’s voor bijna realtime-analyse
VAN TOEPASSING OP: 
Nosql MongoDB Gremlin
Azure Synapse Link voor Azure Cosmos DB is een cloudeigen HTAP-mogelijkheid (Hybrid Transactional and Analytical Processing) waarmee u bijna realtime analyses kunt uitvoeren op operationele gegevens. Synapse Link maakt een nauwe naadloze integratie tussen Azure Cosmos DB en Azure Synapse Analytics.
Misschien wilt u weten welke gebruiksscenario's in de branche gebruikmaken van deze cloudeigen HTAP-mogelijkheid voor bijna realtime analyses via operationele gegevens. Hier volgen drie veelvoorkomende gebruiksvoorbeelden voor Azure Synapse Link voor Azure Cosmos DB:
- Analyse van toeleveringsketens, prognoses en rapportage
- Realtime personalisatie
- Voorspellend onderhoud, anomaliedetectie in IOT-scenario's
Notitie
Azure Synapse Link voor Azure Cosmos DB is gericht op het scenario waarin bedrijfsteams bijna realtime analyses willen uitvoeren. Deze analyses worden uitgevoerd zonder ETL over operationele gegevens die worden gegenereerd in transactionele toepassingen die zijn gebouwd op Azure Cosmos DB. Dit vervangt niet de noodzaak van een afzonderlijk datawarehouse wanneer er traditionele datawarehousevereisten zijn, zoals workloadbeheer, hoge gelijktijdigheid, persistentieaggregaties voor meerdere gegevensbronnen.
Notitie
Synapse Link voor Gremlin-API is nu in preview. U kunt Synapse Link inschakelen in uw nieuwe of bestaande grafieken met behulp van Azure CLI. Klik hier voor meer informatie over het configureren ervan.
Analyse van toeleveringsketens, prognoses en rapportage
Onderzoekstudies tonen aan dat het insluiten van big data-analyses in toeleveringsketenbewerkingen leidt tot verbeteringen in leveringstijden van de order-to-cycle en de efficiëntie van de toeleveringsketen.
Fabrikanten onboarden naar cloudtechnologieën om beperkingen van verouderde ERP-systemen (Enterprise Resource Planning) en Supply Chain Management (SCM) uit te breken. Met supply chains die elke minuut steeds grotere hoeveelheden operationele gegevens genereren (order, verzending, transactiegegevens), hebben fabrikanten een operationele database nodig. Deze operationele database moet worden geschaald om de gegevensvolumes en een analytisch platform te verwerken om een realtime contextuele intelligentie te krijgen om de curve voor te blijven.
De volgende architectuur toont de kracht van het gebruik van Azure Cosmos DB als de cloudeigen operationele database en Synapse Link in supply chain analytics:
Op basis van de vorige architectuur kunt u de volgende use cases bereiken met Synapse Link voor Azure Cosmos DB:
Voorspellende pijplijn voorbereiden en trainen: genereer inzichten over de operationele gegevens in de toeleveringsketen met behulp van machine learning-vertaling. Op deze manier kunt u de voorraad, de operationele kosten verlagen en de besteltijden voor klanten verlagen.
Met Synapse Link kunt u de veranderende operationele gegevens in Azure Cosmos DB analyseren zonder handmatige ETL-processen. Het bespaart u op extra kosten, latentie en operationele complexiteit. Met Synapse Link kunnen data engineers en gegevenswetenschappers robuuste voorspellende pijplijnen bouwen:
Query's uitvoeren op operationele gegevens uit de analytische opslag van Azure Cosmos DB door gebruik te maken van systeemeigen integratie met Apache Spark-pools in Azure Synapse Analytics. U kunt query's uitvoeren op de gegevens in een interactief notebook of geplande externe taken zonder complexe data engineering.
Machine Learning-modellen (ML) bouwen met Spark ML-algoritmen en Azure ML-integratie in Azure Synapse Analytics.
Schrijf de resultaten terug na modeldeductie naar Azure Cosmos DB voor operationele bijna realtime scoren.
Operationele rapportage: Supply chain-teams hebben flexibele en aangepaste rapporten nodig in realtime, nauwkeurige operationele gegevens. Deze rapporten zijn vereist om een momentopname te krijgen van de effectiviteit, winstgevendheid en productiviteit van de toeleveringsketen. Hiermee kunnen gegevensanalisten en andere belangrijke belanghebbenden het bedrijf voortdurend opnieuw beoordelen en gebieden identificeren die moeten worden aangepast om de operationele kosten te verlagen.
Synapse Link voor Azure Cosmos DB maakt uitgebreide business intelligence (BI)/rapportagescenario's mogelijk:
Query's uitvoeren op operationele gegevens uit de analytische opslag van Azure Cosmos DB met behulp van systeemeigen integratie met serverloze SQL-pool en volledige expressiviteit van de T-SQL-taal.
Modelleer en publiceer BI-dashboards automatisch vernieuwen via Azure Cosmos DB via serverloze SQL-poolondersteuning voor vertrouwde BI-hulpprogramma's. Bijvoorbeeld Azure Analysis Services, Power BI Premium, enzovoort.
Hier volgen enkele richtlijnen voor gegevensintegratie voor batch- en streaminggegevens in Azure Cosmos DB:
Batchgegevensintegratie en -indeling: Met supplychains die complexer worden, moeten supply chain-gegevensplatforms worden geïntegreerd met verschillende gegevensbronnen en indelingen. Azure Synapse is ingebouwd met dezelfde gegevensintegratie-engine en ervaringen als Azure Data Factory. Met deze integratie kunnen data engineers uitgebreide gegevenspijplijnen maken zonder een afzonderlijke indelingsengine:
Verplaats gegevens van 85+ ondersteunde gegevensbronnen naar Azure Cosmos DB met Azure Data Factory.
Schrijf etl-pijplijnen zonder code naar Azure Cosmos DB, inclusief relationele naar hiërarchische en hiërarchische toewijzingen met toewijzingsgegevensstromen.
Integratie en verwerking van streaminggegevens: Met de groei van Industriële IoT (sensoren die assets volgen van 'floor-to-store', verbonden logistieke vloot, enz.), is er een explosie van realtime gegevens die worden gegenereerd op een streaming-manier die moet worden geïntegreerd met traditionele trage gegevens voor het genereren van inzichten. Azure Stream Analytics is een aanbevolen service voor het streamen van ETL en verwerking in Azure met een breed scala aan scenario's. Azure Stream Analytics ondersteunt Azure Cosmos DB als systeemeigen gegevenssink.
Realtime personalisatie
Retailers moeten tegenwoordig veilige en schaalbare e-commerceoplossingen bouwen die voldoen aan de eisen van zowel klanten als bedrijven. Deze e-commerce-oplossingen moeten klanten benaderen via aangepaste producten en aanbiedingen, transacties snel en veilig verwerken en zich richten op uitvoering en klantenservice. Met Azure Cosmos DB en de nieuwste Synapse Link voor Azure Cosmos DB kunnen detailhandelaren persoonlijke aanbevelingen genereren voor klanten in realtime. Ze maken gebruik van lage latentie en niet-consistente instellingen voor onmiddellijke inzichten, zoals wordt weergegeven in de volgende architectuur:
Synapse Link voor Azure Cosmos DB-use case:
- Voorspellende pijplijn voorbereiden en trainen: u kunt inzichten genereren over de operationele gegevens in uw bedrijfseenheden of klantsegmenten met behulp van Synapse Spark- en machine learning-modellen. Dit vertaalt zich in gepersonaliseerde levering aan klantsegmenten, voorspellende ervaringen van eindgebruikers en gerichte marketing om aan uw behoeften van eindgebruikers te voldoen.
Voorspellend IOT-onderhoud
Industriële IOT-innovaties hebben drastisch de downtime van machines verminderd en de algehele efficiëntie op alle gebieden van de industrie verhoogd. Een van deze innovaties is predictive maintenance analytics voor machines aan de rand van de cloud.
Hier volgt een architectuur die gebruikmaakt van de cloudeigen HTAP-mogelijkheden van Azure Synapse Link voor Azure Cosmos DB in voorspellend onderhoud in IoT:
Synapse Link voor Azure Cosmos DB-gebruiksvoorbeelden:
Voorspellende pijplijn voorbereiden en trainen: de historische operationele gegevens van IoT-apparaatsensoren kunnen worden gebruikt om voorspellende modellen zoals anomaliedetectoren te trainen. Deze afwijkingsdetectoren worden vervolgens weer op de rand geïnstalleerd voor realtime-bewaking. Een dergelijke positieve lus zorgt voor continue hertraining van de voorspellende modellen.
Operationele rapportage: Met de groei van digitale dubbelinitiatieven verzamelen bedrijven enorme hoeveelheden operationele gegevens van een groot aantal sensoren om een digitale kopie van elke machine te bouwen. Deze gegevens kunnen BI gebruiken om trends over historische gegevens te begrijpen, naast realtime-toepassingen ten opzichte van recente dynamische gegevens.
Voorbeeldscenario: HTAP voor Azure Cosmos DB
Azure Cosmos DB is al bijna tien jaar gebruikt door duizenden klanten voor bedrijfskritieke toepassingen die elastisch schalen, kant-en-klare wereldwijde distributie, schrijfreplicatie voor meerdere regio's voor lage latentie en hoge beschikbaarheid van beide lees- en schrijfbewerkingen in hun transactionele workloads vereisen.
In de volgende lijst ziet u een overzicht van de verschillende workloadpatronen die worden ondersteund met operationele gegevens met behulp van Azure Cosmos DB:
- Realtime apps en services
- Verwerken van gebeurtenisstromen
- BI-dashboards
- Analyse van big data
- Machine learning
Met Azure Synapse Link kan Azure Cosmos DB niet alleen transactionele workloads activeren, maar ook bijna realtime analytische workloads uitvoeren op historische operationele gegevens. Dit gebeurt zonder ETL-vereisten en gegarandeerde prestatie-isolatie van de transactionele workloads.
In de volgende afbeelding ziet u workloadpatronen met behulp van Azure Cosmos DB: 
Laten we het voorbeeld nemen van een e-commercebedrijf CompanyXYZ met wereldwijde activiteiten in 20 landen/regio's om de voordelen te illustreren van het kiezen van Azure Cosmos DB als een individuele realtime database die zowel transactionele als analytische vereisten van een voorraadbeheerplatform mogelijk maakt.
De kernactiviteiten van CompanyXYZ zijn afhankelijk van het voorraadbeheersysteem. Beschikbaarheid en betrouwbaarheid zijn daarom kernpijlervereisten. Voordelen van het gebruik van Azure Cosmos DB:
- Door diepgaande integratie met de Azure-infrastructuur en transparante schrijfbewerkingen voor meerdere regio's biedt Azure Cosmos DB toonaangevende 99,999% hoge beschikbaarheid tegen regionale storingen.
De toeleveringsketenpartners van CompanyXYZ kunnen zich op afzonderlijke geografische locaties bevinden, maar ze moeten mogelijk één weergave zien van de productinventaris over de hele wereld om hun lokale activiteiten te ondersteunen. Dit omvat de noodzaak om updates van andere toeleveringsketenpartners in realtime te kunnen lezen. Naast het kunnen bijwerken zonder dat u zich zorgen hoeft te maken over conflicten met andere partners met hoge doorvoer. Voordelen van het gebruik van Azure Cosmos DB:
Met het unieke replicatieprotocol voor meerdere regio's en het vergrendelingsvrije, transactionele archief dat is geoptimaliseerd voor schrijfbewerkingen, garandeert Azure Cosmos DB een latentie van minder dan 10 ms voor zowel geïndexeerde lees- als schrijfbewerkingen op het 99e percentiel wereldwijd.
Hoge doorvoeropname van beide batch- en streaminggegevensfeeds met realtime indexering in transactionele opslag.
Azure Cosmos DB transactionele opslag biedt drie meer opties dan de twee extremen van sterke en uiteindelijke consistentieniveaus om de beschikbaarheid en prestaties te bereiken die het dichtst bij de bedrijfsbehoefte liggen.
De toeleveringsketenpartners van CompanyXYZ hebben zeer fluctuerende verkeerspatronen, variërend van honderden tot miljoenen aanvragen/s, waardoor het voorraadbeheerplatform te maken heeft met onverwachte burstiness in het verkeer. Voordelen van het gebruik van Azure Cosmos DB:
- De transactionele opslag van Azure Cosmos DB ondersteunt elastische schaalbaarheid van opslag en doorvoer met behulp van horizontale partitionering. Containers en databases die zijn geconfigureerd in de Autopilot-modus, kunnen de ingerichte doorvoer automatisch en onmiddellijk schalen op basis van de behoeften van de toepassing, zonder dat dit van invloed is op de beschikbaarheid, latentie, doorvoer of prestaties van de workload wereldwijd.
CompanyXYZ moet een beveiligd analyseplatform opzetten voor het huis van historische inventarisgegevens voor het hele systeem om analyses en inzichten mogelijk te maken voor de toeleveringsketenpartner, bedrijfseenheden en functies. Het analyseplatform moet samenwerking mogelijk maken in het hele systeem, traditionele BI/rapportagegebruiksscenario's, geavanceerde analysegebruiksscenario's en voorspellende intelligente oplossingen via de operationele inventarisgegevens. Voordelen van het gebruik van Synapse Link voor Azure Cosmos DB:
- Met behulp van analytische opslag van Azure Cosmos DB, een volledig geïsoleerd kolomarchief, maakt Synapse Link geen ETL-analyse (Extract-Transform-Load) in Azure Synapse Analytics mogelijk voor wereldwijd gedistribueerde operationele gegevens op schaal. Bedrijfsanalisten, gegevenstechnici en gegevenswetenschappers kunnen nu Synapse Spark of Synapse SQL op een interoperabele manier gebruiken om bijna realtime business intelligence-, analyse- en machine learning-pijplijnen uit te voeren zonder dat dit van invloed is op de prestaties van hun transactionele workloads in Azure Cosmos DB. Zie de voordelen van Synapse Link in Azure Cosmos DB voor meer informatie.
Volgende stappen
Zie de volgende documenten voor meer informatie: