Azure Synapse Link voor Azure Cosmos DB: Toepassingsscenario’s voor bijna realtime-analyse

VAN toepassing op: SQL api Azure Cosmos DB API voor MongoDb

Azure Synapse Link voor Azure Cosmos DB is een cloudeigen HTAP-functie (Hybrid Transactional and Analytical Processing) waarmee u bijna realtime analyses kunt uitvoeren op operationele gegevens. Synapse Link zorgt voor een naadloze integratie tussen Azure Cosmos DB en Azure Synapse Analytics.

Misschien wilt u weten welke gebruiksgevallen in de branche deze cloudeigen HTAP-mogelijkheid kunnen gebruiken voor bijna realtime analyses van operationele gegevens. Hier volgen drie veelvoorkomende gebruiksgevallen voor Azure Synapse Link voor Azure Cosmos DB:

• Analyse van toeleveringsketens, & rapportage
• Realtime personalisatie
• Voorspellend onderhoud, anomaliedetectie in IOT-scenario's

Analyse van toeleveringsketens, & rapportage

Onderzoek toont aan dat het insluiten big data analyses in toeleveringsketenbewerkingen leidt tot verbeteringen in de leveringstijden van de order-to-cycle en de efficiëntie van de toeleveringsketen.

Fabrikanten maken onboarding van cloud-eigen technologieën om beperkingen van verouderde ErP- (Enterprise Resource Planning) en Supply Chain Management-systemen (SCM) weg te nemen. Met toeleveringsketens die elke minuut steeds meer operationele gegevens genereren (order, verzending, transactiegegevens), hebben fabrikanten een operationele database nodig. Deze operationele database moet worden geschaald om de gegevensvolumes te verwerken, evenals een analytisch platform om een realtime contextuele intelligentie te krijgen om de curve voor te blijven.

De volgende architectuur toont de kracht van het gebruik van Azure Cosmos DB als de operationele clouddatabase en Synapse Link in toeleveringsketenanalyses:

Op basis van de vorige architectuur kunt u de volgende use cases bereiken met Synapse Link voor Azure Cosmos DB:

• Een voorspellende & trainen voorbereiden: Genereer inzichten over de operationele gegevens in de toeleveringsketen met behulp van machine learning wordt vertaald. Op deze manier kunt u de voorraad en operationele kosten verlagen en de bestel- en levertijden voor klanten verlagen.

  Synapse Link kunt u de veranderende operationele gegevens in Azure Cosmos DB handmatige ETL-processen analyseren. Hiermee bespaart u extra kosten, latentie en operationele complexiteit. Synapse Link stelt data engineers en gegevenswetenschappers in staat om robuuste voorspellende pijplijnen te bouwen:

  • Query's uitvoeren op operationele Azure Cosmos DB analytische opslag door gebruik te maken van systeemeigen integratie met Apache Spark-pools in Azure Synapse Analytics. U kunt query's uitvoeren op de gegevens in een interactief notebook of geplande externe taken zonder complexe data engineering.

  • Bouw Machine Learning (ML)-modellen met Spark ML-algoritmen en Azure ML-integratie in Azure Synapse Analytics.

  • Schrijf de resultaten na modeldeferentie terug naar Azure Cosmos DB voor operationele scores in bijna realtime.

• Operationele rapportage: Toeleveringsketenteams hebben flexibele en aangepaste rapporten nodig voor realtime, nauwkeurige operationele gegevens. Deze rapporten zijn vereist om een momentopname van de effectiviteit, winstgevendheid en productiviteit van de toeleveringsketen te verkrijgen. Hiermee kunnen gegevensanalisten en andere belangrijke belanghebbenden het bedrijf voortdurend opnieuw beoordelen en gebieden identificeren die moeten worden aangepast om de operationele kosten te verlagen.

  Synapse Link voor Azure Cosmos DB biedt uitgebreide business intelligence (BI)/rapportagescenario's:

  • Operationele gegevens opvragen uit Azure Cosmos DB analytische opslag met behulp van systeemeigen integratie met serverloze SQL-pool en volledige expressiviteit van de T-SQL-taal.

  • Automatisch vernieuwen van BI-dashboards modelleren en publiceren via Azure Cosmos DB ondersteuning voor serverloze SQL-pool voor vertrouwde BI-hulpprogramma's. Bijvoorbeeld: Azure Analysis Services, Power BI Premium, enzovoort.

Hier volgen enkele richtlijnen voor gegevensintegratie voor batch-& streaming van gegevens naar Azure Cosmos DB:

• Batch-gegevensintegratie &-orchestration: Omdat toeleveringsketens complexer worden, moeten gegevensplatforms voor toeleveringsketens worden geïntegreerd met verschillende gegevensbronnen en -indelingen. Azure Synapse is ingebouwd met dezelfde engine voor gegevensintegratie en ervaringen als Azure Data Factory. Met deze integratie kunnen data engineers uitgebreide gegevenspijplijnen maken zonder een afzonderlijke orchestration-engine:

  • Verplaats gegevens van meer dan 85 ondersteunde gegevensbronnen naar Azure Cosmos DB met Azure Data Factory.

  • Schrijf ETL-pijplijnen zonder code naar Azure Cosmos DB inclusief relationele naar hiërarchische en hiërarchische naar hiërarchischetoewijzingen met toewijzingsgegevensstromen .

• Integratie van streaminggegevens & verwerking: Met de groei van industriële IoT (sensoren die assets bijhouden van 'floor-to-store', verbonden logistiekparken, enzovoort), is er een explosieve toename van realtime gegevens die worden gegenereerd op een streaming-manier die moet worden geïntegreerd met traditionele traag bewegende gegevens voor het genereren van inzichten. Azure Stream Analytics is een aanbevolen service voor het streamen van ETL en verwerking in Azure met een breed scala aan scenario's. Azure Stream Analytics ondersteunt Azure Cosmos DB als een native gegevenss sink.

Realtime personalisatie

Detailhandelaren moeten tegenwoordig veilige en schaalbare e-commerceoplossingen bouwen die voldoen aan de eisen van zowel klanten als bedrijven. Deze e-commerce-oplossingen moeten klanten betrekken via aangepaste producten en aanbiedingen, transacties snel en veilig verwerken en zich richten op de uitvoering en klantenservice. Azure Cosmos DB de meest recente Synapse Link voor Azure Cosmos DB kunnen detailhandelaren in realtime persoonlijke aanbevelingen genereren voor klanten. Ze gebruiken instellingen voor lage latentie en inseenbare consistentie voor directe inzichten, zoals wordt weergegeven in de volgende architectuur:

Synapse Link voor Azure Cosmos DB use-case:

• Een voorspellende & trainen voorbereiden: U kunt inzichten genereren over de operationele gegevens in uw bedrijfseenheden of klantsegmenten met behulp van Synapse Spark en machine learning modellen. Dit vertaalt zich in gepersonaliseerde levering aan doelklantsegmenten, voorspellende ervaringen voor eindgebruikers en gerichte marketing om aan de vereisten van uw eindgebruikers te voldoen.

Voorspellend IOT-onderhoud

Industriële IOT-innovaties hebben een aanzienlijk lagere downtime van machines en hebben de algehele efficiëntie in alle bedrijfstakken verhoogd. Een van deze innovaties is analyse van voorspellend onderhoud voor machines aan de rand van de cloud.

Hier volgt een architectuur die gebruik maakt van de cloudeigen HTAP-mogelijkheden van Azure Synapse Link voor Azure Cosmos DB in IoT predictief onderhoud:

Synapse Link voor Azure Cosmos DB use cases:

• Een voorspellende & trainen voorbereiden: De historische operationele gegevens van IoT-apparaatsensoren kunnen worden gebruikt om voorspellende modellen zoals anomaliedetectoren te trainen. Deze afwijkingsdetectoren worden vervolgens weer op de rand geïnstalleerd voor realtime-bewaking. Een dergelijke opwaartse lus maakt continue hertraining van de voorspellende modellen mogelijk.

• Operationele rapportage: Met de groei van digital twin-initiatieven verzamelen bedrijven enorme hoeveelheden operationele gegevens van een groot aantal sensoren om een digitale kopie van elke computer te bouwen. Met deze gegevens moet BI inzicht krijgen in trends in historische gegevens, naast realtime toepassingen voor recente hot data.

Voorbeeldscenario: HTAP voor Azure Cosmos DB

Al bijna tien jaar wordt Azure Cosmos DB door duizenden klanten gebruikt voor bedrijfskritieke toepassingen waarvoor elastisch schalen, gebruiksklare wereldwijde distributie, schrijfreplicatie voor meerdere regio's voor lage latentie en hoge beschikbaarheid van beide lees- &-schrijfaanvragen in hun transactionele workloads nodig zijn.

In de volgende lijst ziet u een overzicht van de verschillende workloadpatronen die worden ondersteund met operationele gegevens met behulp van Azure Cosmos DB:

• Realtime-apps & services
• Verwerken van gebeurtenisstromen
• BI-dashboards
• Big data-analyse
• Machine learning

met Azure Synapse Link Azure Cosmos DB u niet alleen transactionele workloads aan, maar kunt u ook bijna realtime analytische workloads uitvoeren op historische operationele gegevens. Dit gebeurt zonder ETL-vereisten en gegarandeerde prestatie-isolatie van de transactionele workloads.

In de volgende afbeelding ziet u workloadpatronen met behulp Azure Cosmos DB:

Laten we het voorbeeld nemen van een e-commercebedrijf CompanyXYZ met wereldwijde activiteiten in 20 landen/regio's om de voordelen te illustreren van het kiezen van Azure Cosmos DB als de enige realtime database die zowel transactionele als analytische vereisten van een voorraadbeheerplatform mogelijk maakt.

• De core business van CompanyXYZ is afhankelijk van het voorraadbeheersysteem. Beschikbaarheid & betrouwbaarheid zijn belangrijke pijlervereisten. Voordelen van het gebruik Azure Cosmos DB:

  • Dankzij de diepe integratie met de Azure-infrastructuur en transparante schrijfinvoer voor meerdere regio's, wereldwijde replicatie, biedt Azure Cosmos DB toonaangevende hoge beschikbaarheid van 99,999% ten opzichte van regionale uitval.

• De toeleveringsketenpartners van CompanyXYZ bevinden zich mogelijk op afzonderlijke geografische locaties, maar ze moeten mogelijk één weergave van de productinventaris over de hele wereld zien ter ondersteuning van hun lokale activiteiten. Dit omvat de noodzaak om updates van andere toeleveringsketenpartners in realtime te kunnen lezen. U kunt ook updates doorvoeren zonder dat u zich zorgen hoeft te maken over conflicten met andere partners bij een hoge doorvoer. Voordelen van het gebruik Azure Cosmos DB:

  • Dankzij het unieke replicatieprotocol voor schrijfreplicatie in meerdere regio's en een vergrendelingsvrije, voor schrijven geoptimaliseerde transactionele opslag, garandeert Azure Cosmos DB een latentie van minder dan 10 ms voor zowel geïndexeerde lees- als schrijftransacties in het 99e percentiel wereldwijd.

  • Opname van hoge doorvoer van beide batch-& streaminggegevensfeeds met realtime indexering in transactionele opslag.

  • Azure Cosmos DB transactionele opslag biedt drie extra opties dan de twee uitersten van sterke en uiteindelijke consistentieniveaus om de beschikbaarheid versus de prestaties zo dicht mogelijk bij de bedrijfse behoefte te bereiken.

• De toeleveringsketenpartners van CompanyXYZ hebben zeer fluctuerende verkeerspatronen, variërend van honderden tot miljoenen aanvragen/s, waardoor het voorraadbeheerplatform te maken moet krijgen met onverwachte burstiness in het verkeer. Voordelen van het gebruik Azure Cosmos DB:

  • Azure Cosmos DB transactionele opslag biedt ondersteuning voor elastische schaalbaarheid van opslag en doorvoer met behulp van horizontale partitionering. Containers en databases die zijn geconfigureerd in de Autopilot-modus kunnen de ingerichte doorvoer automatisch en direct schalen op basis van de behoeften van de toepassing, zonder dat dit van invloed is op de beschikbaarheid, latentie, doorvoer of prestaties van de workload wereldwijd.

• CompanyXYZ moet een beveiligd analyseplatform opzetten voor het opslaan van systeembrede historische inventarisgegevens om analyses en inzichten mogelijk te maken voor toeleveringsketenpartner, bedrijfseenheden en functies. Het analyseplatform moet samenwerking tussen het systeem, traditionele BI-/rapportagegebruiksgevallen, geavanceerde analysegebruiksgevallen en voorspellende intelligente oplossingen voor de operationele inventarisgegevens mogelijk maken. Voordelen van het gebruik Synapse Link voor Azure Cosmos DB:

  • Door gebruik te Azure Cosmos DBanalytische opslag , een volledig geïsoleerde kolomopslag, maakt Synapse Link geen ETL-analyse (Extract-Transform-Load) mogelijk in Azure Synapse Analytics ten opzichte van wereldwijd gedistribueerde operationele gegevens op schaal. Bedrijfsanalisten, data engineers en gegevenswetenschappers kunnen synapse Spark of Synapse SQL nu op een interoperabele manier gebruiken om bijna realtime business intelligence-, analyse- en machine learning-pijplijnen uit te voeren zonder de prestaties van hun transactionele workloads op Azure Cosmos DB. Bekijk de voordelen van Synapse Link in Azure Cosmos DB voor meer informatie.

Volgende stappen

Zie de volgende documenten voor meer informatie:

• Azure Synapse Link voor Azure Cosmos DB

• Analytische opslag van Azure Cosmos DB

• Werken met Azure Synapse Link voor Azure Cosmos DB

• Veelgestelde vragen over Azure Synapse Link voor Azure Cosmos DB

• Apache Spark in Azure Synapse Analytics

• Ondersteuning voor runtime van serverloze SQL-pool in Azure Synapse Analytics