Oplossingsidee
Als u wilt dat we dit artikel uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsinformatie, laat het ons dan weten met GitHub Feedback!
Krijg eenvoudig inzicht in livestreaminggegevens. Leg continu gegevens vast vanaf een IoT-apparaat of logboeken van clickstreams op de website en verwerken deze in bijna realtime.
Architectuur
Download een SVG van deze architectuur.
Gegevensstroom
- U kunt eenvoudig livestreaminggegevens opnemen voor een toepassing met behulp Azure Event Hubs.
- Breng al uw gestructureerde gegevens samen met behulp van Synapse-pijplijnen naar Azure Blob Storage.
- Profiteer van Apache Spark om de streaminggegevens op te schonen, te transformeren en te analyseren, en combineer deze met gestructureerde gegevens uit operationele databases of datawarehouses.
- Gebruik schaalbare machine learning/deep learning-technieken om meer inzicht te krijgen in deze gegevens met behulp van Python, Scala of .NET, met notebookervaringen in Apache Spark pools.
- Pas Apache Spark-pool en Synapse-pijplijnen toe in Azure Synapse Analytics om gegevens op schaal te openen en te verplaatsen.
- Bouw analysedashboards en ingesloten rapporten in toegewezen SQL-pool om inzichten te delen binnen uw organisatie en gebruik Azure Analysis Services om deze gegevens aan duizenden gebruikers te bieden.
- Neem de inzichten uit de Apache Spark naar Cosmos DB om ze toegankelijk te maken via realtime-apps.
Onderdelen
- Azure Synapse Analytics is het snelle, flexibele en vertrouwde clouddatawarehouse waarmee u elastisch en onafhankelijk kunt schalen, berekenen en opslaan met een massively parallel verwerkingsarchitectuur.
- Met de documentatie voor Synapse-pijplijnen kunt u uw ETL-/ELT-werkstromen maken, plannen en beheren.
- Azure Data Lake Storage:zeer schaalbare, veilige data lake op basis van Azure Blob Storage
- Azure Synapse Analytics Spark-pools is een snel, eenvoudig en Apache Spark op basis van analyses.
- Documentatie voor Azure Azure Event Hubs is een big data streamingplatform en service voor gebeurtenisingestie.
- Azure Cosmos DB is een wereldwijd gedistribueerde databaseservice met meerdere modellen. Leer vervolgens hoe u uw gegevens kunt repliceren naar een groot aantal Azure-regio's en hoe u uw doorvoer onafhankelijk van uw opslag kunt schalen.
- met Azure Synapse Link voor Azure Cosmos DB kunt u bijna realtime analyses uitvoeren voor operationele gegevens in Azure Cosmos DB, zonder enige invloed op de prestaties of kosten van uw transactionele workload, met behulp van de twee analyse-engines die beschikbaar zijn vanuit uw Azure Synapse-werkruimte: SQL Serverloze en Spark-pools.
- Azure Analysis Services is een hoogwaardige analyse als een service waarmee u uw BI-oplossing met vertrouwen kunt bepalen, implementeren, testen en leveren.
- Power BI is een suite met hulpprogramma's voor bedrijfsanalyse waarmee u in uw hele organisatie inzichten kunt verkrijgen. Verbinding maken honderden gegevensbronnen, vereenvoudigen gegevensvoorbereiding en voeren ongeplande analyse uit. Maak prachtige rapporten en publiceer deze vervolgens voor uw organisatie om te gebruiken op internet en op mobiele apparaten.
Alternatieven
- Synapse Link is de voorkeursoplossing van Microsoft voor analyses boven op Cosmos DB gegevens.