Oplossingsidee
Als u wilt dat we dit artikel uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsinformatie, laat het ons dan weten met GitHub Feedback!
Dit oplossingsidee demonstreert big data analyses van grote hoeveelheden gegevens met hoge snelheid uit verschillende bronnen.
Potentiële gebruikscases
Deze oplossing laat zien Azure Data Explorer en Azure Synapse Analytics elkaar aanvullen voor bijna realtime analyses en moderne datawarehousing-gebruiksgevallen.
Deze oplossing wordt al gebruikt door Microsoft-klanten. Het singaporese taxibedrijf Grab heeft bijvoorbeeld realtime analyses geïmplementeerd voor een enorme hoeveelheid gegevens die zijn verzameld van hun taxi- en leveringsservices, evenals apps van commerciële partners. Het team van Grab heeft tijdens MS Ignite in deze video (20:30 en hoger)een oplossing gepresenteerd. Met dit patroon verwerkt Grab meer dan een biljoen gebeurtenissen per dag.
Architectuur
Gegevensstroom
- Onbewerkte gestructureerde, semi-gestructureerde en ongestructureerde (vrije tekst) gegevens, zoals elk type logboeken, bedrijfsgebeurtenissen en gebruikersactiviteiten, kunnen vanuit verschillende bronnen worden opgenomen in Azure Data Explorer gegevens.
- Gegevens opnemen in Azure Data Explorer met lage latentie en hoge doorvoer met behulp van de connectors voor Azure Data Factory, Azure Event Hub, Azure IoT Hub, Kafka,en meer. U kunt ook gegevens opnemen via Azure Storage (Blob of ADLS Gen2), die gebruikmaakt van Azure Event Grid en de opnamepijplijn activeert om Azure Data Explorer. U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitiese parquet-indeling en naadloos query's uitvoeren op die gegevens, zoals beschreven in het overzicht continue gegevensexport.
- Exporteert vooraf geaggregeerde gegevens van Azure Data Explorer naar Azure Storage en neem de gegevens vervolgens op in Synapse Analytics om gegevensmodellen en rapporten te bouwen.
- Gebruik Azure Data Explorer van uw eigen mogelijkheden voor het verwerken, aggregeren en analyseren van gegevens. Als u snel inzicht wilt krijgen, bouwt u bijna realtime analysedashboards met behulp van Azure Data Explorer dashboards, Power BI, Grafanaof andere hulpprogramma's. Gebruik Azure Synapse Analytics om een modern datawarehouse te bouwen en dit te combineren met de Azure Data Explorer om BI-rapporten te genereren over gecureerde en geaggregeerde gegevensmodellen.
- Azure Data Explorer biedt systeemeigen geavanceerde analysemogelijkheden voor tijdreeksanalyse, patroonherkenning, anomaliedetectie en prognose en machine learning. Azure Data Explorer is ook goed geïntegreerd met ML-services zoals Databricks en Azure Machine Learning. Met deze integratie kunt u modellen bouwen met behulp van andere hulpprogramma's en services en ML exporteren naar Azure Data Explorer scoregegevens.
Onderdelen
- Azure Event Hub:een volledig beheerde, realtime gegevensopneemservice die eenvoudig, vertrouwd en schaalbaar is.
- Azure IoT Hub:beheerde service voor bi-directionele communicatie tussen IoT-apparaten en Azure.
- Kafka in HDInsight:eenvoudige, rendabele service op bedrijf open source analyses met Apache Kafka.
- Azure Data Explorer:snelle, volledig beheerde en zeer schaalbare gegevensanalyseservice voor realtime analyse van grote hoeveelheden gegevens die worden gestreamd vanaf toepassingen, websites, IoT-apparaten en meer.
- Azure Data Explorer Dashboards: exporteertstandaard Kusto-query's die in de webinterface zijn verkend om dashboards te optimaliseren.
- Azure Synapse Analytics:Analyseservice die zakelijke datawarehousing en big data-analyses samenbrengen.
Volgende stappen
Zie de Azure Data Explorer voor meer informatie.