Oplossingsidee
Als u wilt dat we dit artikel uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsinformatie, laat het ons dan weten met GitHub Feedback!
Dit oplossingsidee laat bijna realtime analyses zien van snelle stromen, streaminggegevens van grote volumes van IoT-apparaten, sensoren, verbonden gebouwen en voertuigen, en meer. Het is gericht op de integratie van Azure Data Explorer met andere IoT-services om zowel operationele als analytische workloads te kunnen gebruiken met behulp van Cosmos DB en Azure Data Explorer.
Deze oplossing wordt al gebruikt door Microsoft-klanten voor telemetrieanalyse van IoT-apparaten. Hiermee wordt bijvoorbeeld gebruikgemaakt van Deze om realtime wegomstandighedente combineren met weersgegevens voor veiliger autonoom rijden.
Architectuur
Gegevensstroom
- Opname van een groot aantal snelstromende streaminggegevens, zoals logboeken, zakelijke gebeurtenissen en gebruikersactiviteiten, afkomstig uit verschillende bronnen, zoals Azure Event Hub, Azure IoT Hub of Kafka.
- Gegevens in realtime verwerken met behulp Azure Functions of Azure Stream Analytics.
- Sla gestreamde JSON-berichten op in Cosmos DB voor een realtime operationele toepassing.
- Gegevens opnemen in Azure Data Explorer met lage latentie en hoge doorvoer met behulp van de connectors voor Azure Event Hub, Azure IoT Hub, Kafka,en meer. U kunt ook gegevens opnemen via Azure Storage (Blob of ADLS Gen2), dat gebruikmaakt van Azure Event Grid en de opnamepijplijn activeert om Azure Data Explorer. U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitiede parquet-indeling en naadloos query's uitvoeren op die gegevens, zoals beschreven in het overzicht van continue gegevensexport.
- Azure Data Explorer is een big data analytics-opslag voor bijna realtime analysetoepassingen en dashboards.
Omdat dit patroon zowel operationele als analytische gebruiksgevallen dient, kunnen gegevens parallel naar Azure Data Explorer en Cosmos DB worden gerouteerd of van Cosmos DB naar Azure Data Explorer.
- Integreer Cosmos DB met Azure Data Explorer met behulp van de wijzigingsfeed. Elke transactie in Cosmos DB kan een Azure-functie activeren via deze wijzigingsfeed. Gegevens kunnen vervolgens worden gestreamd naar Event Hub en opgenomen in Azure Data Explorer.
- Roep vanuit Azure Function ADT-API's (Azure Digital Twin) aan. ADT wordt gebruikt voor het opslaan van digitale modellen van fysieke omgevingen. Met deze service worden gegevens gestreamd naar Event Hub, die vervolgens worden opgenomen in Azure Data Explorer.
- Krijg inzicht in gegevens die zijn opgeslagen in Azure Data Explorer een van de volgende methoden:
- Bouw een aangepaste analyse-app die API's aanroept die beschikbaar worden gemaakt door ADT en Azure Data Explorer om de gegevens uit beide bronnen te combineren.
- Bouw bijna realtime analysedashboards met Azure Data Explorer dashboards, Power BIof Grafana.
- Maak en plan waarschuwingen en meldingen met behulp van de Azure Data Explorer-connector voor Azure Logic Apps.
- Analyseer gegevens met behulp Azure Data Explorer webinterface, Kusto.Explorerof Jupyter-notebooks.
- Azure Data Explorer biedt systeemeigen geavanceerde analysemogelijkheden voor tijdreeksanalyse, patroonherkenning, anomaliedetectieen prognoses en machine learning. Azure Data Explorer is ook goed geïntegreerd met ML services zoals Databricks en Azure Machine Learning. Met deze integratie kunt u modellen bouwen met behulp van andere hulpprogramma's en services en ML exporteren om Azure Data Explorer scoregegevens te verzamelen.
Onderdelen
- Azure Event Hub:een volledig beheerde, realtime gegevensopneemservice die eenvoudig, vertrouwd en schaalbaar is.
- Azure IoT Hub:beheerde service om bi-directionele communicatie tussen IoT-apparaten en Azure mogelijk te maken.
- Kafka in HDInsight:eenvoudige, rendabele, hoogwaardige service voor open source analyse met Apache Kafka.
- Azure Cosmos DB:volledig beheerde, snelle NoSQL-databaseservice voor het ontwikkelen van moderne apps met open API's voor elke schaal.
- met Azure Synapse Link voor Azure Cosmos DB kunt u bijna realtime analyses uitvoeren voor operationele gegevens in Azure Cosmos DB, zonder enige invloed op de prestaties of kosten van uw transactionele workload, met behulp van de twee analyse-engines die beschikbaar zijn vanuit uw Azure Synapse-werkruimte: SQL Serverloze en Spark-pools.
- Azure Data Explorer:snelle, volledig beheerde en zeer schaalbare gegevensanalyseservice voor realtime analyse van grote hoeveelheden gegevens die worden gestreamd van toepassingen, websites, IoT-apparaten en meer.
- Azure Data Explorer Dashboards:exporteert standaard Kusto-query's die zijn verkend in de webinterface om dashboards te optimaliseren.
- Azure Digital Twins:maak IoT-oplossingen van de volgende generatie die de echte wereld modelleren.
Alternatieven
- Synapse Link is de voorkeursoplossing van Microsoft voor analyses boven op Cosmos DB gegevens.
Volgende stappen
Zie de Azure Data Explorer voor meer informatie.