Lösningsidéer
Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.
Den här lösningsidén beskriver hur Azure Data Explorer tillhandahåller analys i nära realtid för snabbflöde, strömmande data med hög volym från IoT-enheter (Internet of Things) och sensorer. Det här analysarbetsflödet är en del av en övergripande IoT-lösning som integrerar drifts- och analytiska arbetsbelastningar med Azure Cosmos DB och Azure Data Explorer.
Jupyter är ett varumärke som tillhör respektive företag. Inget godkännande understås av användningen av det här märket. Apache® och Apache Kafka® är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
Azure Event Hubs, Azure IoT Hub eller Kafka matar in en mängd olika snabbflödesströmningsdata, till exempel loggar, affärshändelser och användaraktiviteter.
Azure Functions eller Azure Stream Analytics bearbetar data i nära realtid.
Azure Cosmos DB lagrar strömmade meddelanden i JSON-format för att hantera ett driftprogram i realtid.
Azure Data Explorer matar in data för analys med hjälp av dess anslutningsappar för Azure Event Hubs, Azure IoT Hub eller Kafka för låg svarstid och högt dataflöde.
Du kan också mata in blobar från ditt Azure Blob Storage - eller Azure Data Lake Storage-konto i Azure Data Explorer med hjälp av en Event Grid-dataanslutning.
Du kan också kontinuerligt exportera data till Azure Storage i komprimerat, partitionerat Apache Parquet-format och sömlöst köra frågor mot data med Azure Data Explorer. Mer information finns i Översikt över kontinuerlig dataexport.
För att hantera både användningsfall för drift och analys kan data antingen dirigeras till Azure Data Explorer och Azure Cosmos DB parallellt eller från Azure Cosmos DB till Azure Data Explorer.
Azure Cosmos DB-transaktioner kan utlösa Azure Functions via ändringsflöde. Functions strömmar data till Event Hubs för inmatning till Azure Data Explorer.
eller
Azure Functions kan anropa Azure Digital Twins via sitt API, som sedan strömmar data till Event Hubs för inmatning till Azure Data Explorer.
Följande gränssnitt får insikter från data som lagras i Azure Data Explorer:
- Anpassade analysappar som blandar data från Api:er för Azure Digital Twins och Azure Data Explorer
- Instrumentpaneler för analys i nära realtid som använder Azure Data Explorer-instrumentpaneler, Power BI eller Grafana
- Aviseringar och meddelanden från Azure Data Explorer-anslutningsappen för Azure Logic Apps
- Azure Data Explorer Web UI, Kusto.Explorer och Jupyter Notebooks
Azure Data Explorer integreras med Azure Databricks och Azure Machine Learning för att tillhandahålla maskininlärningstjänster (ML). Du kan också skapa ML-modeller med andra verktyg och tjänster och exportera dem till Azure Data Explorer för bedömning av data.
Komponenter
Den här lösningsidén använder följande Azure-komponenter:
Öppna Azure-datautforskaren
Azure Data Explorer är en snabb, fullständigt hanterad och mycket skalbar stordataanalystjänst. Azure Data Explorer kan analysera stora mängder strömmande data från program, webbplatser och IoT-enheter nästan i realtid för att hantera analysprogram och instrumentpaneler.
Azure Data Explorer tillhandahåller intern avancerad analys för:
- Tidsserieanalys.
- Mönsterigenkänning.
- Avvikelseidentifiering och prognostisering.
- Maskininlärning (ML).
Azure Data Explorer Web UI ansluter till Azure Data Explorer-kluster för att skriva, köra och dela Kusto-frågespråk kommandon och frågor. Azure Data Explorer-instrumentpaneler är en funktion i datautforskarens webbgränssnitt som internt exporterar Kusto-frågor till optimerade instrumentpaneler.
Andra Azure-komponenter
- Azure Cosmos DB är en fullständigt hanterad, snabb NoSQL-databastjänst för modern apputveckling med öppna API:er för valfri skala.
- Azure Digital Twins lagrar digitala modeller av fysiska miljöer för att skapa nästa generations IoT-lösningar som modellerar den verkliga världen.
- Azure Event Hubs är en fullständigt hanterad datainmatningstjänst i realtid.
- Azure IoT Hub möjliggör dubbelriktad kommunikation mellan IoT-enheter och Azure-molnet.
- Azure Synapse Link för Azure Cosmos DB körs nästan realtidsanalys över driftdata i Azure Cosmos DB, utan prestanda eller kostnadspåverkan på transaktionsarbetsbelastningar. Synapse Link använder analysmotorerna SQL Serverless och Spark Pools från Azure Synapse-arbetsytan.
- Kafka på HDInsight är en enkel, kostnadseffektiv tjänst i företagsklass för analys med öppen källkod med Apache Kafka.
Information om scenario
Den här lösningen använder Azure Data Explorer för att få IoT-telemetrianalys i nära realtid på snabbt strömmande strömmande data med hög volym från en mängd olika IoT-enheter.
Potentiella användningsfall
- Vagnparkshantering, för förutsägande underhåll av fordonsdelar. Den här lösningen är idealisk för fordons- och transportindustrin.
- Anläggningshantering, för energi- och miljöoptimering.
- Kombinera vägförhållanden i realtid med väderdata för säkrare autonom körning.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudförfattare:
- Ornat Spodek | Senior Content Manager