Lösningsidé
Om du vill att vi utökar den här artikeln med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du berätta för oss GitHub Feedback!
Den här lösningsidéen demonstrerar analys i nära realtid över snabbt flödande, strömmande data med stora volymer från IoT-enheter, sensorer, anslutna byggnader och fordon och så vidare. Den fokuserar på integrering av Azure Data Explorer med andra IoT-tjänster för att hantera både operativa och analytiska arbetsbelastningar med hjälp Cosmos DB och Azure Data Explorer.
Den här lösningen används redan av Microsoft-kunder för telemetrianalys för IoT-enheter. Till exempel använder Taget detta för att kombinera vägförhållanden i realtid med väderdata för säkrare självkörande.
Arkitektur
Dataflöde
- Mata in en mängd olika strömmande data som flödar snabbt, till exempel loggar, affärshändelser och användaraktiviteter från olika källor som Azure Event Hub, Azure IoT Hub eller Kafka.
- Bearbeta data i realtid med hjälp Azure Functions eller Azure Stream Analytics.
- Lagra strömmade JSON-meddelanden Cosmos DB för att betjäna ett driftprogram i realtid.
- Mata in data i Azure Data Explorer med kort svarstid och högt dataflöde med hjälp av anslutningsapparna för Azure Event Hub,Azure IoT Hub,Kafkaoch så vidare. Du kan också mata in data via Azure Storage (blob eller ADLS Gen2), som använder Azure Event Grid och utlöser inmatningspipelinen för att Azure Data Explorer. Du kan också kontinuerligt exportera data till Azure Storage i komprimerat, partitionerat parquet-format och sömlöst fråga dessa data enligt beskrivningen i översikten över löpande dataexport.
- Azure Data Explorer är ett stordataanalysarkiv för analysprogram och instrumentpaneler i nära realtid. Eftersom det här mönstret fungerar både för användningsfall och analysfall kan data antingen dirigeras till Azure Data Explorer och Cosmos DB parallellt, eller från Cosmos DB till Azure Data Explorer.
- Integrera Cosmos DB med Azure Data Explorer med ändringsflödet. Varje transaktion i Cosmos DB kan utlösa en Azure-funktion via det här ändringsflödet. Data kan sedan strömmas till Händelsehubb och matas in i Azure Data Explorer.
- Anropa API:er för Azure Digital Twin (ADT) från Azure Function. ADT används för att lagra digitala modeller av fysiska miljöer. Den här tjänsten strömmar data till Event Hub, som sedan matas in till Azure Data Explorer.
- Få insikter från data som lagras Azure Data Explorer med någon av följande metoder:
- Skapa en anpassad analysapp som anropar API:er som exponeras av ADT och Azure Data Explorer för att blanda data från båda källorna.
- Skapa instrumentpaneler för analys i nära realtid med Azure Data Explorer,Power BIeller Grafana.
- Skapa och schemalägg aviseringar och meddelanden med hjälp Azure Data Explorer anslutningsappen för Azure Logic Apps.
- Analysera data med Azure Data Explorer webbgränssnitt,Kusto.Explorereller Jupyter Notebooks.
- Azure Data Explorer ger inbyggda avancerade analysfunktioner för tidsserieanalys, mönsterigenkänning, avvikelseidentifiering och prognostiseradedata samt maskininlärning. Azure Data Explorer är också väl integrerad med ML tjänster som Databricks och Azure Machine Learning. Med den här integreringen kan du skapa modeller med andra verktyg och tjänster och exportera ML modeller för att Azure Data Explorer för bedömning av data.
Komponenter
- Azure Event Hub:En helt hanterad tjänst för datainmatning i realtid som är enkel, betrodd och skalbar.
- Azure IoT Hub:Hanterad tjänst för att möjliggöra dubbelriktad kommunikation mellan IoT-enheter och Azure.
- Kafka på HDInsight:Enkel, kostnadseffektiv tjänst i företagsklass för analys med öppen källkod med Apache Kafka.
- Azure Cosmos DB:Fullständigt hanterad snabb NoSQL-databastjänst för modern apputveckling med öppna API:er för alla skalningsmöjligheter.
- med Azure Synapse Link för Azure Cosmos DB kan du köra analys i nära realtid över driftdata i Azure Cosmos DB utanprestanda- eller kostnadspåverkan på transaktionsarbetsbelastningen med hjälp av de två analysmotorer som är tillgängliga från din Azure Synapse-arbetsyta: SQL Serverlösa pooler och Spark-pooler.
- Azure Data Explorer:Snabb, fullständigt hanterad och mycket skalbar dataanalystjänst för realtidsanalys på stora mängder data som strömmas från program, webbplatser, IoT-enheter med mera.
- Azure Data Explorer instrumentpaneler:Exportera Kusto-frågor som har utforskats i webbgränssnittet för optimerade instrumentpaneler.
- Azure Digital Twins:Skapa nästa generations IoT-lösningar som modellerar den verkliga världen.
Alternativ
- Synapse Link är microsofts föredragna lösning för analys utöver Cosmos DB data.
Nästa steg
Mer information finns i Azure Data Explorer dokumentation.