Stordataanalys med Azure Data Explorer

Den här lösningsidéen demonstrerar stordataanalys över stora volymer med data med hög hastighet från olika källor.

Potentiella användningsfall

Den här lösningen illustrerar Azure Data Explorer och Azure Synapse Analytics kompletterar varandra för analys i nära realtid och moderna användningsfall för informationslager.

Den här lösningen används redan av Microsoft-kunder. Till exempel implementerade det Singapore-baserade företaget Grab realtidsanalys över en stor mängd data som samlats in från taxi- och matleveranstjänster samt säljpartnerappar. Teamet från Grab presenterade sin lösning på MS Ignite i den här videon (20:30 och framåt). Med det här mönstret bearbetade Grab fler än en biljon händelser per dag.

Arkitektur

Dataflöde

1. Råa strukturerade, halvstrukturerade och ostrukturerade data (fritext), till exempel alla typer av loggar, affärshändelser och användaraktiviteter kan matas in i Azure Data Explorer från olika källor.
2. Mata in data Azure Data Explorer med kort svarstid och högt dataflöde med hjälp av dess anslutningsappar för Azure Data Factory,Azure Event Hub,Azure IoT Hub,Kafkaoch så vidare. Alternativt kan du mata in data via Azure Storage (Blobeller ADLS Gen2), som använder Azure Event Grid och utlöser inmatningspipelinen för att Azure Data Explorer. Du kan också kontinuerligt exportera data till Azure Storage komprimerat, partitionerat parquet-format och sömlöst fråga dessa data enligt beskrivningen i Översikt över löpande dataexport.
3. Exportera föraggregeringsdata från Azure Data Explorer till Azure Storage och mata sedan in data i Synapse Analytics för att skapa datamodeller och rapporter.
4. Använd Azure Data Explorer ursprungliga funktioner för att bearbeta, aggregera och analysera data. För att få insikter med blixthastighet kan du skapa analysinstrumentpaneler i nära realtid med hjälp Azure Data Explorer,Power BI, Grafanaeller andra verktyg. Använd Azure Synapse Analytics att skapa ett modernt informationslager och kombinera det med Azure Data Explorer data för att generera BI-rapporter på curated och aggregated data models.
5. Azure Data Explorer ger inbyggda avancerade analysfunktioner för tidsserieanalys, mönsterigenkänning, avvikelseidentifiering och prognostbildningsamt maskininlärning. Azure Data Explorer är också väl integrerad med ML tjänster som Databricks och Azure Machine Learning. Med den här integreringen kan du skapa modeller med andra verktyg och tjänster och exportera ML modeller för att Azure Data Explorer för bedömning av data.

Komponenter

• Azure Event Hub:En helt hanterad tjänst för datainmatning i realtid som är enkel, betrodd och skalbar.
• Azure IoT Hub:Hanterad tjänst för att möjliggöra dubbelriktad kommunikation mellan IoT-enheter och Azure.
• Kafka på HDInsight:Enkel, kostnadseffektiv tjänst i företagsklass för analys med öppen källkod med Apache Kafka.
• Azure Data Explorer:Snabb, fullständigt hanterad och mycket skalbar dataanalystjänst för realtidsanalys på stora mängder data som strömmas från program, webbplatser, IoT-enheter med mera.
• Azure Data Explorer instrumentpaneler:Exportera Kusto-frågor som har utforskats i webbgränssnittet för att optimera instrumentpaneler.
• Azure Synapse Analytics:Analystjänst som sammanför informationslager för företag och stordataanalys.

Nästa steg

Mer information finns i Azure Data Explorer dokumentationen.