Big Data-Analysen mit Azure Data Explorer

Dieser Lösungsansatz veranschaulicht Big Data-Analysen über große Mengen von Hochgeschwindigkeitsdaten aus verschiedenen Quellen.

Apache® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.

Aufbau

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

1. Rohdaten, teilweise strukturierte und unstrukturierte Daten (Freitext) wie z. B. sämtliche Arten von Protokollen, Geschäftsereignissen und Benutzeraktivitäten können in Azure Data Explorer aus verschiedenen Quellen erfasst werden.
2. Die Datenerfassung in Azure Data Explorer erfolgt mit geringer Latenz und hohem Durchsatz, beispielsweise mithilfe der Connectors für Azure Data Factory, Azure Event Hubs, Azure IoT Hub und Kafka. Verwenden Sie für die Datenerfassung alternativ Azure Storage (Blob oder ADLS Gen2). Dabei kommt Azure Event Grid zum Einsatz, und die Erfassungspipeline in Azure Data Explorer wird ausgelöst. Sie können Daten auch fortlaufend im komprimierten und partitionierten Parquet-Format in Azure Storage exportieren und diese Daten nahtlos abfragen, wie in der Übersicht über den fortlaufenden Datenexport beschrieben.
3. Exportieren Sie vorab aggregierte Daten aus Azure Data Explorer in Azure Storage, und erfassen Sie sie dann in Synapse Analytics, um Datenmodelle und Berichte zu erstellen.
4. Verwenden Sie die nativen Funktionen von Azure Data Explorer zum Verarbeiten, Aggregieren und Analysieren von Daten. Erstellen Sie mithilfe von Azure Data Explorer-Dashboards, Power BI, Grafana oder anderen Tools Analysedashboards in Quasi-Echtzeit, um Erkenntnisse in rasender Geschwindigkeit zu gewinnen. Verwenden Sie Azure Synapse Analytics, um ein modernes Data Warehouse zu erstellen, und kombinieren Sie dieses mit den Azure Data Explorer-Daten, um BI-Berichte zu zusammengestellten und aggregierten Datenmodellen zu generieren.
5. Azure Data Explorer bietet native erweiterte Analysefunktionen für Zeitreihenanalysen, Mustererkennung, Anomalieerkennung und -vorhersage sowie maschinelles Lernen. Azure Data Explorer ist auch gut mit ML-Diensten wie Databricks und Azure Machine Learning integriert. Durch diese Integration können Sie Modelle mit anderen Tools und Diensten erstellen und ML-Modelle zur Bewertung von Daten in Azure Data Explorer exportieren.

Komponenten

• Azure Event Hubs: Vollständig verwalteter Echtzeitdienst zur Datenerfassung, der einfach, vertrauenswürdig und skalierbar ist.
• Azure IoT Hub: Verwalteter Dienst, der die bidirektionale Kommunikation zwischen IoT-Geräten und Azure ermöglicht
• Kafka in HDInsight: Einfacher und kostengünstiger Dienst auf Unternehmensniveau für Open-Source-Analysen mit Apache Kafka
• Azure Data Explorer: Schneller, vollständig verwalteter und hochgradig skalierbarer Datenanalysedienst für Echtzeitanalysen großer Datenmengen, die von Anwendungen, Websites, IoT-Geräten usw. gestreamt werden
• Azure Data Explorer-Dashboards: Ermöglichen das native Exportieren der auf der Webbenutzeroberfläche untersuchten Kusto-Abfragen in optimierte Dashboards
• Azure Synapse Analytics: Analysedienst, der Data Warehousing für Unternehmen mit Big Data-Analysen vereint

Szenariodetails

Mögliche Anwendungsfälle

Diese Lösung veranschaulicht, wie sich Azure Data Explorer und Azure Synapse Analytics für Analysen in Quasi-Echtzeit und moderne Data Warehousing-Anwendungsfälle ergänzen.

Diese Lösung wird von Microsoft-Kunden bereits genutzt. Beispielsweise implementierte das Taxiunternehmen Grab in Singapur Echtzeitanalysen über eine riesige Menge von Daten, die von den Taxi- und Nahrungsmittellieferdiensten sowie von Handelspartner-Apps gesammelt wurden. Das Team von Grab stellte seine Lösung in diesem Video (ab 20:30) auf der MS Ignite vor. Mit diesem Muster verarbeitete Grab mehr als eine Billion Ereignisse pro Tag.

Diese Lösung ist für den Einzelhandel optimiert.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

• Ornat Spodek | Senior Content Manager

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte

• Dokumentation zu Azure Data Explorer
• Schulung: Einführung in Azure Data Explorer
• Azure Synapse Analytics
• Azure Event Hubs

Zugehörige Ressourcen

• Entwurf der Analysearchitektur
• End-to-End-Analyse mit Azure Synapse
• Erweiterte Analysearchitektur