Lösungsmöglichkeiten
Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.
Diese Lösungsidee veranschaulicht die Verwendung interaktiver Analysen in Azure Data Explorer. Sie beschreibt, wie Sie strukturierte, teilweise strukturierte und unstrukturierte Daten mit improvisierten, interaktiven und schnellen Abfragen untersuchen können.
Jupyter ist eine Marke des entsprechenden Unternehmens. Die Verwendung dieser Marke impliziert keine Empfehlung. Apache® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.
Architektur
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
- Rohdaten, teilweise strukturierte und unstrukturierte Daten (Freitext) wie z. B. sämtliche Arten von Protokollen, Geschäftsereignissen und Benutzeraktivitäten können in Azure Data Explorer aus verschiedenen Quellen erfasst werden. Sie erfassen die Daten per Streaming oder im Batchmodus mithilfe verschiedener Methoden.
- Die Datenerfassung in Azure Data Explorer erfolgt mit geringer Latenz und hohem Durchsatz mithilfe der Connectors für Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka usw. Verwenden Sie für die Datenerfassung stattdessen Azure Storage (Blob oder ADLS Gen2). Dabei kommt Azure Event Grid zum Einsatz, und die Erfassungspipeline in Azure Data Explorer wird ausgelöst. Sie können Daten auch fortlaufend im komprimierten und partitionierten Parquet-Format nach Azure Storage exportieren und nahtlos abfragen, wie in der Übersicht über den fortlaufenden Datenexport beschrieben.
- Führen Sie interaktive Abfragen über kleine bis extrem große Datenmengen aus, indem Sie native Tools im Azure Data Explorer oder alternative Tools Ihrer Wahl verwenden. Azure Data Explorer bietet viele Plug-Ins und eine Integration mit dem übrigen Ökosystem der Datenplattform. Verwenden Sie folgende Tools und Integrationen:
- Verwenden Sie für interaktive Analysen die Webbenutzeroberfläche von Azure Data Explorer, den Webclient für Azure Data Explorer oder Kusto.Explorer, einen funktionsstarken Windows-Client für Azure Data Explorer.
- Verwenden Sie zum Herstellen einer Verbindung mit Ihrem Azure Data Explorer-Cluster Jupyter Notebooks, den Spark-Connector, einen beliebigen TDS-konformen SQL-Client oder JDBC- und ODBC-Verbindungen.
- Wenn Sie neue Apps erstellen oder eine Integration in vorhandene Apps oder Frameworks durchführen, verwenden Sie die REST-APIs und SDKs in verschiedenen Sprachen für Azure Data Explorer.
- Erstellen Sie mithilfe von Azure Data Explorer-Dashboards, Power BI oder Grafana Analysedashboards in Quasi-Echtzeit.
- Reichern Sie Daten an, die Verbundabfragen ausführen, indem Sie Daten aus SQL-Datenbank und Azure Cosmos DB mithilfe von Azure Data Explorer-Plug-Ins kombinieren.
Komponenten
- Azure Event Hubs: Vollständig verwalteter Echtzeitdienst zur Datenerfassung, der einfach, vertrauenswürdig und skalierbar ist.
- Azure IoT Hub: Verwalteter Dienst, der bidirektionale Kommunikation zwischen IoT-Geräten und Azure ermöglicht
- Kafka in HDInsight: Einfacher und kostengünstiger Dienst auf Unternehmensniveau für Open-Source-Analysen mit Apache Kafka
- Azure Data Factory: Hybrid-Datenintegrationsdienst für einfachere ETL-Vorgänge im großen Stil
- Azure Data Explorer: Schneller, vollständig verwalteter und hochgradig skalierbarer Datenanalysedienst für Echtzeitanalysen großer Datenmengen, die von Anwendungen, Websites, IoT-Geräten usw. gestreamt werden
- Azure Data Explorer-Dashboards: Ermöglicht das native Exportieren der auf der Webbenutzeroberfläche untersuchten Kusto-Abfragen in optimierte Dashboards
- Azure Cosmos DB: Vollständig verwalteter NoSQL-Datenbankdienst für die moderne App-Entwicklung mit offenen APIs für jede Größe
- Azure SQL-Datenbank: Erstellen von Apps in der Cloud, die entsprechend Ihren geschäftlichen Anforderungen skaliert werden, mit verwalteten und intelligenten SQL-Funktionen
Szenariodetails
Dieser Lösungsansatz veranschaulicht die Verwendung interaktiver Analysen mit Azure Data Explorer, um Daten improvisiert, interaktiv und mit schnellen Abfragen über kleine bis extrem große Datenmengen zu untersuchen. Diese Datenuntersuchung kann mithilfe der nativen Tools von Azure Data Explorer oder mit alternativen Tools Ihrer Wahl durchgeführt werden. Der Schwerpunkt dieser Lösung liegt auf der Integration von Azure Data Explorer mit dem übrigen Ökosystem der Datenplattform.
Mögliche Anwendungsfälle
Diese Lösung wird von Microsoft-Kunden verwendet, um Benutzeraktivitäten nachzuverfolgen und Benutzerprofile zu verwalten, sowie in Szenarien mit Benutzersegmentierung.
Beitragende
Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:
Hauptautor:
- Ornat Spodek | Senior Content Manager
Nächste Schritte
Weitere Informationen finden Sie in der Dokumentation zu Azure Data Explorer.