Erkunden erfasster Avro-Dateien in Azure Event Hubs
Dieser Artikel enthält das Schema für Avro-Dateien, die von Azure Event Hubs erfasst werden, und einige Tools, mit denen die Dateien untersucht werden können.
Schema
Die von Event Hubs Capture erzeugten Avro-Dateien weisen das folgende Avro-Schema auf:
Azure Storage-Explorer
Sie können überprüfen, ob erfasste Dateien im Azure Storage-Konto mithilfe von Tools wie Azure Storage-Explorer erstellt wurden. Sie können Dateien zur Bearbeitung lokal herunterladen.
Eine einfache Möglichkeit zum Untersuchen von Avro-Dateien ist die Verwendung der Avro Tools -JAR-Datei von Apache. Sie können auch Apache Spark verwenden, um eine komplexe verteilte Verarbeitung für die erfassten Daten durchzuführen.
Verwenden von Apache Spark
Apache Spark ist ein „einheitliches Analysemodul für Datenverarbeitung im großen Stil“. Es unterstützt verschiedene Sprachen (einschließlich SQL) und kann ganz einfach auf Azure Blob Storage zugreifen. Es gibt mehrere Optionen für die Ausführung von Apache Spark in Azure, die jeweils einfachen Zugriff auf Azure Blob Storage ermöglichen:
- HDInsight: Zugreifen auf Dateien in Azure-Speicher
- Azure Databricks: Azure Blob Storage Weitere Informationen finden Sie im folgenden Beispiel: Streaming at Scale with Event Hubs Capture (Bedarfsorientiertes Streaming mit Event Hubs Capture, in englischer Sprache)
- Azure Kubernetes Service
Verwenden von Avro-Tools
Avro-Tools sind als JAR-Paket verfügbar. Nach dem Herunterladen der JAR-Datei können Sie das Schema einer bestimmten Avro-Datei anzeigen, indem Sie folgenden Befehl ausführen:
java -jar avro-tools-1.9.1.jar getschema <name of capture file>
Dieser Befehl gibt Folgendes zurück:
{
"type":"record",
"name":"EventData",
"namespace":"Microsoft.ServiceBus.Messaging",
"fields":[
{"name":"SequenceNumber","type":"long"},
{"name":"Offset","type":"string"},
{"name":"EnqueuedTimeUtc","type":"string"},
{"name":"SystemProperties","type":{"type":"map","values":["long","double","string","bytes"]}},
{"name":"Properties","type":{"type":"map","values":["long","double","string","bytes"]}},
{"name":"Body","type":["null","bytes"]}
]
}
Sie können die Datei auch mithilfe von Avro-Tools in das JSON-Format konvertieren und anders verarbeiten.
Für eine erweiterte Verarbeitung laden Sie Avro herunter und installieren es für eine Plattform Ihrer Wahl. Zum Zeitpunkt der Erstellung dieses Dokuments sind Implementierungen für C, C++, C#, Java, NodeJS, Perl, PHP, Python und Ruby verfügbar.
Apache Avro bietet vollständige Anleitungen für die ersten Schritte mit Java und Python. Lesen Sie auch den Artikel zu den ersten Schritten mit Event Hubs Capture.
Nächste Schritte
Event Hubs Capture ist die einfachste Möglichkeit, Daten für Azure abzurufen. Mithilfe von Azure Data Lake, Azure Data Factory und Azure HDInsight können Sie Batchverarbeitung und andere Analysen mit vertrauten Tools und Plattformen Ihrer Wahl und jeder Größenordnung durchführen. Weitere Informationen zu diesem Feature finden Sie in den folgenden Artikeln.