Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer

Azure Data Explorer bietet die Erfassung von Event Hubs, einer Big Data-Streamingplattform und einem Ereigniserfassungsdienst. Event Hubs kann Millionen von Ereignissen pro Sekunde nahezu in Echtzeit verarbeiten.

In diesem Artikel stellen Sie eine Verbindung mit einem Event Hub her und erfassen Daten in Azure Data Explorer. Eine Übersicht über die Erfassung von Event Hubs finden Sie unter Azure Event Hubs Datenverbindung.

Informationen zum Erstellen der Verbindung mithilfe der Kusto-SDKs finden Sie unter Erstellen einer Event Hubs-Datenverbindung mit SDKs.

Codebeispiele, die auf früheren SDK-Versionen basieren, finden Sie im archivierten Artikel.

Erstellen einer Event Hub-Datenverbindung

In diesem Abschnitt stellen Sie eine Verbindung zwischen dem Event Hub und Ihrer Azure Data Explorer-Tabelle her. Solange diese Verbindung besteht, werden Daten vom Event Hub in Ihre Zieltabelle übertragen. Wenn der Event Hub in eine andere Ressource oder ein anderes Abonnement verschoben wird, müssen Sie die Verbindung aktualisieren oder neu erstellen.

Abrufen von Daten

Voraussetzungen

• Ein Microsoft-Konto oder eine Microsoft Entra Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Die Streamingerfassung muss in Ihrem Azure Data Explorer-Cluster konfiguriert werden.

Abrufen von Daten

1. Wählen Sie im Menü auf der linken Seite Abfrage aus.

2. Klicken Sie mit der rechten Maustaste auf die Datenbank, in der Sie die Daten erfassen möchten. Wählen Sie Daten abrufen aus.

   

Quelle

Im Fenster Daten abrufen ist die Registerkarte Quelle ausgewählt.

Wählen Sie die Datenquelle aus der liste verfügbar aus. In diesem Beispiel erfassen Sie Daten aus Event Hubs.

Konfigurieren

1. Wählen Sie eine Zieldatenbank und -tabelle aus. Wenn Sie Daten in einer neuen Tabelle erfassen möchten, wählen Sie + Neue Tabelle aus, und geben Sie einen Tabellennamen ein.

   Hinweis

   Tabellennamen können bis zu 1024 Zeichen umfassen, einschließlich Leerzeichen, alphanumerisch, Bindestrichen und Unterstrichen. Sonderzeichen werden nicht unterstützt.

   

2. Füllen Sie die folgenden Felder aus:

   Einstellung	Feldbeschreibung
   Subscription	Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace	Der Name, der Ihren Namespace bezeichnet
   Event Hub	Der Event Hub, den Sie möchten
   Consumergruppe	Die in Ihrem Ereignis definierte Consumergruppe
   Name der Datenverbindung	Der Name, der Ihre Datenverbindung bezeichnet
   Erweiterte Filter
   Komprimierung	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
   Ereignissystemeigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Startdatum des Ereignisabrufs	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Nur Ereignisse, die vom Aufbewahrungszeitraum von Event Hubs beibehalten werden, können abgerufen werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit der Zeitpunkt, zu dem die Datenverbindung erstellt wird.

3. Wählen Sie Weiter aus.

Überprüfen

Die Registerkarte Überprüfen wird mit einer Vorschau der Daten geöffnet.

Um den Erfassungsprozess abzuschließen, wählen Sie Fertig stellen aus.

Optional:

• Wenn die im Vorschaufenster angezeigten Daten nicht vollständig sind, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:

  • Verwerfen und abrufen neuer Daten: Verwirft die angezeigten Daten und sucht nach neuen Ereignissen.

  • Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.

    Hinweis

    Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.

• Wählen Sie Befehlsanzeige aus , um die automatischen Befehle anzuzeigen und zu kopieren, die aus Ihren Eingaben generiert werden.

• Verwenden Sie die Dropdownliste Schemadefinitionsdatei , um die Datei zu ändern, aus der das Schema abgeleitet wird.

• Ändern Sie das automatisch abgeleitete Datenformat, indem Sie das gewünschte Format aus der Dropdownliste auswählen. Informationen zur Erfassung finden Sie unter Von Azure Data Explorer unterstützte Datenformate.

• Bearbeiten von Spalten.

• Erkunden Sie erweiterte Optionen basierend auf dem Datentyp.

Spalten bearbeiten

Hinweis

• Bei tabellenbasierten Formaten (CSV, TSV, PSV) können Sie eine Spalte nicht zweimal zuordnen. Löschen Sie bei einer Zuordnung zu einer vorhandenen Spalte zunächst die neue Spalte.
• Der Typ einer vorhandenen Spalte kann nicht geändert werden. Wenn Sie als Zuordnungsziel eine Spalte mit einem anderen Format verwenden, erhalten Sie ggf. leere Spalten.

Die Änderungen, die Sie an einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:

• Die Tabelle ist neu oder vorhanden.
• Die Zuordnung ist neu oder vorhanden.

Tabellentyp	Zuordnungstyp	Verfügbare Anpassungen
Neue Tabelle	Neue Zuordnung	Spalte umbenennen, Datentyp ändern, Datenquelle ändern, Zuordnungstransformation, Spalte hinzufügen, Spalte löschen
Vorhandene Tabelle	Neue Zuordnung	Hinzufügen einer Spalte (für die Sie dann den Datentyp ändern, umbenennen und aktualisieren können)
Vorhandene Tabelle	Vorhandene Zuordnung	Keine

Zuordnungstransformationen

Einige der Datenformatzuordnungen (Parquet, JSON und Avro) unterstützen einfache Transformationen während der Erfassung. Um Zuordnungstransformationen anzuwenden, erstellen oder aktualisieren Sie eine Spalte im Fenster Spalten bearbeiten .

Zuordnungstransformationen können für eine Spalte vom Typ string oder datetime ausgeführt werden, wobei die Quelle den Datentyp "int" oder "long" aufweist. Die folgenden Zuordnungstransformationen werden unterstützt:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Erweiterte Optionen basierend auf dem Datentyp

Tabellarisch (CSV, TSV, PSV):

• Wenn Sie tabellarische Formate in einer vorhandenen Tabelle erfassen, können Sie Erweitertes>Tabellenschema beibehalten auswählen. Tabellendaten enthalten nicht unbedingt die Spaltennamen, die verwendet werden, um Quelldaten den vorhandenen Spalten zuzuordnen. Wenn diese Option aktiviert ist, erfolgt die Zuordnung nach Reihenfolge, und das Tabellenschema bleibt unverändert. Wenn diese Option deaktiviert ist, werden unabhängig von der Datenstruktur neue Spalten für eingehende Daten erstellt.

• Um die erste Zeile als Spaltennamen zu verwenden, wählen Sie Erweiterte>erste Zeile ist Spaltenüberschrift aus.

  

JSON:

• Um die Spaltenteilung von JSON-Daten zu bestimmen, wählen Sie Erweiterte>geschachtelte Ebenen von 1 bis 100 aus.

• Wenn Sie Erweiterte>Datenformatfehler ignorieren auswählen, werden die Daten im JSON-Format erfasst. Wenn Sie das Kontrollkästchen nicht aktivieren, werden die Daten im MultiJSON-Format erfasst.

  

Zusammenfassung

Im Fenster Datenaufbereitung sind alle drei Schritte mit grünen Häkchen gekennzeichnet, wenn die Datenerfassung erfolgreich abgeschlossen wurde. Sie können die Befehle anzeigen, die für jeden Schritt verwendet wurden, oder einen Karte auswählen, um die erfassten Daten abzufragen, zu visualisieren oder zu löschen.

Portal: Seite "Azure Data Explorer"

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
• Ein Azure Data Explorer-Cluster und eine Datenbank Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle. Erstellen Sie eine Tabelle , oder verwenden Sie eine vorhandene Tabelle.
• Eine Erfassungszuordnung für die Tabelle.
• Ein Event Hub mit Daten für die Erfassung.

Abrufen von Daten

1. Wechseln Sie im Azure-Portal zu Ihrem Cluster, und wählen Sie Datenbanken aus. Wählen Sie dann die Datenbank aus, die Ihre Zieltabelle enthält.

   

2. Wählen Sie im linken Menü die Option Datenerfassung aus. Wählen Sie dann in der oberen Leiste Datenverbindung hinzufügen aus.

3. Füllen Sie das Formular mit den folgenden Informationen aus, und wählen Sie dann Erstellen aus.

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Name der Datenverbindung	test-hub-connection	Der Name der Verbindung, die Sie im Azure-Daten-Explorer erstellen möchten.
   Subscription		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace	Ein eindeutiger Namespacename	Der von Ihnen zuvor ausgewählte Name, der Ihren Namespace identifiziert.
   Event Hub	test-hub	Der von Ihnen erstellte Event Hub.
   Consumergruppe	test-group	Die Consumergruppe, die in dem von Ihnen erstellten Event Hub definiert ist.
   Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn mehrere Datensätze pro Ereignismeldung vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Komprimierung	None	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast. Unterstützte Komprimierungstypen: Ohne, GZip.
   Verwaltete Identität (empfohlen)	Systemseitig zugewiesen	Die verwaltete Identität, die vom Data Explorer-Cluster für den Zugriff zum Lesen im Event Hub verwendet wird. Es wird empfohlen, verwaltete Identitäten zu verwenden, um den Zugriff auf Ihren Event Hub zu steuern. Hinweis: Wenn die Datenverbindung erstellt wird: * Systemseitig zugewiesene Identitäten werden automatisch erstellt, wenn sie nicht vorhanden sind. * Der verwalteten Identität wird automatisch die Rolle Azure Event Hubs-Datenempfänger zugewiesen, und sie wird Ihrem Data Explorer-Cluster hinzugefügt. Es wird empfohlen, zu überprüfen, ob die Rolle zugewiesen und die Identität dem Cluster hinzugefügt wurde.

   Hinweis

   Wenn Sie über eine vorhandene Datenverbindung verfügen, die keine verwalteten Identitäten verwendet, wird empfohlen, sie für die Verwendung verwalteter Identitäten zu aktualisieren.

Portal : Seite "Azure Event Hubs"

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
• Ein Azure Data Explorer-Cluster und eine Datenbank Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle. Erstellen Sie eine Tabelle , oder verwenden Sie eine vorhandene Tabelle.
• Eine Erfassungszuordnung für die Tabelle.
• Ein Event Hub mit Daten für die Erfassung.

Abrufen von Daten

1. Navigieren Sie im Azure-Portal zu Ihrer Event Hubs-Instanz.

2. Wählen Sie im Seitenmenü Features die Option Daten mit Kusto analysieren aus.

3. Wählen Sie Start aus, um den Erfassungs-Assistenten in Azure Data Explorer zu öffnen.

   

   Hinweis

   • Sie müssen mindestens über Datenbankbenutzerberechtigungen verfügen.
   • Informationen zum Aktivieren des Zugriffs zwischen einem Cluster und einem Speicherkonto ohne öffentlichen Zugriff finden Sie unter Erstellen eines verwalteten privaten Endpunkts.
   • Cluster und Event Hub sollten denselben Mandanten zugeordnet sein. Verwenden Sie andernfalls eine der SDK-Optionen, z. B. C# oder Python.

4. Der Bereich Daten erfassen wird mit ausgewählter Registerkarte Ziel geöffnet. Wählen Sie in den Dropdownlisten die Felder Cluster und Datenbank aus. Stellen Sie sicher, dass Sie einen Cluster auswählen, der ausgeführt wird. Andernfalls können Sie datenbank nicht auswählen und mit dem Erfassungsprozess fortfahren.

5. Wählen Sie unter Tabelledie Option Neue Tabelle aus, und geben Sie einen Namen für die neue Tabelle ein. Alternativ können Sie eine vorhandene Tabelle verwenden.

6. Wählen Sie die Option Weiter: Quelle aus.

7. Unter Quelltyp werden der Event Hub-Typ und die Details basierend auf der Event Hubs-Instanz, mit der Sie gestartet haben, automatisch aufgefüllt.

8. Füllen Sie unter Datenverbindung die folgenden Felder aus, und wählen Sie Weiter: Schema aus.

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Subscription		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace		Der Name, der Ihren Namespace bezeichnet
   Event Hub		Der zu verwendende Event Hub
   Name der Datenverbindung	TestDataConnection	Der Name, der Ihre Datenverbindung bezeichnet
   Consumergruppe		Die in Ihrem Event Hub definierte Consumergruppe
   Komprimierung		Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
   Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Startdatum des Ereignisabrufs	UTC (Coordinated Universal Time)	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Nur Ereignisse, die vom Aufbewahrungszeitraum von Event Hubs aufbewahrt werden, können abgerufen werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit der Zeitpunkt, zu dem die Datenverbindung erstellt wird.

9. Wenn das Streaming für den Cluster aktiviert ist, können Sie Streamingerfassung auswählen. Wenn das Streaming für den Cluster nicht aktiviert ist, legen Sie die Datenbatchlatenz fest. Für Event Hubs beträgt die empfohlene Batchverarbeitungszeit 30 Sekunden.

   

10. Wählen Sie das Datenformat aus. Ignorieren Sie bei CSV-formatierten Daten den ersten Datensatz , um die Überschriftszeile der Datei zu ignorieren. Wählen Sie für JSON-formatierte Daten die Option Datenformatfehler ignorieren aus, um die Daten im JSON-Format zu erfassen, oder lassen Sie die Option nicht ausgewählt, um die Daten im Multijson-Format zu erfassen. Wählen Sie die geschachtelten Ebenen aus, um die Datenteilung der Tabellenspalte zu bestimmen.

11. Wenn die im Vorschaufenster angezeigten Daten nicht vollständig sind, benötigen Sie möglicherweise weitere Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:

    • Verwerfen und neue Daten abrufen: Die dargestellten Daten werden verworfen, und es wird nach neuen Ereignissen gesucht.
    • Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.

    Hinweis

    Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.

12. Wählen Sie Weiter: Zusammenfassung aus.

13. Im Fenster Fortlaufende Erfassung aus Event Hub eingerichtet werden alle Schritte mit grünen Häkchen markiert, wenn die Einrichtung erfolgreich abgeschlossen wurde.

ARM-Vorlage

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
• Ein Azure Data Explorer-Cluster und eine Datenbank Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle. Erstellen Sie eine Tabelle , oder verwenden Sie eine vorhandene Tabelle.
• Eine Erfassungszuordnung für die Tabelle.
• Ein Event Hub mit Daten für die Erfassung.

ARM-Vorlage

Das folgende Beispiel zeigt eine Azure Resource Manager-Vorlage für das Hinzufügen einer Event Hubs-Datenverbindung. Sie können die Vorlage im Azure-Portal mithilfe des Formulars bearbeiten und bereitstellen.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Entfernen einer Event Hub-Datenverbindung

Abrufen von Daten

Entfernen Sie die Datenverbindung über die Azure-Portal, wie auf der Registerkarte Portal erläutert.

Portal

Gehen Sie wie folgt vor, um die Event Hub-Verbindung aus dem Azure-Portal zu entfernen:

1. Zum Custer wechseln Wählen Sie im linken Menü Die Option Datenbanken aus. Wählen Sie dann die Datenbank aus, die die Zieltabelle enthält.
2. Wählen Sie im linken Menü Die Option Datenverbindungen aus. Aktivieren Sie dann das Kontrollkästchen neben der relevanten Event Hub-Datenverbindung.
3. Wählen Sie in der oberen Menüleiste Löschen aus.

Verwandte Inhalte

• Überprüfen der Verbindung mit der Event Hub-Beispielnachrichten-App
• Abfragen von Daten auf der Web-Benutzeroberfläche