Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer

Artikel
05/03/2023

Azure Data Explorer bietet die Erfassung von Event Hubs, einer Big Data-Streamingplattform und einem Ereigniserfassungsdienst. Event Hubs kann Millionen von Ereignissen pro Sekunde nahezu in Echtzeit verarbeiten.

In diesem Artikel stellen Sie eine Verbindung mit einem Event Hub her und erfassen Daten in Azure Data Explorer. Eine Übersicht über die Erfassung von Event Hubs finden Sie unter Azure Event Hubs Datenverbindung.

Voraussetzungen

Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
Ein Azure Data Explorer-Cluster und eine Datenbank Erstellen eines Clusters und einer Datenbank
Eine Zieltabelle. Erstellen Sie eine Tabelle , oder verwenden Sie eine vorhandene Tabelle.
Eine Erfassungszuordnung für die Tabelle.
Ein Event Hub mit Daten für die Erfassung.

Erstellen einer Event Hub-Datenverbindung

In diesem Abschnitt stellen Sie eine Verbindung zwischen dem Event Hub und Ihrer Azure-Data Explorer-Tabelle her. Solange diese Verbindung besteht, werden Daten vom Event Hub in Ihre Zieltabelle übertragen. Wenn der Event Hub in eine andere Ressource oder ein anderes Abonnement verschoben wird, müssen Sie die Verbindung aktualisieren oder neu erstellen.

Navigieren Sie im Azure-Portal zu Ihrem Cluster, und wählen Sie Datenbanken aus. Wählen Sie dann die Datenbank aus, die Ihre Zieltabelle enthält.
Wählen Sie im linken Menü die Option Datenerfassung aus. Wählen Sie dann in der oberen Leiste Datenverbindung hinzufügen aus.

Füllen Sie das Formular mit den folgenden Informationen aus, und wählen Sie dann Erstellen aus.

Einstellung	Empfohlener Wert	Feldbeschreibung
Name der Datenverbindung	test-hub-connection	Der Name der Verbindung, die Sie im Azure-Daten-Explorer erstellen möchten.
Subscription		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
Event Hub-Namespace	Ein eindeutiger Namespacename	Der von Ihnen zuvor ausgewählte Name, der Ihren Namespace identifiziert.
Event Hub	test-hub	Der von Ihnen erstellte Event Hub.
Consumergruppe	test-group	Die Consumergruppe, die in dem von Ihnen erstellten Event Hub definiert ist.
Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn mehrere Datensätze pro Ereignisnachricht vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
Komprimierung	None	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast. Unterstützte Komprimierungstypen: Ohne, GZip.
Verwaltete Identität (empfohlen)	Systemseitig zugewiesen	Die verwaltete Identität, die vom Data Explorer-Cluster für den Zugriff zum Lesen im Event Hub verwendet wird. Es wird empfohlen, verwaltete Identitäten zu verwenden, um den Zugriff auf Ihren Event Hub zu steuern. Hinweis: Wenn die Datenverbindung erstellt wird: * Systemseitig zugewiesene Identitäten werden automatisch erstellt, wenn sie nicht vorhanden sind. * Der verwalteten Identität wird automatisch die Rolle Azure Event Hubs-Datenempfänger zugewiesen, und sie wird Ihrem Data Explorer-Cluster hinzugefügt. Es wird empfohlen, zu überprüfen, ob die Rolle zugewiesen und die Identität dem Cluster hinzugefügt wurde.

Hinweis

Wenn Sie über eine vorhandene Datenverbindung verfügen, die keine verwalteten Identitäten verwendet, wird empfohlen, sie für die Verwendung verwalteter Identitäten zu aktualisieren.

Die folgenden Schritte führen Sie durch das Erstellen einer Event Hub-Verbindung über den Erfassungs-Assistenten auf der Azure Data Explorer-Webbenutzeroberfläche.

Hinweis

Um den Assistenten verwenden zu können, müssen Sie mindestens über Datenbankbenutzerberechtigungen verfügen.
Informationen zum Aktivieren des Zugriffs zwischen einem Cluster und einem Speicherkonto ohne öffentlichen Zugriff finden Sie unter Erstellen eines verwalteten privaten Endpunkts.
Der Cluster und der Event Hub sollten denselben Mandanten zugeordnet sein. Falls nicht, verwenden Sie eine der SDK-Optionen, z. B. C# oder Python.

Wählen Sie auf der Registerkarte Daten der Azure Data Explorer-Webbenutzeroberfläche im Karte Erfassen von Daten aus Event Hub die Option Erfassen aus.
Das Fenster Daten erfassen wird mit ausgewählter Registerkarte Ziel geöffnet. Die Felder Cluster und Datenbank werden automatisch aufgefüllt. Sie können über die Dropdownmenüs einen anderen Cluster oder eine andere Datenbank auswählen.
Wählen Sie unter Tabelle die Option Neue Tabelle aus, und geben Sie einen Namen für die neue Tabelle ein. Alternativ können Sie auch eine vorhandene Tabelle verwenden.
Wählen Sie die Option Weiter: Quelle aus.
Wählen Sie unter Quelltyp die Option Event Hub aus.

Füllen Sie unter Datenverbindung die folgenden Felder aus, und wählen Sie Weiter: Schema aus.

Einstellung	Empfohlener Wert	Feldbeschreibung
Subscription		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
Event Hub-Namespace		Der Name, der Ihren Namespace bezeichnet
Event Hub		Der zu verwendende Event Hub
Name der Datenverbindung	TestDataConnection	Der Name, der Ihre Datenverbindung bezeichnet
Consumergruppe		Die in Ihrem Event Hub definierte Consumergruppe
Komprimierung		Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn mehrere Datensätze pro Ereignismeldung vorhanden sind, werden die Systemeigenschaften dem ersten Hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
Startdatum des Ereignisabrufs	Koordinierte Weltzeit (UTC)	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Nur Ereignisse, die vom Aufbewahrungszeitraum von Event Hubs beibehalten werden, können abgerufen werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit der Zeitpunkt, zu dem die Datenverbindung erstellt wird.

Legen Sie die Erfassungsrichtlinie fest. Wenn streaming für den Cluster aktiviert ist, können Sie Streamingerfassung auswählen. Wenn das Streaming für den Cluster nicht aktiviert ist, legen Sie die Batchverarbeitungszeit fest. Für Event Hubs beträgt die empfohlene Batchverarbeitungszeit 30 Sekunden.
Wählen Sie das Datenformat aus. Ignorieren Sie bei CSV-formatierten Daten den ersten Datensatz , um die Überschriftenzeile der Datei zu ignorieren. Wählen Sie für JSON-formatierte Daten die Option Datenformatfehler ignorieren aus, um die Daten im JSON-Format zu erfassen, oder lassen Sie die Option deaktiviert, um die Daten im Multijson-Format zu erfassen. Wählen Sie die geschachtelten Ebenen aus, um die Datenteilung der Tabellenspalte zu bestimmen.
Sind die im Vorschaufenster angezeigten Daten nicht vollständig, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:
- Verwerfen und neue Daten abrufen: Die dargestellten Daten werden verworfen, und es wird nach neuen Ereignissen gesucht.
- Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.
Hinweis

Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.
Wählen Sie Weiter: Zusammenfassung aus.
Im Fenster Fortlaufende Erfassung von Event Hub eingerichtet werden alle Schritte mit grünen Häkchen gekennzeichnet, wenn die Einrichtung erfolgreich abgeschlossen ist.

Installieren Sie das NuGet-Paket Microsoft.Azure.Management.Kusto.
Erstellen Sie einen Azure AD-Anwendungsprinzipal , der für die Authentifizierung verwendet werden soll. Sie benötigen die Verzeichnis-ID (Mandanten-ID), die Anwendungs-ID und den geheimen Clientschlüssel.

Führen Sie den folgenden Code aus.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Einstellung	Empfohlener Wert	Feldbeschreibung
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ihre Mandanten-ID. Wird auch als Verzeichnis-ID bezeichnet.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Abonnement-ID, die Sie für die Ressourcenerstellung verwenden.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Client-ID der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
clientSecret	PlaceholderClientSecret	Das Clientgeheimnis der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
resourceGroupName	testrg	Der Name der Ressourcengruppe, die Ihren Cluster enthält.
clusterName	mykustocluster	Der Name Ihres Clusters.
databaseName	mykustodatabase	Der Name der Zieldatenbank in Ihrem Cluster.
eventHubConnectionName	myeventhubconnect	Der gewünschte Name Ihrer Datenverbindung.
tableName	StormEvents	Der Name der Zieltabelle in der Zieldatenbank.
mappingRuleName	StormEvents_CSV_Mapping	Der Name der Spaltenzuordnung, die mit der Zieltabelle verknüpft ist.
dataFormat	csv	Das Datenformat der Nachricht.
eventHubResourceId	Ressourcen-ID	Die Ressourcen-ID Ihres Event Hubs mit den Daten für die Erfassung
consumerGroup	$Default	Die Consumergruppe Ihres Event Hubs.
location	USA, Mitte	Der Speicherort der Datenverbindungsressource.
compression	Gzip oder Keine	Der Typ der Datenkomprimierung
databaseRouting	Multi oder Single	Das Datenbankrouting für die Verbindung. Wenn Sie den Wert auf Single festlegen, wird die Datenverbindung an eine einzelne Datenbank im Cluster weitergeleitet, wie in der Einstellung databaseName angegeben. Wenn Sie den Wert auf Multi festlegen, können Sie die Standardzieldatenbank mithilfe der ErfassungseigenschaftDatabase überschreiben. Weitere Informationen finden Sie unter Ereignisrouting.

Installieren Sie die erforderlichen Bibliotheken.

pip install azure-common
pip install azure-mgmt-kusto

Erstellen Sie einen Azure AD-Anwendungsprinzipal , der für die Authentifizierung verwendet werden soll. Sie benötigen die Verzeichnis-ID (Mandanten-ID), die Anwendungs-ID und den geheimen Clientschlüssel.

Führen Sie den folgenden Code aus.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Einstellung	Empfohlener Wert	Feldbeschreibung
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ihre Mandanten-ID. Wird auch als Verzeichnis-ID bezeichnet.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Abonnement-ID, die Sie für die Ressourcenerstellung verwenden.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Client-ID der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
client_secret	xxxxxxxxxxxxxx	Das Clientgeheimnis der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
resource_group_name	myresourcegroup	Der Name der Ressourcengruppe, die Ihren Cluster enthält.
cluster_name	mycluster	Der Name Ihres Clusters.
database_name	mydatabase	Der Name der Zieldatenbank in Ihrem Cluster.
data_connection_name	myeventhubconnect	Der gewünschte Name Ihrer Datenverbindung.
table_name	mytable	Der Name der Zieltabelle in der Zieldatenbank.
mapping_rule_name	mytablemappingrule	Der Name der Spaltenzuordnung, die mit der Zieltabelle verknüpft ist.
data_format	csv	Das Datenformat der Nachricht.
event_hub_resource_id	Ressourcen-ID	Die Ressourcen-ID Ihres Event Hubs mit den Daten für die Erfassung
consumer_group	$Default	Die Consumergruppe Ihres Event Hubs.
location	USA, Mitte	Der Speicherort der Datenverbindungsressource.
databaseRouting	Multi oder Single	Das Datenbankrouting für die Verbindung. Wenn Sie den Wert auf Single festlegen, wird die Datenverbindung an eine einzelne Datenbank im Cluster weitergeleitet, wie in der Einstellung databaseName angegeben. Wenn Sie den Wert auf Multi festlegen, können Sie die Standardzieldatenbank mithilfe der ErfassungseigenschaftDatabase überschreiben. Weitere Informationen finden Sie unter Ereignisrouting.

Das folgende Beispiel zeigt eine Azure Resource Manager-Vorlage für das Hinzufügen einer Event Hubs-Datenverbindung. Sie können die Vorlage im Azure-Portal mithilfe des Formulars bearbeiten und bereitstellen.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Entfernen einer Event Hub-Datenverbindung

Gehen Sie wie folgt vor, um die Event Hub-Verbindung aus dem Azure-Portal zu entfernen:

Zum Custer wechseln Wählen Sie im Menü auf der linken Seite Datenbanken aus. Wählen Sie dann die Datenbank aus, die die Zieltabelle enthält.
Wählen Sie im Menü auf der linken Seite Datenverbindungen aus. Aktivieren Sie dann das Kontrollkästchen neben der relevanten Event Hub-Datenverbindung.
Wählen Sie in der oberen Menüleiste Löschen aus.

Führen Sie den folgenden Befehl aus, um die Event Hub-Verbindung zu entfernen:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);