Event Hubs-adatkapcsolat létrehozása az Azure Data Explorer

Cikk
05/03/2023

Az Azure Data Explorer az Event Hubsból, egy big data streamelési platformról és egy eseménybetöltési szolgáltatásból kínál betöltési szolgáltatást. Az Event Hubs másodpercenként több millió eseményt képes feldolgozni közel valós időben.

Ebben a cikkben egy eseményközponthoz fog csatlakozni, és adatokat fog beszúrni az Azure Data Explorer. Az Event Hubsból való betöltés áttekintését lásd: Azure Event Hubs adatkapcsolat.

Előfeltételek

Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
Céltábla. Hozzon létre egy táblát , vagy használjon egy meglévő táblát.
A tábla betöltési leképezése .
Egy adatbetöltési adatokat tartalmazó eseményközpont .

Eseményközpont-adatkapcsolat létrehozása

Ebben a szakaszban kapcsolatot fog létesíteni az eseményközpont és az Azure Data Explorer tábla között. Amíg ez a kapcsolat működik, a rendszer adatokat továbbít az eseményközpontból a céltáblába. Ha az eseményközpontot egy másik erőforrásba vagy előfizetésbe helyezi át, frissítenie vagy újra létre kell hoznia a kapcsolatot.

A Azure Portal nyissa meg a fürtöt, és válassza az Adatbázisok lehetőséget. Ezután válassza ki a céltáblát tartalmazó adatbázist.
A bal oldali menüben válassza az Adatbetöltés lehetőséget. Ezután a felső sávon válassza az Adatkapcsolat hozzáadása lehetőséget.

Töltse ki az űrlapot az alábbi információkkal, majd válassza a Létrehozás lehetőséget.

Beállítás	Ajánlott érték	Mező leírása
Adatkapcsolat neve	test-hub-connection	Az Azure Data Explorerben létrehozni kívánt kapcsolat neve.
Előfizetés		Az előfizetés azonosítója, ahol az eseményközpont-erőforrás található.
Eseményközpont-névtér	A névtér egyedi neve	A korábban a névtér azonosításához választott név.
Eseményközpont	test-hub	A létrehozott eseményközpont.
Fogyasztói csoport	test-group	A létrehozott eseményközponton definiált fogyasztói csoport.
Eseményrendszer tulajdonságai	Releváns tulajdonságok kiválasztása	Az eseményközpont rendszertulajdonságai. Ha eseményüzenetenként több rekord is van, a rendszertulajdonságok hozzá lesznek adva az első rekordhoz. Rendszertulajdonságok hozzáadásakor hozzon létre vagy frissítse a táblasémát és a leképezést a kiválasztott tulajdonságok belefoglalásához.
Tömörítés	Nincs	Az eseményközpont üzeneteinek hasznos adattartalmainak tömörítési típusa. Támogatott tömörítési típusok: Nincs, Gzip.
Felügyelt identitás (ajánlott)	Rendszer által hozzárendelt	A Data Explorer fürt által az eseményközpontból való olvasáshoz való hozzáféréshez használt felügyelt identitás. Azt javasoljuk, hogy felügyelt identitásokkal szabályozza az eseményközponthoz való hozzáférést. Megjegyzés: Az adatkapcsolat létrehozásakor: * A rendszer automatikusan létrehozza a rendszer által hozzárendelt identitásokat, ha nem léteznek * A felügyelt identitás automatikusan hozzárendeli a Azure Event Hubs Adatfogadó szerepkört, és hozzáadja a Data Explorer fürthöz. Javasoljuk, hogy ellenőrizze, hogy a szerepkör hozzá lett-e rendelve, és hogy az identitás hozzá lett-e adva a fürthöz.

Megjegyzés

Ha olyan meglévő adatkapcsolattal rendelkezik, amely nem használ felügyelt identitásokat, javasoljuk, hogy frissítse a felügyelt identitások használatára.

Az alábbi lépések végigvezetik egy eseményközpont-kapcsolat létrehozásán az Azure Data Explorer webes felhasználói felületén található betöltési varázslón keresztül.

Megjegyzés

A varázsló használatához legalább adatbázis-felhasználói engedélyekkel kell rendelkeznie.
Ha nyilvános hozzáférés nélküli hozzáférést szeretne engedélyezni egy fürt és egy tárfiók között, olvassa el a Felügyelt privát végpont létrehozása című témakört.
A fürtöt és az eseményközpontot ugyanahhoz a bérlőhöz kell társítani. Ha nem, használja az SDK egyik beállítását, például a C# vagy a Python lehetőséget.

Az Azure Data Explorer webes felhasználói felületAdatoklapján válassza az Adatok betöltése az Event Hub-kártyáról lehetőséget.
Megnyílik az Adatok betöltése ablak, amelyen a Cél lap van kijelölve. A Fürt és az Adatbázis mezők automatikusan fel vannak töltve. Választhat másik fürtöt vagy adatbázist a legördülő menükből.
A Tábla területen válassza az Új tábla lehetőséget, és adja meg az új tábla nevét. Másik lehetőségként használjon egy meglévő táblát.
Válassza a Tovább: Forrás lehetőséget.
A Forrás típusa területen válassza az Eseményközpont lehetőséget.

Az Adatkapcsolat területen töltse ki a következő mezőket, és válassza a Tovább: Séma lehetőséget.

Beállítás	Ajánlott érték	Mező leírása
Előfizetés		Az előfizetés azonosítója, ahol az eseményközpont-erőforrás található.
Eseményközpont-névtér		A névteret azonosító név.
Eseményközpont		A használni kívánt eseményközpont.
Adatkapcsolat neve	TestDataConnection	Az adatkapcsolatot azonosító név.
Fogyasztói csoport		Az eseményközpontban definiált fogyasztói csoport.
Tömörítés		Az eseményközpont üzeneteinek hasznos adattartalmainak tömörítési típusa.
Eseményrendszer tulajdonságai	Releváns tulajdonságok kiválasztása	Az eseményközpont rendszertulajdonságai. Ha eseményüzenetenként több rekord van, a rendszertulajdonságok hozzá lesznek adva az elsőhöz. Rendszertulajdonságok hozzáadásakor hozzon létre vagy frissítse a táblaséma és a leképezést a kiválasztott tulajdonságok belefoglalásához.
Eseménylekérés kezdő dátuma	Koordinált egyetemes idő (UTC)	Az adatkapcsolat lekéri az eseménylekérés kezdési dátuma után létrehozott meglévő Event Hubs-eseményeket. Csak az Event Hubs megőrzési időszaka által megőrzött események kérhetők le. Ha az esemény lekérésének kezdő dátuma nincs megadva, az alapértelmezett időpont az adatkapcsolat létrehozásának időpontja.

Állítsa be a betöltési szabályzatot. Ha a streamelés engedélyezve van a fürthöz, válassza a Streambetöltés lehetőséget. Ha a streamelés nincs engedélyezve a fürthöz, állítsa be a kötegelési időt. Az Event Hubs esetében az ajánlott kötegelési idő 30 másodperc.
Válassza ki az Adatformátumot. CSV-formátumú adatok esetén hagyja figyelmen kívül a fájl címsorsorát az első rekord figyelmen kívül hagyásához. JSON-formátumú adatok esetén válassza az Adatformátum-hibák mellőzése lehetőséget az adatok JSON formátumban való betöltéséhez, vagy hagyja bejelöletlenül az adatok többjsonos formátumban való betöltéséhez. Válassza ki a beágyazott szinteket a táblaoszlop adatmegosztásának meghatározásához.
Ha az előnézeti ablakban látható adatok nem teljesek, előfordulhat, hogy több adatra van szüksége ahhoz, hogy az összes szükséges adatmezővel rendelkező táblát hozzon létre. Az alábbi parancsokkal új adatokat hívhat le az eseményközpontból:
- Új adatok elvetése és beolvasása: elveti a megjelenített adatokat, és új eseményeket keres.
- További adatok beolvasása: A már talált események mellett további eseményeket is keres.
Megjegyzés

Az adatok előnézetének megtekintéséhez az eseményközpontnak eseményeket kell küldenie.
Válassza a Tovább: Összegzés lehetőséget.
Az Event Hubból létrehozott folyamatos betöltés ablakban az összes lépés zöld pipával van megjelölve, amikor a létrehozás sikeresen befejeződik.

Telepítse a Microsoft.Azure.Management.Kusto NuGet-csomagot.
Hozzon létre egy Azure AD alkalmazásnevet a hitelesítéshez. Szüksége lesz a címtár (bérlő) azonosítójára, az alkalmazásazonosítóra és az ügyfél titkos kódjára.

Futtassa az alábbi kódot.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Beállítás	Ajánlott érték	Mező leírása
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Az Ön bérlőazonosítója. Más néven könyvtárazonosító.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Az erőforrás-létrehozáshoz használt előfizetés-azonosító.
ügyfél-azonosító	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Annak az alkalmazásnak az ügyfélazonosítója, amely hozzáfér a bérlő erőforrásaihoz.
clientSecret	HelyőrzőClientSecret	Az alkalmazás titkos ügyfélkódja, amely hozzáfér a bérlő erőforrásaihoz.
resourceGroupName	testrg	A fürtöt tartalmazó erőforráscsoport neve.
clusterName	mykustocluster	A fürt neve.
databaseName	mykustodatabase	A fürt céladatbázisának neve.
eventHubConnectionName	myeventhubconnect	Az adatkapcsolat kívánt neve.
tableName	StormEvents	A céltábla neve a céladatbázisban.
mappingRuleName	StormEvents_CSV_Mapping	A céltáblához kapcsolódó oszlopleképezés neve.
dataFormat	Csv	Az üzenet adatformátuma.
eventHubResourceId	Erőforrás-azonosító	Az eseményközpont erőforrás-azonosítója, amely a betöltéshez szükséges adatokat tárolja.
consumerGroup	$Default	Az eseményközpont fogyasztói csoportja.
location	USA középső régiója	Az adatkapcsolati erőforrás helye.
tömörítés	Gzip vagy None	Az adattömörítés típusa.
databaseRouting	Több vagy egyszemélyes	A kapcsolat adatbázis-útválasztása. Ha az értéket Egyetlen értékre állítja, a rendszer az adatkapcsolatot a fürt egyetlen adatbázisába irányítja a databaseName beállításban megadott módon. Ha az értéket Több értékre állítja, felülbírálhatja az alapértelmezett céladatbázist az Adatbázis-betöltési tulajdonság használatával. További információ: Események útválasztása.

Telepítse a szükséges kódtárakat.

pip install azure-common
pip install azure-mgmt-kusto

Hozzon létre egy Azure AD alkalmazásnevet a hitelesítéshez. Szüksége lesz a címtár (bérlő) azonosítójára, az alkalmazásazonosítóra és az ügyfél titkos kódjára.

Futtassa az alábbi kódot.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Beállítás	Ajánlott érték	Mező leírása
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Az Ön bérlőazonosítója. Más néven könyvtárazonosító.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Az erőforrás-létrehozáshoz használt előfizetés-azonosító.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Annak az alkalmazásnak az ügyfél-azonosítója, amely hozzáfér a bérlő erőforrásaihoz.
client_secret	xxxxxxxxxxxxxx	Az alkalmazás titkos ügyfélkódja, amely hozzáfér a bérlő erőforrásaihoz.
resource_group_name	myresourcegroup	A fürtöt tartalmazó erőforráscsoport neve.
cluster_name	mycluster	A fürt neve.
database_name	mydatabase	A fürt céladatbázisának neve.
data_connection_name	myeventhubconnect	Az adatkapcsolat kívánt neve.
table_name	mytable	A céltábla neve a céladatbázisban.
mapping_rule_name	mytablemappingrule	A céltáblához kapcsolódó oszlopleképezés neve.
data_format	Csv	Az üzenet adatformátuma.
event_hub_resource_id	Erőforrás-azonosító	Az eseményközpont erőforrás-azonosítója, amely a betöltéshez szükséges adatokat tárolja.
consumer_group	$Default	Az eseményközpont fogyasztói csoportja.
location	USA középső régiója	Az adatkapcsolati erőforrás helye.
databaseRouting	Több- vagy egyszemélyes	A kapcsolat adatbázis-útválasztása. Ha az értéket Egyetlen értékre állítja, az adatkapcsolat a fürt egyetlen adatbázisához lesz átirányítva a databaseName beállításban megadottak szerint. Ha multi értékre állítja az értéket, felülbírálhatja az alapértelmezett céladatbázist az Adatbázis-betöltési tulajdonság használatával. További információ: Események útválasztása.

Az alábbi példa egy Azure Resource Manager-sablont mutat be egy Event Hubs-adatkapcsolat hozzáadásához. A sablont az űrlap használatával szerkesztheti és helyezheti üzembe a Azure Portal.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Eseményközpont adatkapcsolatának eltávolítása

Ha el szeretné távolítani az eseményközpont-kapcsolatot a Azure Portal, tegye a következőket:

Nyissa meg a fürtöt. A bal oldali menüben válassza az Adatbázisok lehetőséget. Ezután válassza ki a céltáblát tartalmazó adatbázist.
A bal oldali menüben válassza az Adatkapcsolatok lehetőséget. Ezután jelölje be a megfelelő eseményközpont-adatkapcsolat melletti jelölőnégyzetet.
A felső menüsávon válassza a Törlés lehetőséget.

Az eseményközpont-kapcsolat eltávolításához futtassa a következő parancsot:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);