Event Hubs-adatkapcsolat létrehozása az Azure Data Explorer

Az Azure Data Explorer az Event Hubsból, egy big data streamplatformból és eseménybetöltési szolgáltatásból kínál betöltést. Az Event Hubs másodpercenként több millió eseményt képes közel valós időben feldolgozni.

Ebben a cikkben egy eseményközponthoz csatlakozik, és adatokat betölt az Azure Data Explorer. Az Event Hubsból való betöltésről az adatkapcsolat Azure Event Hubs című témakörben talál áttekintést.

A Kusto SDK-k használatával történő kapcsolat létrehozásához lásd: Event Hubs-adatkapcsolat létrehozása SDK-kkal.

A korábbi SDK-verziókon alapuló kódmintákért tekintse meg az archivált cikket.

Eseményközpont-adatkapcsolat létrehozása

Ebben a szakaszban kapcsolatot létesít az eseményközpont és az Azure Data Explorer tábla között. Amíg ez a kapcsolat működik, a rendszer adatokat továbbít az eseményközpontból a céltáblába. Ha az eseményközpontot egy másik erőforrásba vagy előfizetésbe helyezi át, frissítenie kell vagy újra létre kell hoznia a kapcsolatot.

Adatok lekérése

Előfeltételek

• Microsoft-fiók vagy Microsoft Entra felhasználói identitás. Nincs szükség Azure-előfizetésre.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
• A streambetöltést konfigurálni kell az Azure Data Explorer-fürtön.

Adatok lekérése

1. A bal oldali menüben válassza a Lekérdezés lehetőséget.

2. Kattintson a jobb gombbal arra az adatbázisra, ahová az adatokat be szeretné helyezni. Válassza az Adatok lekérése lehetőséget.

   

Forrás

Az Adatok lekérése ablakban a Forrás lap van kiválasztva.

Válassza ki az adatforrást az elérhető listából. Ebben a példában az Event Hubsból fog adatokat beszedni.

Konfigurálás

1. Válasszon ki egy céladatbázist és -táblát. Ha adatokat szeretne bevinni egy új táblába, válassza az + Új tábla lehetőséget, és adjon meg egy táblanevet.

   Megjegyzés

   A táblanevek legfeljebb 1024 karakterből állhatnak, beleértve a szóközöket, az alfanumerikusokat, a kötőjeleket és az aláhúzásokat. A speciális karakterek nem támogatottak.

   

2. Töltse ki az alábbi mezőket:

   Beállítás	Mező leírása
   Előfizetés	Az előfizetés azonosítója, ahol az eseményközpont erőforrása található.
   Eseményközpont-névtér	A névteret azonosító név.
   Eseményközpont	A kívánt eseményközpont
   Fogyasztói csoport	Az eseményben definiált fogyasztói csoport
   Adatkapcsolat neve	Az adatkapcsolatot azonosító név.
   Speciális szűrők
   Tömörítés	Az eseményközpont üzeneteinek hasznos adattartalmainak tömörítési típusa.
   Eseményrendszer tulajdonságai	Az eseményközpont rendszertulajdonságai. Ha eseményüzenetenként több rekord van, a rendszertulajdonságok hozzá lesznek adva az elsőhöz. Rendszertulajdonságok hozzáadásakor hozzon létre vagy frissítse a táblaséma és a leképezést a kiválasztott tulajdonságok belefoglalásához.
   Eseménylekérés kezdő dátuma	Az adatkapcsolat lekéri az eseménylekérés kezdési dátuma után létrehozott meglévő Event Hubs-eseményeket. Csak az Event Hubs megőrzési időszaka által megőrzött események kérhetők le. Ha az esemény lekérésének kezdő dátuma nincs megadva, az alapértelmezett időpont az adatkapcsolat létrehozásának időpontja.

3. Kattintson a Tovább gombra.

Ellenőrizni

Megnyílik a Vizsgálat lap az adatok előnézetével.

A betöltési folyamat befejezéséhez válassza a Befejezés lehetőséget.

Vagy:

• Ha az előnézeti ablakban látható adatok nem teljesek, előfordulhat, hogy több adatra van szüksége egy tábla létrehozásához, amely tartalmazza az összes szükséges adatmezőt. Az alábbi parancsokkal új adatokat hívhat le az eseményközpontból:

  • Új adatok elvetése és beolvasása: Elveti a megjelenített adatokat, és új eseményeket keres.

  • További adatok beolvasása: A már talált események mellett további eseményeket is keres.

    Megjegyzés

    Az adatok előnézetének megtekintéséhez az eseményközpontnak eseményeket kell küldenie.

• Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.

• A Sémadefiníciós fájl legördülő menüben módosíthatja azt a fájlt, amelyből a séma származik.

• Az automatikusan levont adatformátum módosításához válassza ki a kívánt formátumot a legördülő listából. A betöltésről az Azure Data Explorer által támogatott adatformátumok című témakörben olvashat.

• Oszlopok szerkesztése.

• Ismerkedjen meg az adattípuson alapuló speciális lehetőségekkel.

Oszlopok szerkesztése

Megjegyzés

• Táblázatos formátumok (CSV, TSV, PSV) esetén nem lehet kétszer leképezni egy oszlopot. Meglévő oszlopra való leképezéshez először törölje az új oszlopot.
• Meglévő oszloptípus nem módosítható. Ha egy másik formátumú oszlopra próbál leképezést végezni, előfordulhat, hogy üres oszlopokat tartalmaz.

A táblázatban végrehajtott módosítások a következő paraméterektől függnek:

• A táblatípus új vagy meglévő
• A leképezés típusa új vagy meglévő

Táblatípus	Leképezés típusa	Elérhető módosítások
Új táblázat	Új leképezés	Oszlop átnevezése, adattípus módosítása, adatforrás módosítása, átalakítás leképezése, oszlop hozzáadása, oszlop törlése
Meglévő tábla	Új leképezés	Oszlop hozzáadása (amelyen módosíthatja az adattípust, átnevezheti és frissítheti)
Meglévő tábla	Meglévő leképezés	Nincs

Átalakítások leképezése

Egyes adatformátum-leképezések (Parquet, JSON és Avro) támogatják az egyszerű betöltési idejű átalakításokat. A leképezési átalakítások alkalmazásához hozzon létre vagy frissítsen egy oszlopot az Oszlopok szerkesztése ablakban.

A leképezési átalakítások egy sztring vagy datetime típusú oszlopon hajthatók végre, és a forrás adattípusa int vagy long. A támogatott leképezési átalakítások a következők:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Speciális beállítások adattípus alapján

Táblázatos (CSV, TSV, PSV):

• Ha táblázatos formátumokat használ egy meglévő táblában, válassza azAktuális táblaséma megőrzésespeciális> lehetőséget. A táblázatos adatok nem feltétlenül tartalmazzák a forrásadatok meglévő oszlopokra való leképezéséhez használt oszlopneveket. Ha ez a beállítás be van jelölve, a leképezés sorrendben történik, és a táblaséma változatlan marad. Ha ez a beállítás nincs bejelölve, a rendszer az adatstruktúrától függetlenül új oszlopokat hoz létre a bejövő adatokhoz.

• Ha az első sort oszlopnévként szeretné használni, válassza a Speciális>első sor oszlopfejlécként lehetőséget.

  

JSON:

• A JSON-adatok oszlopelosztásának meghatározásához válassza a Speciális>beágyazott szintek lehetőséget 1 és 100 között.

• Ha az AdvancedIgnore data format errors (Speciális > adatformátum-hibák figyelmen kívül hagyása) lehetőséget választja, az adatok JSON formátumban lesznek betöltve. Ha bejelöletlenül hagyja ezt a jelölőnégyzetet, az adatok többjsonos formátumban lesznek betöltve.

  

Összefoglalás

Az Adat-előkészítés ablakban mind a három lépés zöld pipával van megjelölve, amikor az adatbetöltés sikeresen befejeződik. Megtekintheti az egyes lépésekhez használt parancsokat, vagy kiválaszthat egy kártyát a betöltött adatok lekérdezéséhez, megjelenítéséhez vagy elvetéséhez.

Portál – Azure Data Explorer lap

Előfeltételek

• Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
• Céltábla. Hozzon létre egy táblát , vagy használjon egy meglévő táblát.
• A tábla betöltési leképezése .
• Egy adatbetöltési adatokat tartalmazó eseményközpont .

Adatok lekérése

1. A Azure Portal nyissa meg a fürtöt, és válassza az Adatbázisok lehetőséget. Ezután válassza ki a céltáblát tartalmazó adatbázist.

   

2. A bal oldali menüben válassza az Adatbetöltés lehetőséget. Ezután a felső sávon válassza az Adatkapcsolat hozzáadása lehetőséget.

3. Töltse ki az űrlapot az alábbi információkkal, majd válassza a Létrehozás lehetőséget.

   Beállítás	Ajánlott érték	Mező leírása
   Adatkapcsolat neve	test-hub-connection	Az Azure Data Explorerben létrehozni kívánt kapcsolat neve.
   Előfizetés		Az előfizetés azonosítója, ahol az eseményközpont-erőforrás található.
   Eseményközpont-névtér	A névtér egyedi neve	A korábban a névtér azonosításához választott név.
   Eseményközpont	test-hub	A létrehozott eseményközpont.
   Fogyasztói csoport	test-group	A létrehozott eseményközponton definiált fogyasztói csoport.
   Eseményrendszer tulajdonságai	Releváns tulajdonságok kiválasztása	Az eseményközpont rendszertulajdonságai. Ha eseményüzenetenként több rekord is van, a rendszertulajdonságok hozzá lesznek adva az első rekordhoz. Rendszertulajdonságok hozzáadásakor hozzon létre vagy frissítse a táblasémát és a leképezést a kiválasztott tulajdonságok belefoglalásához.
   Tömörítés	Nincs	Az eseményközpont üzeneteinek hasznos adattartalmainak tömörítési típusa. Támogatott tömörítési típusok: Nincs, Gzip.
   Felügyelt identitás (ajánlott)	Rendszer által hozzárendelt	A Data Explorer fürt által az eseményközpontból való olvasáshoz való hozzáféréshez használt felügyelt identitás. Azt javasoljuk, hogy felügyelt identitásokkal szabályozza az eseményközponthoz való hozzáférést. Megjegyzés: Az adatkapcsolat létrehozásakor: * A rendszer automatikusan létrehozza a rendszer által hozzárendelt identitásokat, ha nem léteznek * A felügyelt identitás automatikusan hozzárendeli a Azure Event Hubs Adatfogadó szerepkört, és hozzáadja a Data Explorer fürthöz. Javasoljuk, hogy ellenőrizze, hogy a szerepkör hozzá lett-e rendelve, és hogy az identitás hozzá lett-e adva a fürthöz.

   Megjegyzés

   Ha olyan meglévő adatkapcsolattal rendelkezik, amely nem használ felügyelt identitásokat, javasoljuk, hogy frissítse a felügyelt identitások használatára.

Portál – Azure Event Hubs oldal

Előfeltételek

• Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
• Céltábla. Hozzon létre egy táblát , vagy használjon egy meglévő táblát.
• A tábla betöltési leképezése .
• Egy adatbetöltési adatokat tartalmazó eseményközpont .

Adatok lekérése

1. Az Azure Portal keresse meg az Event Hubs-példányt.

2. A Szolgáltatások oldalmenüben válassza az Adatok elemzése a Kusto használatával lehetőséget.

3. Válassza a Start gombot a betöltési varázsló Azure Data Explorer való megnyitásához.

   

   Megjegyzés

   • Legalább adatbázis-felhasználói engedélyekkel kell rendelkeznie.
   • Ha nyilvános hozzáférés nélküli hozzáférést szeretne engedélyezni egy fürt és egy tárfiók között, olvassa el a Felügyelt privát végpont létrehozása című témakört.
   • A fürtöt és az eseményközpontot ugyanahhoz a bérlőhöz kell társítani. Ha nem, használja az SDK egyik beállítását, például a C# vagy a Python lehetőséget.

4. Megnyílik az Adatok betöltése oldalpanel, amelyen a Cél lap van kijelölve. Válassza ki a Fürt és adatbázis mezőket a legördülő menüből. Győződjön meg arról, hogy kiválaszt egy futó fürtöt. Ellenkező esetben nem fogja tudni kiválasztani az Adatbázis lehetőséget, és folytatni a betöltési folyamatot.

5. A Tábla területen válassza az Új tábla lehetőséget, és adja meg az új tábla nevét. Másik lehetőségként használjon egy Meglévő táblát.

6. Válassza a Tovább: Forrás lehetőséget.

7. A Forrás típusa területen az eseményközpont típusa és részletei automatikusan fel lesznek töltve a kiinduló Event Hubs-példány alapján.

8. Az Adatkapcsolat területen töltse ki a következő mezőket, és válassza a Tovább: Séma lehetőséget.

   Beállítás	Ajánlott érték	Mező leírása
   Előfizetés		Az előfizetés azonosítója, ahol az eseményközpont erőforrása található.
   Eseményközpont-névtér		A névteret azonosító név.
   Eseményközpont		A használni kívánt eseményközpont.
   Adatkapcsolat neve	TestDataConnection	Az adatkapcsolatot azonosító név.
   Fogyasztói csoport		Az eseményközpontban definiált fogyasztói csoport.
   Tömörítés		Az eseményközpont üzeneteinek hasznos adattartalmainak tömörítési típusa.
   Eseményrendszer tulajdonságai	Releváns tulajdonságok kiválasztása	Az eseményközpont rendszertulajdonságai. Ha eseményüzenetenként több rekord van, a rendszertulajdonságok hozzá lesznek adva az elsőhöz. Rendszertulajdonságok hozzáadásakor hozzon létre vagy frissítse a táblaséma és a leképezést a kiválasztott tulajdonságok belefoglalásához.
   Eseménylekérés kezdő dátuma	Koordinált egyetemes idő (UTC)	Az adatkapcsolat lekéri az eseménylekérés kezdési dátuma után létrehozott meglévő Event Hubs-eseményeket. Csak az Event Hubs megőrzési időszaka által megőrzött események kérhetők le. Ha az esemény lekérésének kezdő dátuma nincs megadva, az alapértelmezett időpont az adatkapcsolat létrehozásának időpontja.

9. Ha a streamelés engedélyezve van a fürthöz, válassza a Streambetöltés lehetőséget. Ha a streamelés nincs engedélyezve a fürthöz, állítsa be az Adatkötegelés késését. Az Event Hubs esetében az ajánlott kötegelési idő 30 másodperc.

   

10. Válassza ki az Adatformátumot. CSV-formátumú adatok esetén hagyja figyelmen kívül a fájl címsorsorát az első rekord figyelmen kívül hagyásához. JSON-formátumú adatok esetén válassza az Adatformátum-hibák mellőzése lehetőséget az adatok JSON formátumban való betöltéséhez, vagy hagyja bejelöletlenül az adatok többjsonos formátumban való betöltéséhez. Válassza ki a beágyazott szinteket a táblaoszlop adatmegosztásának meghatározásához.

11. Ha az előnézeti ablakban látható adatok nem teljesek, előfordulhat, hogy több adatra van szüksége egy tábla létrehozásához, amely tartalmazza az összes szükséges adatmezőt. Az alábbi parancsokkal új adatokat hívhat le az eseményközpontból:

    • Új adatok elvetése és beolvasása: elveti a megjelenített adatokat, és új eseményeket keres.
    • További adatok beolvasása: A már talált események mellett további eseményeket is keres.

    Megjegyzés

    Az adatok előnézetének megtekintéséhez az eseményközpontnak eseményeket kell küldenie.

12. Válassza a Tovább: Összegzés lehetőséget.

13. Az Event Hubból létrehozott folyamatos betöltés ablakban az összes lépés zöld pipával van megjelölve, amikor a létrehozás sikeresen befejeződik.

ARM-sablon

Előfeltételek

• Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
• Céltábla. Hozzon létre egy táblát , vagy használjon egy meglévő táblát.
• A tábla betöltési leképezése .
• Egy adatbetöltési adatokat tartalmazó eseményközpont .

ARM-sablon

Az alábbi példa egy Azure Resource Manager-sablont mutat be egy Event Hubs-adatkapcsolat hozzáadásához. A sablont az űrlap használatával szerkesztheti és helyezheti üzembe a Azure Portal.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Eseményközpont adatkapcsolatának eltávolítása

Adatok lekérése

Távolítsa el az adatkapcsolatot a Azure Portal a Portál lapon leírtak szerint.

Portál

Ha el szeretné távolítani az eseményközpont-kapcsolatot a Azure Portal, tegye a következőket:

1. Nyissa meg a fürtöt. A bal oldali menüben válassza az Adatbázisok lehetőséget. Ezután válassza ki a céltáblát tartalmazó adatbázist.
2. A bal oldali menüben válassza az Adatkapcsolatok lehetőséget. Ezután jelölje be a megfelelő eseményközpont-adatkapcsolat melletti jelölőnégyzetet.
3. A felső menüsávon válassza a Törlés lehetőséget.

Kapcsolódó tartalom

• Ellenőrizze a kapcsolatot az Event Hub mintaüzenet-alkalmazással
• Adatok lekérdezése a webes felhasználói felületen