Azure Veri Gezgini için Event Hubs veri bağlantısı oluşturma

Makale
05/03/2023

Azure Veri Gezgini, büyük veri akış platformu ve olay alma hizmeti olan Event Hubs'tan veri alımı sunar. Event Hubs saniyede milyonlarca olayı neredeyse gerçek zamanlı olarak işleyebilir.

Bu makalede bir olay hub'ına bağlanacak ve verileri Azure Veri Gezgini'a ayacaksınız. Event Hubs'tan alma işlemine genel bakış için bkz. veri bağlantısı Azure Event Hubs.

Önkoşullar

Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
Tablo için alım eşlemesi .
Veri alımına yönelik bir olay hub'ı .

Olay hub'ı veri bağlantısı oluşturma

Bu bölümde olay hub'ı ile Azure Veri Gezgini tablonuz arasında bir bağlantı kuracaksınız. Bu bağlantı olduğu sürece veriler olay hub'ından hedef tablonuza iletilir. Olay hub'ı farklı bir kaynağa veya aboneliğe taşınırsa bağlantıyı güncelleştirmeniz veya yeniden oluşturmanız gerekir.

Azure portal kümenize gidin ve Veritabanları'nı seçin. Ardından hedef tablonuzu içeren veritabanını seçin.
Soldaki menüden Veri alımı'nı seçin. Ardından üst çubukta Veri bağlantısı ekle'yi seçin.

Formu aşağıdaki bilgilerle doldurun ve oluştur'u seçin.

Ayar	Önerilen değer	Alan açıklaması
Veri bağlantısı adı	test-hub-connection	Azure Veri Gezgini'nde oluşturmak istediğiniz bağlantının adı.
Abonelik		Olay hub'ı kaynağının bulunduğu abonelik kimliği.
Olay hub’ı ad alanı	Benzersiz bir ad alanı adı	Önceden seçtiğiniz ve ad alanınızı tanımlayan ad.
Olay hub'ı	test-hub	Oluşturduğunuz olay hub'ı.
Tüketici grubu	test-group	Oluşturduğunuz olay hub'ında tanımlanan tüketici grubu.
Olay sistemi özellikleri	İlgili özellikleri seçme	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilk kayda eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
Sıkıştırma	Hiçbiri	Olay hub'ı iletileri yükünün sıkıştırma türü. Desteklenen sıkıştırma türleri: Yok, Gzip.
Yönetilen Kimlik (önerilir)	Sistem tarafından atanan	olay hub'ından okuma erişimi için Veri Gezgini kümesi tarafından kullanılan yönetilen kimlik. Olay hub'ınıza erişimi denetlemek için yönetilen kimlikleri kullanmanızı öneririz. Not: Veri bağlantısı oluşturulduğunda: * Sistem tarafından atanan kimlikler yoksa otomatik olarak oluşturulur * Yönetilen kimliğe otomatik olarak Azure Event Hubs Veri Alıcısı rolü atanır ve Veri Gezgini kümenize eklenir. Rolün atandığını ve kimliğin kümeye eklendiğini doğrulamanızı öneririz.

Not

Yönetilen kimlikleri kullanmayan bir veri bağlantınız varsa, yönetilen kimlikleri kullanmak için bu bağlantıyı güncelleştirmenizi öneririz.

Aşağıdaki adımlar, Azure Veri Gezgini web kullanıcı arabirimindeki alma sihirbazı aracılığıyla olay hub'ı bağlantısı oluşturma işleminde size yol gösterir.

Not

Sihirbazı kullanmak için en az Veritabanı Kullanıcısı izinlerine sahip olmanız gerekir.
Genel erişim olmadan bir küme ile depolama hesabı arasında erişimi etkinleştirmek için bkz. Yönetilen Özel Uç Nokta Oluşturma.
Küme ve olay hub'ı aynı kiracılarla ilişkilendirilmelidir. Aksi takdirde, C# veya Python gibi SDK seçeneklerinden birini kullanın.

Azure Veri Gezgini web kullanıcı arabirimininVerisekmesinden Olay Hub'ından veri al kartından Al'ıseçin.
Veri alma penceresi açılır ve Hedef sekmesi seçili durumdadır. Küme ve Veritabanı alanları otomatik olarak doldurulur. Açılan menülerden farklı bir küme veya veritabanı seçebilirsiniz.
Tablo altında Yeni tablo'yu seçin ve yeni tablo için bir ad girin. Alternatif olarak, mevcut bir tabloyu da kullanabilirsiniz.
İleri: Kaynak'ı seçin.
Kaynak türü'nin altında Olay Hub'ı seçin.

Veri Bağlantısı'nın altında aşağıdaki alanları doldurun ve İleri: Şema'yı seçin.

Ayar	Önerilen değer	Alan açıklaması
Abonelik		Olay hub'ı kaynağının bulunduğu abonelik kimliği.
Olay hub’ı ad alanı		Ad alanınızı tanımlayan ad.
Olay hub'ı		Kullanmak istediğiniz olay hub'ı.
Veri bağlantısı adı	TestDataConnection	Veri bağlantınızı tanımlayan ad.
Tüketici grubu		Olay hub'ınızda tanımlanan tüketici grubu.
Sıkıştırma		Olay hub'ı iletileri yükünün sıkıştırma türü.
Olay sistemi özellikleri	İlgili özellikleri seçin	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilkine eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
Olay alma başlangıç tarihi	Eşgüdümlü Evrensel Saat (UTC)	Veri bağlantısı, Olay alma başlangıç tarihinden sonra oluşturulan mevcut Event Hubs olaylarını alır. Yalnızca Event Hubs'ın saklama süresi tarafından tutulan olaylar alınabilir. Olay alma başlangıç tarihi belirtilmezse, varsayılan saat veri bağlantısının oluşturulduğu zamandır.

Alma ilkesini ayarlayın. Küme için akış etkinleştirildiyse Akış alımı'nı seçebilirsiniz. Küme için akış etkin değilse Toplu işlem süresini ayarlayın. Event Hubs için önerilen toplu işlem süresi 30 saniyedir.
Veri biçimini seçin. CSV biçimli veriler için, dosyanın başlık satırını yoksaymak için ilk kaydı yoksayın. JSON biçimli veriler için, Verileri JSON biçiminde almak için Veri biçimi hatalarını yoksay'ı seçin veya verileri çokson biçiminde almak için seçili değil olarak bırakın. Tablo sütunu veri bölümünü belirlemek için İç içe düzeyler'i seçin.
Önizleme penceresinde gördüğünüz veriler tamamlanmadıysa, tüm gerekli veri alanlarını içeren bir tablo oluşturmak için daha fazla veriye ihtiyacınız olabilir. Olay hub'ınızdan yeni verileri getirmek için aşağıdaki komutları kullanın:
- Yeni verileri at ve getir: Sunulan verileri atar ve yeni olayları arar.
- Daha fazla veri getirme: Önceden bulunan olaylara ek olarak daha fazla olay arar.
Not

Verilerinizin önizlemesini görmek için olay hub'ınızın olay gönderiyor olması gerekir.
İleri: Özet'i seçin.
Olay Hub'ından sürekli alım oluşturuldu penceresinde, kuruluş başarıyla tamamlandığında tüm adımlar yeşil onay işaretleriyle işaretlenir.

Microsoft.Azure.Management.Kusto NuGet paketini yükleyin.
Kimlik doğrulaması için kullanılacak bir Azure AD uygulama sorumlusu oluşturun. Dizin (kiracı) kimliği, uygulama kimliği ve istemci gizli dizisi gerekir.

Aşağıdaki kodu çalıştırın.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Ayar	Önerilen değer	Alan açıklaması
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Kiracı kimliğiniz. Dizin kimliği olarak da bilinir.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Kaynak oluşturmak için kullandığınız abonelik kimliği.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Kiracınızdaki kaynaklara erişebilen uygulamanın istemci kimliği.
clientSecret	PlaceholderClientSecret	Kiracınızdaki kaynaklara erişebilen uygulamanın istemci gizli dizisi.
resourceGroupName	testrg	Kümenizi içeren kaynak grubunun adı.
clusterName	mykustocluster	Kümenizin adı.
veritabanıAdı	mykustodatabase	Kümenizdeki hedef veritabanının adı.
eventHubConnectionName	myeventhubconnect	Veri bağlantınızın istenen adı.
tableName	StormEvents	Hedef veritabanındaki hedef tablonun adı.
mappingRuleName	StormEvents_CSV_Mapping	Hedef tabloyla ilgili sütun eşlemenizin adı.
Dataformat	Csv	İletinin veri biçimi.
eventHubResourceId	Kaynak kimliği	Veri alımı için verileri tutan olay hub'ınızın kaynak kimliği.
consumerGroup	$Default	Olay hub'ınızın tüketici grubu.
location	Central US	Veri bağlantısı kaynağının konumu.
sıkıştırma	Gzip veya Yok	Veri sıkıştırma türü.
databaseRouting	Çoklu veya Tek	Bağlantı için veritabanı yönlendirmesi. Değeri Tek olarak ayarlarsanız, veri bağlantısı databaseName ayarında belirtildiği gibi kümedeki tek bir veritabanına yönlendirilir. Değeri Multi olarak ayarlarsanız, Veritabanıalımı özelliğini kullanarak varsayılan hedef veritabanını geçersiz kılabilirsiniz. Daha fazla bilgi için bkz . Olay yönlendirme.

Gerekli kitaplıkları yükleyin.

pip install azure-common
pip install azure-mgmt-kusto

Kimlik doğrulaması için kullanılacak bir Azure AD uygulama sorumlusu oluşturun. Dizin (kiracı) kimliği, uygulama kimliği ve istemci gizli dizisi gerekir.

Aşağıdaki kodu çalıştırın.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Ayar	Önerilen değer	Alan açıklaması
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Kiracı kimliğiniz. Dizin kimliği olarak da bilinir.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Kaynak oluşturmak için kullandığınız abonelik kimliği.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Kiracınızdaki kaynaklara erişebilen uygulamanın istemci kimliği.
client_secret	xxxxxxxxxxxx	Kiracınızdaki kaynaklara erişebilen uygulamanın istemci gizli dizisi.
resource_group_name	myresourcegroup	Kümenizi içeren kaynak grubunun adı.
cluster_name	Kümem	Kümenizin adı.
Veritabanı_adı	Veritabanım	Kümenizdeki hedef veritabanının adı.
data_connection_name	myeventhubconnect	Veri bağlantınızın istenen adı.
Table_name	Mytable	Hedef veritabanındaki hedef tablonun adı.
mapping_rule_name	mytablemappingrule	Hedef tabloyla ilgili sütun eşlemenizin adı.
data_format	Csv	İletinin veri biçimi.
event_hub_resource_id	Kaynak kimliği	Veri alımı için verileri tutan olay hub'ınızın kaynak kimliği.
consumer_group	$Default	Olay hub'ınızın tüketici grubu.
location	Central US	Veri bağlantısı kaynağının konumu.
databaseRouting	Çoklu veya Tek	Bağlantı için veritabanı yönlendirmesi. Değeri Tek olarak ayarlarsanız, veri bağlantısı databaseName ayarında belirtildiği gibi kümedeki tek bir veritabanına yönlendirilir. Değeri Multi olarak ayarlarsanız, Veritabanıalımı özelliğini kullanarak varsayılan hedef veritabanını geçersiz kılabilirsiniz. Daha fazla bilgi için bkz . Olay yönlendirme.

Aşağıdaki örnekte Event Hubs veri bağlantısı eklemeye yönelik bir Azure Resource Manager şablonu gösterilmektedir. Formu kullanarak şablonu Azure portal düzenleyebilir ve dağıtabilirsiniz.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Olay hub'ı veri bağlantısını kaldırma

Olay hub'ı bağlantısını Azure portal kaldırmak için aşağıdakileri yapın:

Kümenize gidin. Soldaki menüden Veritabanları'nı seçin. Ardından hedef tabloyu içeren veritabanını seçin.
Soldaki menüden Veri bağlantıları'nı seçin. Ardından ilgili olay hub'ı veri bağlantısının yanındaki onay kutusunu seçin.
Üst menü çubuğunda Sil'i seçin.

Olay hub'ı bağlantısını kaldırmak için aşağıdaki komutu çalıştırın:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);