Azure Veri Gezgini için Event Hubs veri bağlantısı oluşturma

Azure Veri Gezgini, büyük veri akış platformu ve olay alma hizmeti olan Event Hubs'tan veri alımı sunar. Event Hubs saniyede milyonlarca olayı neredeyse gerçek zamanlı olarak işleyebilir.

Bu makalede bir olay hub'ına bağlanacak ve verileri Azure Veri Gezgini'a aacaksınız. Event Hubs'tan alma işlemine genel bakış için bkz. veri bağlantısı Azure Event Hubs.

Kusto SDK'larını kullanarak bağlantı oluşturmayı öğrenmek için bkz. SDK'larla Event Hubs veri bağlantısı oluşturma.

Önceki SDK sürümlerini temel alan kod örnekleri için arşivlenmiş makaleye bakın.

Olay hub'ı veri bağlantısı oluşturma

Bu bölümde, olay hub'ı ile Azure Veri Gezgini tablonuz arasında bir bağlantı kuracaksınız. Bu bağlantı olduğu sürece veriler olay hub'ından hedef tablonuza iletilir. Olay hub'ı farklı bir kaynağa veya aboneliğe taşınırsa bağlantıyı güncelleştirmeniz veya yeniden oluşturmanız gerekir.

Verileri alma

Önkoşullar

• Microsoft hesabı veya Microsoft Entra kullanıcı kimliği. Azure aboneliği gerekmez.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Azure Veri Gezgini kümenizde akış alımı yapılandırılmalıdır.

Verileri alma

1. Soldaki menüden Sorgu'yu seçin.

2. Verileri almak istediğiniz veritabanına sağ tıklayın. Veri al'ı seçin.

   

Source

Veri al penceresinde Kaynak sekmesi seçilidir.

Kullanılabilir listeden veri kaynağını seçin. Bu örnekte Event Hubs'tan veri alırsınız.

Yapılandırma

1. Bir hedef veritabanı ve tablo seçin. Yeni bir tabloya veri almak istiyorsanız + Yeni tablo'yu seçin ve bir tablo adı girin.

   Not

   Tablo adları boşluk, alfasayısal, kısa çizgi ve alt çizgi gibi 1024 karaktere kadar olabilir. Özel karakterler desteklenmez.

   

2. Şu alanları doldurun:

   Ayar	Alan açıklaması
   Abonelik	Olay hub'ı kaynağının bulunduğu abonelik kimliği.
   Olay hub’ı ad alanı	Ad alanınızı tanımlayan ad.
   Olay hub'ı	İstediğiniz olay hub'ı
   Tüketici grubu	Etkinliğinizde tanımlanan tüketici grubu
   Veri bağlantısı adı	Veri bağlantınızı tanımlayan ad.
   Gelişmiş filtreler
   Sıkıştırma	Olay hub'ı iletileri yükünün sıkıştırma türü.
   Olay sistemi özellikleri	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilkine eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
   Olay alma başlangıç tarihi	Veri bağlantısı, Olay alma başlangıç tarihinden sonra oluşturulan mevcut Event Hubs olaylarını alır. Yalnızca Event Hubs'ın saklama süresi tarafından tutulan olaylar alınabilir. Olay alma başlangıç tarihi belirtilmezse, varsayılan saat veri bağlantısının oluşturulduğu zamandır.

3. İleri’yi seçin

Incelemek

İncele sekmesi açılır ve verilerin önizlemesi görüntülenir.

Alma işlemini tamamlamak için Son'u seçin.

İsteğe bağlı olarak:

• Önizleme penceresinde gördüğünüz veriler tamamlanmazsa, tüm gerekli veri alanlarını içeren bir tablo oluşturmak için daha fazla veriye ihtiyacınız olabilir. Olay hub'ınızdan yeni verileri getirmek için aşağıdaki komutları kullanın:

  • Yeni verileri atıp getirme: Sunulan verileri atar ve yeni olayları arar.

  • Daha fazla veri getirme: Önceden bulunan olaylara ek olarak daha fazla olay arar.

    Not

    Verilerinizin önizlemesini görmek için olay hub'ınızın olay göndermesi gerekir.

• Girdilerinizden oluşturulan otomatik komutları görüntülemek ve kopyalamak için Komut görüntüleyicisi'ni seçin.

• Şemanın çıkarıldığını dosyayı değiştirmek için Şema tanımı dosyası açılan listesini kullanın.

• Açılan listeden istenen biçimi seçerek otomatik olarak çıkarılan veri biçimini değiştirin. Bkz. Alma için Azure Veri Gezgini tarafından desteklenen veri biçimleri.

• Sütunları düzenleme.

• Veri türüne göre gelişmiş seçenekleri keşfedin.

Sütunları düzenle

Not

• Tablosal biçimler (CSV, TSV, PSV) için bir sütunu iki kez eşleyemezsiniz. Var olan bir sütuna eşlemek için önce yeni sütunu silin.
• Var olan bir sütun türünü değiştiremezsiniz. Farklı biçime sahip bir sütuna eşlemeye çalışırsanız, boş sütunlarla karşılaşabilirsiniz.

Tabloda yapabileceğiniz değişiklikler aşağıdaki parametrelere bağlıdır:

• Tablo türü yeni veya var
• Eşleme türü yeni veya var

Tablo türü	Eşleme türü	Kullanılabilir ayarlamalar
Yeni tablo	Yeni eşleme	Sütunu yeniden adlandırma, veri türünü değiştirme, veri kaynağını değiştirme, eşleme dönüşümü, sütun ekleme, sütunu silme
Varolan tablo	Yeni eşleme	Sütun ekleme (daha sonra veri türünü değiştirebileceğiniz, yeniden adlandırabileceğiniz ve güncelleştirebileceğiniz)
Varolan tablo	Mevcut eşleme	yok

Eşleme dönüştürmeleri

Bazı veri biçimi eşlemeleri (Parquet, JSON ve Avro) basit alma zamanı dönüştürmelerini destekler. Eşleme dönüşümlerini uygulamak için Sütunları düzenle penceresinde bir sütun oluşturun veya güncelleştirin.

Eşleme dönüştürmeleri, veri türü int veya long olan bir dize veya datetime türünde bir sütunda gerçekleştirilebilir. Desteklenen eşleme dönüştürmeleri şunlardır:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Veri türüne göre gelişmiş seçenekler

Tablosal (CSV, TSV, PSV):

• Mevcut bir tablodaki tablo biçimlerini alırsanız Gelişmiş>Geçerli tablo şemasını koru'yu seçebilirsiniz. Tablosal veriler, kaynak verileri mevcut sütunlara eşlemek için kullanılan sütun adlarını içermesi gerekmez. Bu seçenek işaretlendiğinde eşleme sırasıyla yapılır ve tablo şeması aynı kalır. Bu seçenek işaretlenmemişse, veri yapısından bağımsız olarak gelen veriler için yeni sütunlar oluşturulur.

• İlk satırı sütun adları olarak kullanmak için Gelişmiş>İlk satır sütun başlığıdır'ı seçin.

  

JSON:

• JSON verilerinin sütun bölmesini belirlemek için 1 ile 100 arasında Gelişmiş>İç İçe Düzeyler'i seçin.

• Gelişmiş>Veri biçimi hatalarını yoksay'ı seçerseniz veriler JSON biçiminde alır. Bu onay kutusunu işaretsiz bırakırsanız, veriler çok kanallı biçimde alınıyor.

  

Özet

Veri hazırlama penceresinde, veri alımı başarıyla tamamlandığında üç adım da yeşil onay işaretleri ile işaretlenir. Her adım için kullanılan komutları görüntüleyebilir veya alınan verileri sorgulamak, görselleştirmek veya bırakmak için bir kart seçebilirsiniz.

Portal - Azure Veri Gezgini sayfası

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
• Tablo için alım eşlemesi .
• Veri alımına yönelik bir olay hub'ı .

Verileri alma

1. Azure portal kümenize gidin ve Veritabanları'nı seçin. Ardından hedef tablonuzu içeren veritabanını seçin.

   

2. Soldaki menüden Veri alımı'nı seçin. Ardından üst çubukta Veri bağlantısı ekle'yi seçin.

3. Formu aşağıdaki bilgilerle doldurun ve oluştur'u seçin.

   Ayar	Önerilen değer	Alan açıklaması
   Veri bağlantısı adı	test-hub-connection	Azure Veri Gezgini'nde oluşturmak istediğiniz bağlantının adı.
   Abonelik		Olay hub'ı kaynağının bulunduğu abonelik kimliği.
   Olay hub’ı ad alanı	Benzersiz bir ad alanı adı	Önceden seçtiğiniz ve ad alanınızı tanımlayan ad.
   Olay hub'ı	test-hub	Oluşturduğunuz olay hub'ı.
   Tüketici grubu	test-group	Oluşturduğunuz olay hub'ında tanımlanan tüketici grubu.
   Olay sistemi özellikleri	İlgili özellikleri seçme	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilk kayda eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
   Sıkıştırma	Hiçbiri	Olay hub'ı iletileri yükünün sıkıştırma türü. Desteklenen sıkıştırma türleri: Yok, Gzip.
   Yönetilen Kimlik (önerilir)	Sistem tarafından atanan	olay hub'ından okuma erişimi için Veri Gezgini kümesi tarafından kullanılan yönetilen kimlik. Olay hub'ınıza erişimi denetlemek için yönetilen kimlikleri kullanmanızı öneririz. Not: Veri bağlantısı oluşturulduğunda: * Sistem tarafından atanan kimlikler yoksa otomatik olarak oluşturulur * Yönetilen kimliğe otomatik olarak Azure Event Hubs Veri Alıcısı rolü atanır ve Veri Gezgini kümenize eklenir. Rolün atandığını ve kimliğin kümeye eklendiğini doğrulamanızı öneririz.

   Not

   Yönetilen kimlikleri kullanmayan bir veri bağlantınız varsa, yönetilen kimlikleri kullanmak için bu bağlantıyı güncelleştirmenizi öneririz.

Portal - Azure Event Hubs sayfası

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
• Tablo için alım eşlemesi .
• Veri alımına yönelik bir olay hub'ı .

Verileri alma

1. Azure portal Event Hubs Örneğinize göz atın.

2. Özellikler yan menüsünün altında Kusto ile verileri analiz et'i seçin.

3. Azure Veri Gezgini'a alma sihirbazını açmak için Başlat'ı seçin.

   

   Not

   • En az Veritabanı Kullanıcısı izinlerine sahip olmanız gerekir.
   • Genel erişim olmadan bir küme ile depolama hesabı arasında erişimi etkinleştirmek için bkz. Yönetilen Özel Uç Nokta Oluşturma.
   • Küme ve olay hub'ı aynı kiracılarla ilişkilendirilmelidir. Aksi takdirde, C# veya Python gibi SDK seçeneklerinden birini kullanın.

4. Veri alma yan bölmesi açılır ve Hedef sekmesi seçili durumdadır. Açılan listeden Küme ve Veritabanı alanlarını seçin. Çalışan bir küme seçtiğinizden emin olun. Aksi takdirde Veritabanı'nı seçip alma işlemine devam edemeyebilirsiniz.

5. Tablo altında Yeni tablo'yu seçin ve yeni tablo için bir ad girin. Alternatif olarak , Var olan bir tabloyu da kullanabilirsiniz.

6. İleri: Kaynak'ı seçin.

7. Kaynak türü'nin altında Olay Hub'ı türü ve ayrıntıları, başladığınız Event Hubs Örneğine göre otomatik olarak doldurulur.

8. Veri Bağlantısı'nın altında aşağıdaki alanları doldurun ve İleri: Şema'yı seçin.

   Ayar	Önerilen değer	Alan açıklaması
   Abonelik		Olay hub'ı kaynağının bulunduğu abonelik kimliği.
   Olay hub’ı ad alanı		Ad alanınızı tanımlayan ad.
   Olay hub'ı		Kullanmak istediğiniz olay hub'ı.
   Veri bağlantısı adı	TestDataConnection	Veri bağlantınızı tanımlayan ad.
   Tüketici grubu		Olay hub'ınızda tanımlanan tüketici grubu.
   Sıkıştırma		Olay hub'ı iletilerinin yükünün sıkıştırma türü.
   Olay sistemi özellikleri	İlgili özellikleri seçin	Olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilkine eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
   Olay alma başlangıç tarihi	Eşgüdümlü Evrensel Saat (UTC)	Veri bağlantısı, Olay alma başlangıç tarihinden sonra oluşturulan mevcut Event Hubs olaylarını alır. Yalnızca Event Hubs'ın saklama süresi tarafından tutulan olaylar alınabilir. Olay alma başlangıç tarihi belirtilmezse, varsayılan saat veri bağlantısının oluşturulduğu zamandır.

9. Küme için akış etkinleştirildiyse Akış alımı'nı seçebilirsiniz. Küme için akış etkin değilse Veri toplu işlem gecikme süresini ayarlayın. Event Hubs için önerilen toplu işlem süresi 30 saniyedir.

   

10. Veri biçimini seçin. CSV biçimli veriler için, dosyanın başlık satırını yoksaymak için ilk kaydı yoksayın. JSON biçimli veriler için, Verileri JSON biçiminde almak için Veri biçimi hatalarını yoksay'ı seçin veya verileri çokson biçiminde almak için seçili değil olarak bırakın. Tablo sütunu veri bölümünü belirlemek için İç içe düzeyler'i seçin.

11. Önizleme penceresinde gördüğünüz veriler tamamlanmadıysa, tüm gerekli veri alanlarını içeren bir tablo oluşturmak için daha fazla veriye ihtiyacınız olabilir. Olay hub'ınızdan yeni verileri getirmek için aşağıdaki komutları kullanın:

    • Yeni verileri at ve getir: Sunulan verileri atar ve yeni olayları arar.
    • Daha fazla veri getirme: Önceden bulunan olaylara ek olarak daha fazla olay arar.

    Not

    Verilerinizin önizlemesini görmek için olay hub'ınızın olay gönderiyor olması gerekir.

12. İleri: Özet'i seçin.

13. Olay Hub'ından sürekli alım oluşturuldu penceresinde, kuruluş başarıyla tamamlandığında tüm adımlar yeşil onay işaretleriyle işaretlenir.

ARM şablonu

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Hedef tablo. Tablo oluşturun veya var olan bir tabloyu kullanın.
• Tablo için alım eşlemesi .
• Veri alımı için veri içeren bir olay hub'ı .

ARM şablonu

Aşağıdaki örnekte Event Hubs veri bağlantısı eklemeye yönelik bir Azure Resource Manager şablonu gösterilmektedir. Formu kullanarak şablonu Azure portal düzenleyebilir ve dağıtabilirsiniz.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Olay hub'ı veri bağlantısını kaldırma

Verileri alma

Portal sekmesinde açıklandığı gibi Azure portal üzerinden veri bağlantısını kaldırın.

Portal

Olay hub'ı bağlantısını Azure portal kaldırmak için aşağıdakileri yapın:

1. Kümenize gidin. Soldaki menüden Veritabanları'nı seçin. Ardından hedef tabloyu içeren veritabanını seçin.
2. Soldaki menüden Veri bağlantıları'nı seçin. Ardından ilgili olay hub'ı veri bağlantısının yanındaki onay kutusunu seçin.
3. Üst menü çubuğunda Sil'i seçin.

İlgili içerik

• Olay hub'ı örnek ileti uygulamasıyla bağlantıyı denetleyin
• Web kullanıcı arabirimindeki verileri sorgulama