Azure Veri Gezgini için Event Grid veri bağlantısı oluşturma

  • Makale

Bu makalede, Event Grid veri bağlantısı kullanarak blobları depolama hesabınızdan Azure Veri Gezgini'a almayı öğreneceksiniz. Azure Event Grid aboneliği ayarlayan bir Event Grid veri bağlantısı oluşturacaksınız. Event Grid aboneliği, depolama hesabınızdaki olayları bir Azure Event Hubs aracılığıyla Azure Veri Gezgini yönlendirir.

Not

Veri alımı en fazla 6 GB'lık dosya boyutunu destekler. 100 MB ile 1 GB arasında dosyaları alma önerisinde bulunur.

Kusto SDK'larını kullanarak bağlantı oluşturmayı öğrenmek için bkz. SDK'larla Event Grid veri bağlantısı oluşturma.

Event Grid'den Azure Veri Gezgini'a alma hakkında genel bilgi için bkz. Event Grid'e bağlanma.

Not

Event Grid bağlantısıyla en iyi performansı elde etmek için blob meta verileri aracılığıyla alma özelliğini ayarlayın rawSizeBytes . Daha fazla bilgi için bkz. alma özellikleri.

Önkoşullar

Event Grid veri bağlantısı oluşturma

Bu bölümde Event Grid ile Azure Veri Gezgini tablonuz arasında bir bağlantı kuracaksınız.

  1. Azure portal Azure Veri Gezgini kümenize göz atın.

  2. Veri'nin altında Veritabanları>TestDatabase'i seçin.

    Kümenin içerdiği veritabanlarının listesini gösteren veritabanı bölümünün ekran görüntüsü.

  3. Ayarlar'ın altında Veri bağlantıları'nı ve ardından Veri bağlantısı> ekleEvent Grid (Blob depolama) öğesini seçin.

    Veri bağlantıları sayfasının ekran görüntüsü. Veri bağlantısı ekleme seçeneği vurgulanır.

  4. Event Grid veri bağlantısı formunu aşağıdaki bilgilerle doldurun:

    Veri bağlantısının ayrıntılarını gösteren Event Grid bölmesinin ekran görüntüsü.

    Ayar Önerilen değer Alan açıklaması
    Veri bağlantısı adı test-grid-connection Azure Veri Gezgini'da oluşturmak istediğiniz bağlantının adı. Veri bağlantısı adları yalnızca alfasayısal, kısa çizgi ve nokta karakterleri içerebilir ve en fazla 40 karakter uzunluğunda olabilir.
    Depolama hesabı aboneliği Abonelik kimliğiniz Depolama hesabınızın bulunduğu abonelik kimliği.
    Olay türü Blob oluşturuldu veya Blob yeniden adlandırıldı Alımı tetikleyen olay türü. Yeniden adlandırılan blob yalnızca ADLSv2 depolama için desteklenir. Blobu yeniden adlandırmak için Azure portal bloba gidin, bloba sağ tıklayın ve Yeniden Adlandır'ı seçin. Desteklenen türler şunlardır: Microsoft.Storage.BlobCreated veya Microsoft.Storage.BlobRenamed.
    Depolama hesabı gridteststorage1 Daha önce oluşturduğunuz depolama hesabının adı.
    Kaynak oluşturma Otomatik Otomatik kaynak oluşturmayı açmak, Azure Veri Gezgini'in sizin için bir Event Grid Aboneliği, bir Event Hubs ad alanı ve event hubs oluşturması anlamına gelir. Aksi takdirde, veri bağlantısının oluşturulmasını sağlamak için bu kaynakları el ile oluşturmanız gerekir. Bkz. Event Grid alımı için kaynakları el ile oluşturma

    1. İsteğe bağlı olarak, belirli Event Grid konularını izleyebilirsiniz. Bildirimlerin filtrelerini aşağıdaki gibi ayarlayın:

      • Ön ek alanı, konunun değişmez önekidir. Uygulanan desen ile başladığından, birden çok kapsayıcıya, klasöre veya bloba yayılabilir. Joker karaktere izin verilmez.
        • Blob kapsayıcısı üzerinde bir filtre tanımlamak için, alanın şu şekilde ayarlanması gerekir : /blobServices/default/containers/[container prefix].
        • Blob ön ekinde (veya Azure Data Lake 2. Nesil'de bir klasörde) filtre tanımlamak için, alanın şu şekilde ayarlanması gerekir : /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Sonek alanı, blobun değişmez son ekidir. Joker karaktere izin verilmez.
      • Büyük/Küçük Harfe Duyarlı alan, ön ek ve sonek filtrelerinin büyük/küçük harfe duyarlı olup olmadığını gösterir

      Olayları filtreleme hakkında daha fazla bilgi için bkz. Blob depolama olayları.

    2. İsteğe bağlı olarak, Veri yönlendirme ayarlarını aşağıdaki bilgilere göre belirtebilirsiniz. Tüm Veri yönlendirme ayarlarını belirtmeniz gerekmez. Kısmi ayarlar da kabul edilir.

      Ayar Önerilen değer Alan açıklaması
      Verileri diğer veritabanlarına yönlendirmeye izin ver (Çoklu veritabanı veri bağlantısı) İzin verme Veri bağlantısıyla ilişkili varsayılan hedef veritabanını geçersiz kılmak istiyorsanız bu seçeneği açın. Veritabanı yönlendirme hakkında daha fazla bilgi için bkz . Olay yönlendirme.
      Tablo adı TestTable TestDatabase içinde oluşturduğunuz tablo.
      Veri biçimi JSON Desteklenen biçimler APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT ve W3CLOG'dur. Desteklenen sıkıştırma seçenekleri Zip ve Gzip'dir.
      Eşleme adı TestTable_mapping TestDatabase'de oluşturduğunuz eşleme, gelen verileri TestTable'ın sütun adlarına ve veri türlerine eşler. Belirtilmezse, tablonun şemasından türetilen bir kimlik veri eşlemesi otomatik olarak oluşturulur.
      Biçim hatalarını yoksayma Yoksay JSON veri biçimi için biçim hatalarını yoksaymak istiyorsanız bu seçeneği açın.

      Not

      Tablo ve eşleme adları büyük/küçük harfe duyarlıdır.

    3. İsteğe bağlı olarak, Gelişmiş ayarlar'ın altında, veri bağlantınız tarafından kullanılan Yönetilen kimlik türünü belirtebilirsiniz. Varsayılan olarak, Sistem tarafından atanan seçilidir.

      Kullanıcı tarafından atanan'ı seçerseniz, yönetilen kimliği el ile atamanız gerekir. Henüz kümenize atanmamış bir kullanıcı seçerseniz, otomatik olarak atanır. Daha fazla bilgi için bkz. Azure Veri Gezgini kümeniz için yönetilen kimlikleri yapılandırma.

      Hiçbiri'ni seçerseniz, depolama hesabı ve Olay Hub'ı bağlantı dizeleri aracılığıyla kimlik doğrulamasından geçirilir. Bu yöntem önerilmez.

      Veri bağlantısı için kullanılabilecek yönetilen kimlik türlerini gösteren gelişmiş ayarlar bölümünün ekran görüntüsü.

  5. Oluştur’u seçin

Event Grid veri bağlantısını kullanma

Bu bölümde blob oluşturma veya blob yeniden adlandırma sonrasında Azure Blob Depolama veya Azure Data Lake 2. Nesil'den kümenize veri alımının nasıl tetiklenmesi gösterilmektedir.

Blobları karşıya yüklemek için kullanılan depolama SDK'sının türüne göre ilgili sekmeyi seçin.

Aşağıdaki kod örneği, Azure Blob Depolama'a dosya yüklemek için Azure Blob Depolama SDK'sını kullanır. Karşıya yükleme, Verileri Azure Veri Gezgini'a alan Event Grid veri bağlantısını tetikler.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Not

Azure Veri Gezgini alma sonrasında blobları silmez. Blob silmeyi yönetmek için Azure Blob depolama yaşam döngüsünü kullanarak blobları üç ile beş gün boyunca koruyun.

Not

Hiyerarşik ad alanı özelliğinin etkinleştirildiği depolama hesapları için bir CopyBlob işlemden sonra alım tetiklenmesi desteklenmez.

Event Grid veri bağlantısını kaldırma

Event Grid bağlantısını Azure portal kaldırmak için aşağıdaki adımları uygulayın:

  1. Kümenize gidin. Soldaki menüden Veritabanları'nı seçin. Ardından hedef tabloyu içeren veritabanını seçin.
  2. Soldaki menüden Veri bağlantıları'nı seçin. Ardından ilgili Event Grid veri bağlantısının yanındaki onay kutusunu seçin.
  3. Üst menü çubuğunda Sil'i seçin.

İlgili içerik