Creare una connessione dati griglia di eventi per Azure Esplora dati

In questo articolo viene illustrato come inserire BLOB dall'account di archiviazione in Azure Esplora dati usando una connessione dati griglia di eventi. Si creerà una connessione dati griglia di eventi che imposta una sottoscrizione Griglia di eventi di Azure. La sottoscrizione griglia di eventi indirizza gli eventi dall'account di archiviazione ad Azure Esplora dati tramite un Hub eventi di Azure.

Nota

L'inserimento supporta file di dimensione massima di 6 GB. È consigliabile inserire file di dimensione compresa tra 100 MB e 1 GB.

Per informazioni su come creare la connessione usando gli SDK Kusto, vedere Creare una connessione dati griglia di eventi con gli SDK.

Per informazioni generali sull'inserimento in Azure Esplora dati da Griglia di eventi, vedere Connettersi a Griglia di eventi.

Nota

Per ottenere le migliori prestazioni con la connessione Griglia di eventi, impostare la rawSizeBytes proprietà di inserimento tramite i metadati del BLOB. Per altre informazioni, vedere Proprietà di inserimento.

Prerequisiti

• Una sottoscrizione di Azure. Creare un account Azure gratuito.
• Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mapping di inserimento per la tabella.
• Un account di archiviazione. Una sottoscrizione di notifica griglia di eventi può essere impostata sugli account di archiviazione di Azure per BlobStorage, StorageV2o Data Lake Storage Gen2.
• Avere registrato il provider di risorse griglia di eventi.

Creare una connessione dati griglia di eventi

In questa sezione viene stabilita una connessione tra Griglia di eventi e la tabella di Esplora dati di Azure.

Portale - Esplora dati di Azure

1. Passare al cluster di Esplora dati di Azure nel portale di Azure.

2. In Dati selezionare Database>TestDatabase.

   

3. In Impostazioni selezionare Connessioni dati e quindi Aggiungi griglia di eventi di connessione> dati(archiviazione BLOB).

   

4. Compilare il modulo di connessione dati griglia di eventi con le informazioni seguenti:

   

   Impostazione	Valore consigliato	Descrizione campo
   Data connection name (Nome connessione dati)	test-grid-connection	Il nome della connessione da creare in Esplora dati di Azure. I nomi di connessione dati possono contenere solo caratteri alfanumerici, trattini e puntini e fino a 40 caratteri di lunghezza.
   Sottoscrizione dell'account di archiviazione	ID sottoscrizione	ID sottoscrizione in cui si trova l'account di archiviazione.
   Tipo di evento	BLOB creato o BLOB rinominato	Tipo di evento che attiva l'inserimento. Il BLOB rinominato è supportato solo per l'archiviazione ADLSv2. Per rinominare un BLOB, passare al BLOB in portale di Azure, fare clic con il pulsante destro del mouse sul BLOB e scegliere Rinomina. I tipi supportati sono: Microsoft.Storage.BLOBCreated o Microsoft.Storage.BLOBRenamed.
   Account di archiviazione	gridteststorage1	Il nome dell'account di archiviazione creato in precedenza.
   Creazione di risorse	Automatico	L'attivazione della creazione automatica delle risorse significa che Azure Esplora dati crea una sottoscrizione di Griglia di eventi, uno spazio dei nomi di Hub eventi e un hub eventi per l'utente. In caso contrario, è necessario creare queste risorse manualmente per garantire la creazione della connessione dati. Vedere Creare manualmente risorse per l'inserimento di Griglia di eventi

   1. Facoltativamente, è possibile tenere traccia di argomenti specifici di Griglia di eventi. Impostare i filtri per le notifiche come segue:

      • Il campo prefisso è il prefisso letterale dell'oggetto. Poiché il modello applicato viene avviato, può estendersi su più contenitori, cartelle o BLOB. I caratteri jolly non sono consentiti.
        • Per definire un filtro nel contenitore BLOB, il campo deve essere impostato come segue: /blobServices/default/containers/[container prefix].
        • Per definire un filtro in un prefisso BLOB (o una cartella in Azure Data Lake Gen2), il campo deve essere impostato come segue: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Il campo suffisso è il suffissoletterale del BLOB. I caratteri jolly non sono consentiti.
      • Campo di distinzione tra maiuscole e minuscole indica se i filtri di prefisso e suffisso sono distinzione tra maiuscole e minuscole

      Per altre informazioni sui filtri degli eventi, vedere Eventi di archiviazione BLOB.

   2. Facoltativamente, è possibile specificare le impostazioni di routing dei dati in base alle informazioni seguenti. Non è necessario specificare tutte le impostazioni di routing dei dati. È anche possibile specificare impostazioni parziali.

      Impostazione	Valore consigliato	Descrizione campo
      Consenti il routing dei dati ad altri database (connessione dati multi database)	Non consentire	Attivare questa opzione se si vuole eseguire l'override del database di destinazione predefinito associato alla connessione dati. Per altre informazioni sul routing del database, vedere Routing degli eventi.
      Nome tabella	TestTable	Tabella creata in TestDatabase.
      Formato dati	JSON	I formati supportati sono APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. Le opzioni di compressione supportate sono Zip e Gzip.
      Nome mapping	TestTable_mapping	Il mapping creato in TestDatabase che mappa i dati in ingresso ai nomi di colonna e ai tipi di dati di TestTable. Se non specificato, viene generato automaticamente un mapping dei dati identity derivato dallo schema della tabella.
      Ignorare gli errori di formato	Ignora	Attivare questa opzione se si desidera ignorare gli errori di formato per il formato dati JSON.

      Nota

      I nomi di tabella e mapping sono distinzione tra maiuscole e minuscole.

   3. Facoltativamente, in Impostazioni avanzate è possibile specificare il tipo di identità gestita usato dalla connessione dati. Per impostazione predefinita, l'opzione Assegnata dal sistema è selezionata.

      Se si seleziona Utente assegnato, è necessario assegnare manualmente un'identità gestita. Se si seleziona un utente che non è ancora assegnato al cluster, verrà assegnato automaticamente. Per altre informazioni, vedere Configurare le identità gestite per il cluster di Esplora dati di Azure.

      Se si seleziona Nessuna, l'account di archiviazione e l'hub eventi vengono autenticati tramite stringhe di connessione. Questo metodo non è consigliato.

      

5. Selezionare Crea

Portale - Archiviazione di Azure

1. Passare all'account di archiviazione nel portale di Azure.
2. Selezionare Eventi.
3. Nella scheda Introduzione selezionare la scheda Azure Esplora dati.
4. Nel riquadro Crea inserimento dati continuo selezionare Crea.

Scegliere la destinazione per indirizzare gli eventi in

1. Selezionare un cluster in cui si desidera inserire i dati.
2. Selezionare un database di destinazione.
3. Scegliere Seleziona.

Creare una connessione dati

1. Compilare il modulo con le informazioni seguenti:

   

   Impostazione	Valore consigliato	Descrizione campo
   Data connection name (Nome connessione dati)	test-grid-connection	Il nome della connessione da creare in Esplora dati di Azure.
   Sottoscrizione dell'account di archiviazione	ID sottoscrizione	ID sottoscrizione in cui si trova l'account di archiviazione.
   Tipo di evento	BLOB creato o BLOB rinominato	Tipo di evento che attiva l'inserimento. Il BLOB rinominato è supportato solo per l'archiviazione ADLSv2. Per rinominare un BLOB, passare al BLOB in portale di Azure, fare clic con il pulsante destro del mouse sul BLOB e scegliere Rinomina. I tipi supportati sono: Microsoft.Storage.BLOBCreated o Microsoft.Storage.BLOBRenamed.
   Account di archiviazione	gridteststorage1	L'account di archiviazione da cui è stato eseguito l'accesso alla procedura guidata viene popolato automaticamente.
   Creazione di risorse	Automatico	L'attivazione della creazione automatica delle risorse significa che Azure Esplora dati crea una sottoscrizione di Griglia di eventi, uno spazio dei nomi di Hub eventi e un hub eventi per l'utente. In caso contrario, è necessario creare queste risorse manualmente per garantire la creazione della connessione dati. Vedere Creare manualmente risorse per l'inserimento di Griglia di eventi

   1. Facoltativamente, è possibile tenere traccia di argomenti specifici di Griglia di eventi. Impostare i filtri per le notifiche come segue:

      • Il campo prefisso è il prefisso letterale dell'oggetto. Poiché il modello applicato viene avviato, può estendersi su più contenitori, cartelle o BLOB. I caratteri jolly non sono consentiti.
        • Per definire un filtro nel contenitore BLOB, il campo deve essere impostato come segue: /blobServices/default/containers/[container prefix].
        • Per definire un filtro in un prefisso BLOB (o una cartella in Azure Data Lake Gen2), il campo deve essere impostato come segue: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Il campo suffisso è il suffissoletterale del BLOB. I caratteri jolly non sono consentiti.
      • Campo di distinzione tra maiuscole e minuscole indica se i filtri di prefisso e suffisso sono distinzione tra maiuscole e minuscole

      Per altre informazioni sui filtri degli eventi, vedere Eventi di archiviazione BLOB.

   2. Facoltativamente, è possibile specificare le impostazioni di routing dei dati in base alle informazioni seguenti. Non è necessario specificare tutte le impostazioni di routing dei dati. È anche possibile specificare impostazioni parziali.

      Impostazione	Valore consigliato	Descrizione campo
      Consenti il routing dei dati ad altri database (connessione dati multi database)	Non consentire	Attivare questa opzione se si vuole eseguire l'override del database di destinazione predefinito associato alla connessione dati. Per altre informazioni sul routing del database, vedere Routing degli eventi.
      Nome tabella	TestTable	Tabella creata in TestDatabase.
      Formato dati	JSON	I formati supportati sono APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. Le opzioni di compressione supportate sono Zip e Gzip.
      Nome mapping	TestTable_mapping	Il mapping creato in TestDatabase che mappa i dati in ingresso ai nomi di colonna e ai tipi di dati di TestTable. Se non specificato, viene generato automaticamente un mapping dei dati identity derivato dallo schema della tabella.
      Ignorare gli errori di formato	Ignora	Attivare questa opzione se si desidera ignorare gli errori di formato per il formato dati JSON.

      Nota

      I nomi di tabella e mapping sono distinzione tra maiuscole e minuscole.

   3. Facoltativamente, in Impostazioni avanzate è possibile specificare il tipo di identità gestita usato dalla connessione dati. Per impostazione predefinita, l'opzione Assegnata dal sistema è selezionata.

      Se si seleziona Utente assegnato, è necessario assegnare manualmente un'identità gestita. Se si seleziona un utente che non è ancora assegnato al cluster, verrà assegnato automaticamente. Per altre informazioni, vedere Configurare le identità gestite per il cluster di Esplora dati di Azure.

      Se si seleziona Nessuna, l'account di archiviazione e l'hub eventi vengono autenticati tramite stringhe di connessione. Questo metodo non è consigliato.

      

2. Selezionare Crea.

Modello ARM

Nell'esempio seguente viene illustrato un modello di Resource Manager di Azure per l'aggiunta di una connessione dati griglia di eventi. È possibile modificare e distribuire il modello nella portale di Azure usando il modulo.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Usare la connessione dati griglia di eventi

Questa sezione illustra come attivare l'inserimento da Archiviazione BLOB di Azure o Azure Data Lake Gen 2 al cluster dopo la creazione o la ridenominazione del BLOB.

Selezionare la scheda pertinente in base al tipo di SDK di archiviazione usato per caricare i BLOB.

Archiviazione BLOB di Azure

L'esempio di codice seguente usa l'SDK Archiviazione BLOB di Azure per caricare un file in Archiviazione BLOB di Azure. Il caricamento attiva la connessione dati griglia di eventi, che inserisce i dati in Azure Esplora dati.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Nota

Azure Esplora dati non eliminerà i BLOB dopo l'inserimento. Conservare i BLOB per tre-cinque giorni usando il ciclo di vita dell'archiviazione BLOB di Azure per gestire l'eliminazione DEI BLOB.

Azure Data Lake

L'esempio di codice seguente usa Azure Data Lake SDK per caricare un file in Data Lake Storage Gen2. Il caricamento attiva la connessione dati griglia di eventi, che inserisce i dati in Azure Esplora dati.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Nota

• Quando si carica un file con Azure Data Lake SDK, l'evento di creazione di file iniziale ha una dimensione pari a 0, ignorata da Azure Esplora dati durante l'inserimento dei dati. Per garantire l'inserimento appropriato, impostare il Close parametro su true. Questo parametro causa l'attivazione di un evento FlushAndClose del metodo di caricamento, che indica che è stato effettuato l'aggiornamento finale e che il flusso di file viene chiuso.
• Per ridurre il traffico proveniente da Griglia di eventi e ottimizzare l'inserimento di eventi in Azure Esplora dati, è consigliabile filtrare la chiave data.api per escludere gli eventi CreateFile. In questo modo, assicurarsi che gli eventi di creazione di file con dimensioni 0 vengano filtrati, impedendo gli errori di inserimento di file vuoti. Per altre informazioni sullo scaricamento, vedere Metodo di scaricamento di Azure Data Lake.

Rinominare i BLOB

In ADLSv2 è possibile rinominare le directory. Tuttavia, è importante notare che la ridenominazione di una directory non attiva eventi rinominati BLOB o avvia l'inserimento di BLOB contenuti nella directory. Se si vuole garantire l'inserimento di BLOB dopo la ridenominazione di una directory, è necessario rinominare direttamente i singoli BLOB all'interno della directory.

Nell'esempio di codice seguente viene illustrato come rinominare un BLOB in un account di archiviazione ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Nota

Se sono stati definiti filtri per tenere traccia di soggetti specifici durante la creazione della connessione dati o durante la creazionemanuale delle risorse griglia di eventi, questi filtri vengono applicati sul percorso del file di destinazione.

Nota

L'attivazione dell'inserimento dopo un'operazione CopyBlob non è supportata per gli account di archiviazione che dispongono della funzionalità dello spazio dei nomi gerarchico abilitata.

Rimuovere una connessione dati griglia di eventi

Per rimuovere la connessione griglia di eventi dalla portale di Azure, seguire questa procedura:

1. Passare al cluster. Dal menu a sinistra selezionare Database. Selezionare quindi il database contenente la tabella di destinazione.
2. Dal menu a sinistra selezionare Connessioni dati. Selezionare quindi la casella di controllo accanto alla connessione dati griglia di eventi pertinente.
3. Nella barra dei menu in alto selezionare Elimina.

---

Contenuti correlati

• Elaborare i dati dall'hub eventi usando Azure Stream Analytics