Blobs opnemen in Azure Data Explorer door u te abonneren op Event Grid meldingen

Azure Data Explorer is een snelle en zeer schaalbare service voor gegevensverkenning voor telemetrische gegevens en gegevens uit logboeken. Azure Data Explorer biedt opname (laden van gegevens) van Event Hubs, IoT Hubs en blobs die naar blobcontainers worden geschreven.

In dit artikel leert u hoe u blobs uit uw opslagaccount kunt opnemen in Azure Data Explorer met behulp van Event Grid verbinding. U maakt een Event Grid gegevensverbinding die een Azure Event Grid in. Het Event Grid routeergebeurtenissen van uw opslagaccount naar Azure Data Explorer via een Azure Event Hub. Vervolgens ziet u een voorbeeld van de gegevensstroom in het hele systeem.

Voor algemene informatie over het opnemen in Azure Data Explorer van Event Grid, Verbinding maken naar Event Grid. Zie Handmatig resources maken voor Azure Portal in de Event Grid om handmatig resources te maken in de Event Grid.

Vereisten

• Een Azure-abonnement. Maak een gratis Azure-account.
• Maak een cluster en database.
• Maak een opslagaccount.
• Event Grid meldingsabonnement kan worden ingesteld op Azure Storage-accounts BlobStorage voor , of Data Lake Storage StorageV2BlobStorage

Een doeltabel maken in Azure Data Explorer

Maak een tabel in Azure Data Explorer waar Event Hubs gegevens verzendt. Maak de tabel in het cluster en de database die zijn voorbereid in de vereisten.

1. Selecteer in de Azure-portal, onder het cluster, de optie Query.

   

2. Kopieer de volgende opdracht in het venster en selecteer Uitvoeren om de tabel (TestTable) te maken die de opgenomen gegevens ontvangt.

   .create table TestTable (TimeStamp: datetime, Value: string, Source:string)
   

   

3. Kopieer de volgende opdracht in het venster en selecteer Uitvoeren om de binnenkomende JSON-gegevens toe te wijzen aan de kolomnamen en gegevenstypen van de tabel (TestTable).

   .create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp","path":"$.TimeStamp"},{"column":"Value","path":"$.Value"},{"column":"Source","path":"$.Source"}]'
   

Een verbinding Event Grid gegevens maken

Verbind nu het opslagaccount met Azure Data Explorer, zodat gegevens die naar de opslag stromen, naar de testtabel worden gestreamd. Deze verbinding kan worden gemaakt in de Azure Portal onder het opslagaccount zelf of in de Azure Portal onder Azure Data Explorer.

Implementatie

Wacht tot de implementatie is voltooid. Als de implementatie is mislukt, selecteert u Bewerkingsdetails naast de mislukte fase voor meer informatie over de reden van de fout. Selecteer Opnieuw implementeren om de resources opnieuw te implementeren. U kunt de parameters wijzigen vóór de implementatie.

Voorbeeldgegevens genereren

Nu Azure Data Explorer en het opslagaccount zijn verbonden, kunt u voorbeeldgegevens maken.

Upload blob naar de opslagcontainer

U werkt met een klein shellscript dat een paar eenvoudige Azure CLI-opdrachten opgeeft voor interactie met Azure Storage-resources. Met dit script worden de volgende acties ondernomen:

1. Hiermee maakt u een nieuwe container in uw opslagaccount.
2. Uploadt een bestaand bestand (als een blob) naar die container.
3. Hiermee worden de blobs in de container vermeld.

U kunt Azure Cloud Shell script rechtstreeks in de portal uitvoeren.

Sla de gegevens op in een bestand en upload deze met dit script:

{"TimeStamp": "1987-11-16 12:00","Value": "Hello World","Source": "TestSource"}

#!/bin/bash
### A simple Azure Storage example script

    export AZURE_STORAGE_ACCOUNT=<storage_account_name>
    export AZURE_STORAGE_KEY=<storage_account_key>

    export container_name=<container_name>
    export blob_name=<blob_name>
    export file_to_upload=<file_to_upload>
    export destination_file=<destination_file>

    echo "Creating the container..."
    az storage container create --name $container_name

    echo "Uploading the file..."
    az storage blob upload --container-name $container_name --file $file_to_upload --name $blob_name --metadata "rawSizeBytes=1024"

    echo "Listing the blobs..."
    az storage blob list --container-name $container_name --output table

    echo "Done"

Naam van blob wijzigen

Als u gegevens ophaalt uit ADLSv2-opslag en de naam van blob hebt gedefinieerd als het gebeurtenistype voor de gegevensverbinding, is de trigger voor blob-opname blob-hernoeming. Als u de naam van een blob wilt wijzigen, gaat u naar de blob in Azure Portal, klikt u met de rechtermuisknop op de blob en selecteert u Naam wijzigen:

Opname-eigenschappen

U kunt de opname-eigenschappen van de blob-opname opgeven via de blobmetagegevens.

De gegevensstroom controleren

1. In de Azure-portal, onder uw Event Grid, ziet u de piek in activiteit terwijl de app wordt uitgevoerd.

   

2. Als u wilt controleren hoeveel berichten er op dat moment de database hebben bereikt, voert u de volgende query uit in de testdatabase.

   TestTable
   | count
   

3. Voer de volgende query in uw testdatabase uit om de inhoud van de berichten te bekijken.

   TestTable
   

   De resultatenset moet er als volgt uitzien:

   

Resources opschonen

Als u niet van plan bent om uw Event Grid opnieuw te gebruiken, schoont u het Event Grid-abonnement, de Event Hub-naamruimte en de Event Hub op die automatisch voor u zijn gemaakt, om kosten te voorkomen.

1. Ga Azure Portal naar het linkermenu en selecteer Alle resources.

   

2. Zoek uw Event Hub-naamruimte en selecteer Verwijderen om deze te verwijderen:

   

3. Bevestig in het formulier Resources verwijderen de verwijdering om de Event Hub-naamruimte en Event Hub-resources te verwijderen.

4. Ga naar uw opslagaccount. Selecteer Gebeurtenissen in het menu links:

   

5. Selecteer onder de grafiek uw Event Grid abonnement en selecteer vervolgens Verwijderen om het abonnement te verwijderen:

   

6. Als u uw Event Grid wilt verwijderen, gaat u naar uw Azure Data Explorer cluster. Selecteer Databases in het menu aan de linkerkant.

7. Selecteer uw database TestDatabase:

   

8. Selecteer gegevens opnemen in het menu aan de linkerkant:

   

9. Selecteer uw gegevensverbinding test-grid-connection en selecteer vervolgens Verwijderen om deze te verwijderen.

Volgende stappen

• Query's uitvoeren op gegevens in Azure Data Explorer