Ingestování objektů blob do Azure Průzkumník dat díky přihlášení k odběru oznámení Event Grid

Průzkumník dat Azure je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie. Azure Průzkumník dat nabízí ingestování (načítání dat) z Event Hubs, rozbočovačů IoT a objektů BLOB zapsaných do kontejnerů objektů BLOB.

V tomto článku se dozvíte, jak ingestovat objekty BLOB z účtu úložiště do Azure Průzkumník dat pomocí datového připojení Event Grid. Vytvoříte připojení Event Grid dat, které nastaví Azure Event Grid předplatné. Předplatné Event Grid směruje události z vašeho účtu úložiště do Azure Průzkumník dat prostřednictvím centra událostí Azure. Pak uvidíte příklad toku dat v celém systému.

obecné informace o ingestování do Azure Průzkumník dat z Event Grid najdete v tématu Připojení Event Grid. Postup ručního vytvoření prostředků v Azure Portal najdete v tématu Ruční vytváření prostředků pro Event Gridingestování.

Požadavky

• Předplatné Azure. Vytvořte si bezplatný účet Azure.
• Vytvořte cluster a databázi.
• Vytvořte účet úložiště.
• odběr oznámení Event Grid lze nastavit u Azure Storage účtů pro BlobStorage , StorageV2 nebo BlobStorage.

Vytvoření cílové tabulky v Azure Data Exploreru

Vytvoří tabulku v Azure Průzkumník dat, kam Event Hubs odešle data. Vytvořte tabulku v clusteru a databázi připravenou v požadavcích.

1. Na portálu Azure Portal vyberte v rámci svého clusteru možnost Dotaz.

   

2. Zkopírujte následující příkaz do okna a výběrem příkazu Spustit vytvořte tabulku (test), která přijme ingestovaná data.

   .create table TestTable (TimeStamp: datetime, Value: string, Source:string)
   

   

3. Zkopírujte do okna následující příkaz a vyberte možnost Spustit pro mapování příchozích dat JSON na názvy sloupců a datové typy tabulky (tabulka).

   .create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp","path":"$.TimeStamp"},{"column":"Value","path":"$.Value"},{"column":"Source","path":"$.Source"}]'
   

Vytvoření datového připojení Event Grid

Teď připojte účet úložiště k Azure Průzkumník dat, aby se data do úložiště streamoval do testovací tabulky. Toto připojení se dá vytvořit v Azure Portal pod samotným účtem úložiště nebo v Azure Portal v rámci Azure Průzkumník dat.

Nasazení

Počkejte na dokončení nasazení. Pokud se nasazení nepovedlo, vyberte Podrobnosti o operaci vedle neúspěšné fáze a získejte další informace z důvodu selhání. Vyberte znovu nasadit a zkuste prostředky nasadit znovu. Parametry můžete před nasazením změnit.

Generování ukázkových dat

Teď, když je služba Azure Průzkumník dat a účet úložiště připojené, můžete vytvořit ukázková data.

Upload objekt blob do kontejneru úložiště

budeme pracovat se skriptem malého prostředí, který vydává několik základních příkazů rozhraní příkazového řádku Azure pro interakci s Azure Storagemi prostředky. Tento skript provede následující akce:

1. Vytvoří nový kontejner v účtu úložiště.
2. Nahraje existující soubor (jako objekt BLOB) do tohoto kontejneru.
3. Zobrazí seznam objektů BLOB v kontejneru.

Pomocí Azure Cloud Shell můžete skript spustit přímo na portálu.

Uložte data do souboru a nahrajte ho pomocí tohoto skriptu:

{"TimeStamp": "1987-11-16 12:00","Value": "Hello World","Source": "TestSource"}

#!/bin/bash
### A simple Azure Storage example script

    export AZURE_STORAGE_ACCOUNT=<storage_account_name>
    export AZURE_STORAGE_KEY=<storage_account_key>

    export container_name=<container_name>
    export blob_name=<blob_name>
    export file_to_upload=<file_to_upload>
    export destination_file=<destination_file>

    echo "Creating the container..."
    az storage container create --name $container_name

    echo "Uploading the file..."
    az storage blob upload --container-name $container_name --file $file_to_upload --name $blob_name --metadata "rawSizeBytes=1024"

    echo "Listing the blobs..."
    az storage blob list --container-name $container_name --output table

    echo "Done"

Přejmenovat objekt BLOB

Pokud ingestují data z úložiště ADLSv2 a definovali jste jako typ události pro datové připojení přejmenované objekty blob , Trigger pro ingestování objektů BLOB je přejmenování objektu BLOB. Pokud chcete přejmenovat objekt blob, přejděte na objekt BLOB v Azure Portal, klikněte pravým tlačítkem na objekt BLOB a vyberte Přejmenovat:

Vlastnosti ingestování

Vlastnosti příjmu objektu blob můžete určit prostřednictvím metadat objektu BLOB.

Kontrola toku dat

1. V Azure Portal v mřížce událostí uvidíte špičku aktivity, když je aplikace spuštěná.

   

2. Pokud chcete zkontrolovat, kolik zpráv se zatím dostalo do databáze, spusťte v testovací databázi následující dotaz.

   TestTable
   | count
   

3. Pokud chcete zobrazit obsah zpráv, spusťte v testovací databázi následující dotaz.

   TestTable
   

   Sada výsledků by měla vypadat jako na následujícím obrázku:

   

Vyčištění prostředků

Pokud už event Grid nechcete znovu používat, vyčistěte odběr služby Event Grid, obor názvů centra událostí a centrum událostí, které se pro vás automaticky vytvořily, abyste se vyhnuli nákladům.

1. V Azure Portal přejděte do levé nabídky a vyberte Všechny prostředky.

   

2. Vyhledejte obor názvů centra událostí a výběrem možnosti Odstranit ho odstraňte:

   

3. Ve formuláři Odstranit prostředky potvrďte odstranění, abyste odstranili prostředky oboru názvů centra událostí a centra událostí.

4. Přejděte ke svému účtu úložiště. V nabídce vlevo vyberte Události:

   

5. Pod grafem vyberte své předplatné Event Grid a pak ho odstraňte výběrem možnosti Odstranit:

   

6. Pokud chcete odstranit Event Grid datové připojení, přejděte ke svému Azure Data Explorer clusteru. V nabídce vlevo vyberte Databáze.

7. Vyberte databázi TestDatabase:

   

8. V nabídce vlevo vyberte Příjem dat:

   

9. Vyberte datové připojení test-grid-connection a pak ho odstraňte výběrem možnosti Odstranit.

Další kroky

• Dotazování na data v Azure Data Explorer