Kurz: Streamování velkých dat do datového skladu

  • Článek
  • 9 min ke čtení

Azure Event Grid je inteligentní služba směrování událostí, která umožňuje reagovat na oznámení nebo události z aplikací a služeb. Může například aktivovat funkci Azure, která zpracuje Event Hubs dat zachycených do úložiště objektů blob nebo Data Lake Storage. Tato ukázka ukazuje, jak pomocí Event Grid a Azure Functions migrovat zachycená data Event Hubs z úložiště objektů blob do Azure Synapse Analytics, konkrétně vyhrazeného fondu SQL.

Přehled aplikace

Tento diagram znázorňuje pracovní postup řešení, které sestavíte v tomto kurzu:

  1. Data odesílaná do centra událostí Azure se zachytá v úložišti objektů blob v Azure.
  2. Po dokončení zachytávání dat se vygeneruje událost a odesílá se do služby Azure Event Grid.
  3. Event Grid předává tato data události do aplikace funkcí Azure.
  4. Aplikace funkcí používá adresu URL objektu blob v datech událostí k načtení objektu blob z úložiště.
  5. Aplikace funkcí migruje data objektů blob do Azure Synapse Analytics.

V tomto článku podnikáte následující kroky:

  • Nasazení požadované infrastruktury pro tento kurz
  • Publikování kódu do aplikace Functions
  • Vytvoření odběru Event Gridu
  • Streamování ukázkových dat do Event Hubs
  • Ověření zachycených dat v Azure Synapse Analytics

Požadavky

K dokončení tohoto kurzu potřebujete:

  • Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.
  • Visual Studio 2019 se sadami úloh pro: vývoj desktopových aplikací pro .NET, vývoj pro Azure, vývoj pro ASP.NET a web, Node.js vývoj aplikací a vývoj v Pythonu.
  • Stáhněte si do počítače ukázkový projekt EventHubsCaptureEventGridDemo.
    • WindTurbineDataGenerator – jednoduchý vydavatel, který odesílá ukázková data větrné turbíny do centra událostí s podporou zachytávání.
    • FunctionDWDumper – Funkce Azure, která přijímá oznámení Event Gridu při zachycení souboru Avro do objektu blob služby Azure Storage. Přijme cestu URI objektu blob, přečte jeho obsah a nasoudí tato data do Azure Synapse Analytics (vyhrazený fond SQL).

Nasazení infrastruktury

V tomto kroku nasadíte požadovanou infrastrukturu pomocí Resource Manager šablony. Při nasazování šablony se vytvoří následující prostředky:

  • Centrum událostí s povolenou funkcí Zachytávání
  • Účet úložiště pro zachycené soubory.
  • Plán služby App Service pro hostování aplikace funkcí
  • Aplikace Function App na zpracování události
  • SQL Server na hostování datového skladu
  • Azure Synapse Analytics (vyhrazený fond SQL) pro ukládání migrovaných dat

Nasazení infrastruktury pomocí Azure CLI

  1. Přihlaste se k webu Azure Portal.

  2. V Cloud Shell vyberte tlačítko pro výběr.

    Azure Portal

  3. V dolní Cloud Shell se otevře okno prohlížeče.

    Cloud Shell

  4. Pokud se Cloud Shell mezi Bashem a PowerShellem, v okně vyberte Bash.

  5. Pokud používáte účet Cloud Shell, vytvořte účet úložiště výběrem možnosti Vytvořit úložiště. Azure Cloud Shell k uložení některých souborů vyžaduje účet úložiště Azure.

    Vytvoření úložiště pro Cloud Shell

  6. Počkejte, až Cloud Shell inicializuje.

    Cloud Shell inicializace

  7. Spuštěním následujícího příkazu rozhraní příkazového řádku vytvořte skupinu prostředků Azure:

    1. Zkopírujte následující příkaz a vložte ho do Cloud Shell okna. Pokud chcete, změňte název a umístění skupiny prostředků.

      az group create -l eastus -n rgDataMigration

    2. Stiskněte ENTER.

      Tady je příklad:

      user@Azure:~$ az group create -l eastus -n rgDataMigration
{
  "id": "/subscriptions/00000000-0000-0000-0000-0000000000000/resourceGroups/rgDataMigration",
  "location": "eastus",
  "managedBy": null,
  "name": "rgDataMigration",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null
}

  8. Nasaďte všechny prostředky uvedené v předchozí části (centrum událostí, účet úložiště, aplikace functions, Azure Synapse Analytics) spuštěním následujícího příkazu rozhraní příkazového řádku:

    1. Zkopírujte příkaz a vložte ho do Cloud Shell okna. Případně můžete chtít zkopírovat nebo vložit do editoru podle vašeho výběru, nastavit hodnoty a pak zkopírovat příkaz do Cloud Shell.

      Důležité

      Před spuštěním příkazu zadejte hodnoty pro následující entity:

      • Název skupiny prostředků, kterou jste vytvořili dříve.
      • Název oboru názvů centra událostí.
      • Název centra událostí. Hodnotu můžete ponechat tak, jak je (hubdatamigration).
      • Název serveru SQL.
      • Jméno uživatele SQL a heslo.
      • Název databáze.
      • Název účtu úložiště.
      • Název aplikace funkcí
      az deployment group create \
    --resource-group rgDataMigration \
    --template-uri https://raw.githubusercontent.com/Azure/azure-docs-json-samples/master/event-grid/EventHubsDataMigration.json \
    --parameters eventHubNamespaceName=<event-hub-namespace> eventHubName=hubdatamigration sqlServerName=<sql-server-name> sqlServerUserName=<user-name> sqlServerPassword=<password> sqlServerDatabaseName=<database-name> storageName=<unique-storage-name> functionAppName=<app-name>

    2. V okně Cloud Shell enter spusťte příkaz . Vzhledem k tomu, že vytváříte spoustu prostředků, může tento proces chvíli trvat. Ve výsledku příkazu se ujistěte, že ne došlo k žádným selháním.

  9. Zavřete Cloud Shell výběrem tlačítka Cloud Shell na portálu (nebo) X v pravém horním rohu okna Cloud Shell obrazovky.

Ověření, že se prostředky vytvořily

  1. V Azure Portal nabídce vyberte Skupiny prostředků.

  2. Seznam skupin prostředků vyfiltrujte tak, že do vyhledávacího pole zadáte název vaší skupiny prostředků.

  3. V seznamu vyberte vaši skupinu prostředků.

    Vyberte skupinu prostředků.

  4. Ověřte, že se ve skupině prostředků zobrazí následující prostředky:

    Prostředky ve skupině prostředků

Vytvoření tabulky v Azure Synapse Analytics

Spuštěním skriptu CreateDataWarehouseTable.sql vytvořte tabulku v datovém skladu. Ke spuštění skriptu můžete použít Visual Studio editoru dotazů na portálu. Následující kroky ukazují, jak používat Editor dotazů:

  1. V seznamu prostředků ve skupině prostředků vyberte vyhrazený fond SQL.

  2. Na stránce Vyhrazený fond SQL v části Běžné úlohy v nabídce vlevo vyberte Editor dotazů (Preview).

    Azure Synapse Analytics stránky

  3. Zadejte jméno uživatele a heslo pro sql server a vyberte OK. Pokud se zobrazí zpráva o povolení přístupu klienta k SERVERU SQL, postupujte následovně:

    1. Vyberte odkaz: Nastavení brány firewall serveru.
    2. Na stránce Nastavení brány firewall vyberte na panelu nástrojů Přidat IP adresu klienta a pak na panelu nástrojů vyberte Uložit.
    3. U zprávy o úspěchu vyberte OK.
    4. Vraťte se na stránku Vyhrazený fond SQL a v nabídce vlevo vyberte Editor dotazů (Preview).
    5. Zadejte uživatele a heslo a pak vyberte OK.

  4. V okně dotazu zkopírujte a spusťte následující skript SQL:

    CREATE TABLE [dbo].[Fact_WindTurbineMetrics] (
    [DeviceId] nvarchar(50) COLLATE SQL_Latin1_General_CP1_CI_AS NULL, 
    [MeasureTime] datetime NULL, 
    [GeneratedPower] float NULL, 
    [WindSpeed] float NULL, 
    [TurbineSpeed] float NULL
)
WITH (CLUSTERED COLUMNSTORE INDEX, DISTRIBUTION = ROUND_ROBIN);

    Spuštění dotazu SQL

  5. Nechte tuto kartu nebo okno otevřené, abyste mohli ověřit, že se data vytvořila na konci kurzu.

Aktualizace verze modulu runtime funkce

  1. Ve webovém prohlížeči otevřete další kartu a přejděte na Azure Portal.

  2. V Azure Portal nabídce vyberte Skupiny prostředků.

  3. Vyberte skupinu prostředků, ve které aplikace funkcí existuje.

  4. V seznamu prostředků ve skupině prostředků vyberte aplikaci funkcí.

  5. V nabídce vlevo v části Nastavení vyberte Konfigurace.

  6. V pravém podokně přepněte na kartu Nastavení modulu runtime funkce.

  7. Aktualizujte verzi modulu runtime na ~3.

    Aktualizace verze modulu runtime funkce

  8. Na panelu nástrojů vyberte Uložit.

  9. V místní nabídce pro potvrzení uložení změn vyberte Pokračovat.

Publikování aplikace Azure Functions

  1. Spusťte Visual Studio.

  2. Otevřete řešení EventHubsCaptureEventGridDemo.sln, které jste si stáhli z GitHubu v rámci požadavků. Najdete ho ve /samples/e2e/EventHubsCaptureEventGridDemo složce .

  3. V Průzkumník řešení klikněte pravým tlačítkem na projekt FunctionEGDWDumper a vyberte Publikovat.

  4. Pokud se zobrazí následující obrazovka, vyberte Spustit.

    Tlačítko Spustit v části Publikovat.

  5. V dialogovém okně Publikovat jako Cíl vyberte Azure a pak vyberte Další.

  6. Vyberte Azure Function App (Windows) a pak vyberte Další.

  7. Na kartě Instance služby Functions vyberte své předplatné Azure, rozbalte skupinu prostředků, vyberte aplikaci funkcí a pak vyberte Dokončit. Pokud jste to ještě neudělali, musíte se přihlásit ke svému účtu Azure.

    Výběr aplikace funkcí

  8. Na stránce Publish (Publikovat) v části Service Dependencies (Závislosti služeb) vyberte Configure for Storage (Konfigurovat pro úložiště).

    Výběr odkazu konfigurace závislosti na službě úložiště

  9. Na stránce Konfigurace závislosti postupujte takto:

    1. Vyberte účet úložiště, který jste vytvořili dříve, a pak vyberte Další.

      Výběr účtu úložiště

    2. Zadejte název připojovacího řetězce a u možnosti Uložit připojovací řetězec vyberte Žádné a pak vyberte Další.

      Zadání názvu připojovacího řetězce

    3. Vymažte soubor kódu C# a možnost Secrets store (Úložiště tajných kódů) a pak vyberte Finish (Dokončit).

      Kontrola souhrnu změn

  10. Jakmile Visual Studio nakonfiguruje profil, vyberte Publikovat.

    Výběr možnosti Publikovat

  11. Na kartě, která má otevřenou stránku Funkce Azure, vyberte v nabídce vlevo Funkce. Ověřte, že se v seznamu zobrazuje funkce EventGridTriggerMigrateData. Pokud ji nevidíte, zkuste ji znovu publikovat z Visual Studio a pak aktualizujte stránku na portálu.

    Potvrzení vytvoření funkce

Po publikování funkce můžete začít událost odebírat.

Přihlásíte se k odběru události

  1. Na nové kartě nebo v novém okně webového prohlížeče přejděte na Azure Portal.

  2. V Azure Portal nabídce vyberte Skupiny prostředků.

  3. Seznam skupin prostředků vyfiltrujte tak, že do vyhledávacího pole zadáte název vaší skupiny prostředků.

  4. V seznamu vyberte vaši skupinu prostředků.

  5. V Event Hubs prostředků vyberte obor názvů .

  6. Na stránce Event Hubs obor názvů vyberte v nabídce vlevo Události a pak na panelu nástrojů vyberte + Odběr událostí.

    Odkaz na přidání odběru událostí na stránce Události pro Event Hubs názvů

  7. Na stránce Vytvořit odběr události postupujte takto:

    1. Zadejte název odběru události.

    2. Zadejte název systémového tématu. Systémové téma poskytuje koncový bod pro odesílání událostí odesílatelem. Další informace najdete v tématu Systémová témata.

    3. Jako Typ koncového bodu vyberte Funkce Azure.

    4. Jako Koncový bod vyberte odkaz .

    5. Na stránce Vybrat funkci Azure postupujte podle těchto kroků, pokud nejsou vyplněné automaticky.

      1. Vyberte předplatné Azure, které má funkci Azure.
      2. Vyberte skupinu prostředků pro funkci.
      3. Vyberte aplikaci funkcí.
      4. Vyberte slot nasazení.
      5. Vyberte funkci EventGridTriggerMigrateData.

    6. Na stránce Select Azure Function (Vybrat funkci Azure) vyberte Confirm Selection (Potvrdit výběr).

    7. Pak zpátky na stránce Vytvořit odběr události vyberte Vytvořit.

      Vytvoření odběru událostí pomocí funkce

  8. Ověřte, že je odběr událostí vytvořený. Přepněte na kartu Odběry událostí na stránce Události pro Event Hubs názvů.

    Potvrzení odběru události

  9. V seznamu App Service ve skupině prostředků vyberte plán App Service (ne plán).

Spuštění aplikace, která generuje data

Dokončili jste nastavení centra událostí, vymezte fond SQL (dříve SQL Data Warehouse), aplikaci funkcí Azure a odběr událostí. Před spuštěním aplikace, která generuje data z centra událostí, je potřeba nakonfigurovat několik hodnot.

  1. V Azure Portal přejděte ke své skupině prostředků, jak jste to udělali dříve.

  2. Vyberte obor Event Hubs názvů.

  3. Na stránce Event Hubs oboru názvů v levé nabídce vyberte Zásady sdíleného přístupu.

  4. V seznamu zásad vyberte RootManageSharedAccessKey.

    Stránka zásady sdíleného přístupu pro Event Hubs názvů

  5. Vyberte tlačítko pro kopírování vedle textového pole Připojovací řetězec – primární klíč.

  6. Zpět ke svému Visual Studio řešení.

  7. Klikněte pravým tlačítkem na projekt WindTurbineDataGenerator a vyberte Nastavit jako spouštěný projekt.

  8. V projektu WindTurbineDataGenerator otevřete soubor program.cs.

  9. Nahraďte <EVENT HUBS NAMESPACE CONNECTION STRING> připojovacím řetězcem, který jste zkopíroval z portálu.

  10. Nahraďte <EVENT HUB NAME> názvem centra událostí.

    private const string EventHubConnectionString = "Endpoint=sb://demomigrationnamespace.servicebus.windows.net/...";
private const string EventHubName = "hubdatamigration";

  11. Sestavte řešení. Spusťte WindTurbineGenerator.exe aplikaci.

  12. Po několika minutách na druhé kartě prohlížeče, kde máte otevřené okno dotazu, zadejte dotaz na migrovaná data do tabulky v datovém skladu.

    select * from [dbo].[Fact_WindTurbineMetrics]

    Výsledky dotazu

Monitorování řešení

Tato část vám pomůže s monitorováním řešení nebo řešením potíží.

Zobrazení zachycených dat v účtu úložiště

  1. Přejděte do skupiny prostředků a vyberte účet úložiště, který se používá k zachytávání dat událostí.

  2. Na stránce Účet úložiště vyberte Průzkumník služby Storage (Preview) v levé nabídce.

  3. Rozbalte kontejnery objektů blob a vyberte windturbinecapture.

  4. V pravém podokně otevřete složku s Event Hubs názvem vašeho oboru názvů.

  5. Otevřete složku s názvem , která je stejná jako vaše centrum událostí (hubdatamigration).

  6. Prohlédněte si složky a uvidíte soubory AVRO. Tady je příklad:

    Zachycený soubor v úložišti

Ověřte, že Event Grid funkce vyvolala aktivační událost.

  1. Přejděte do skupiny prostředků a vyberte aplikaci funkcí.

  2. V nabídce vlevo vyberte Funkce.

  3. Ze seznamu vyberte funkci EventGridTriggerMigrateData.

  4. Na stránce Funkce v nabídce vlevo vyberte Monitorovat.

  5. Vyberte Konfigurovat a nakonfigurujte Application Insights tak, aby zachytávání protokolů volání.

  6. Vytvořte nový prostředek Application Insights nebo použijte existující prostředek.

  7. Vraťte se na stránku Monitorování funkce.

  8. Ověřte, že klientská aplikace (WindTurbineDataGenerator), která odesílá události, je stále spuštěná. Pokud ne, spusťte aplikaci.

  9. Počkejte několik minut (5 minut nebo déle) a výběrem tlačítka Aktualizovat zobrazte volání funkce.

    Volání funkcí

  10. Výběrem vyvolání zobrazíte podrobnosti.

    Event Grid distribuuje data události mezi odběratele. Následující příklad ukazuje data událostí vygenerovaná při zachytání dat streamovaných prostřednictvím centra událostí v objektu blob. Konkrétně si všimněte, fileUrl že vlastnost v objektu odkazuje na objekt blob v data úložišti. Aplikace funkcí používá tuto adresu URL k načtení souboru objektů blob se zachycených daty.

    {
    "topic": "/subscriptions/<AZURE SUBSCRIPTION ID>/resourcegroups/rgDataMigration/providers/Microsoft.EventHub/namespaces/spehubns1207",
    "subject": "hubdatamigration",
    "eventType": "Microsoft.EventHub.CaptureFileCreated",
    "id": "4538f1a5-02d8-4b40-9f20-36301ac976ba",
    "data": {
        "fileUrl": "https://spehubstorage1207.blob.core.windows.net/windturbinecapture/spehubns1207/hubdatamigration/0/2020/12/07/21/49/12.avro",
        "fileType": "AzureBlockBlob",
        "partitionId": "0",
        "sizeInBytes": 473444,
        "eventCount": 2800,
        "firstSequenceNumber": 55500,
        "lastSequenceNumber": 58299,
        "firstEnqueueTime": "2020-12-07T21:49:12.556Z",
        "lastEnqueueTime": "2020-12-07T21:50:11.534Z"
    },
    "dataVersion": "1",
    "metadataVersion": "1",
    "eventTime": "2020-12-07T21:50:12.7065524Z"
}

Ověření, že jsou data uložená ve vyhrazeném fondu SQL

Na kartě prohlížeče, kde máte otevřené okno dotazu, zadejte dotaz na migrovaná data do tabulky ve vyhrazeném fondu SQL.

Výsledky dotazu

Další kroky