Ingestování dat z centra událostí do Azure Data Explorer

Průzkumník dat Azure je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie. Azure Data Explorer nabízí příjem dat (načítání dat) z Event Hubs, IoT Hubů a objektů blob napsaných do kontejnerů objektů blob.

Azure Data Explorer nabízí ingestování (načítání) dat ze služby Event Hubs, platformy pro streamování velkých objemů dat a služby pro ingestování událostí. Event Hubs dokáže zpracovat miliony událostí za sekundu v reálném čase. V tomto článku vytvoříte centrum událostí, připojíte se k Azure Data Explorer a uvidíte tok dat v systému.

Obecné informace o ingestování do služby Azure Data Explorer z centra událostí najdete v tématu Připojení do centra událostí.

Požadavky

• Předplatné Azure. Vytvořte si bezplatný účet Azure.
• Vytvořte cluster a databázi.
• Pro datové připojení doporučujeme použít spravovanou identitu přiřazenou uživatelem nebo spravovanou identitu přiřazenou systémem (volitelné).
• Ukázková aplikace, která generuje data a odesílá je do centra událostí. Stáhněte si ukázkovou aplikaci do svého systému.
• Visual Studio 2019 spusťte ukázkovou aplikaci.

Přihlášení k webu Azure Portal

Přihlaste se k webu Azure Portal.

Vytvoření centra událostí

Vytvořte centrum událostí pomocí šablony Azure Resource Manager v Azure Portal.

1. Pokud chcete vytvořit centrum událostí, pomocí následujícího tlačítka spusťte nasazení. Klikněte pravým tlačítkem a vyberte Otevřít v novém okně,abyste mohli postupovat podle zbývajících kroků v tomto článku.

   

   Tlačítkem Deploy to Azure (Nasadit do Azure) se zobrazí Azure Portal.

   

2. Vyberte předplatné, ve kterém chcete centrum událostí vytvořit, a vytvořte skupinu prostředků s názvem test-hub-rg.

   

3. Do formuláře zadejte následující informace.

   Pro všechna nastavení, která nejsou uvedená v následující tabulce, použijte výchozí hodnoty.

   Nastavení	Navrhovaná hodnota	Popis pole
   Předplatné	Vaše předplatné	Vyberte předplatné Azure, které chcete použít pro své centrum událostí.
   Skupina prostředků	test-hub-rg	Vytvoříte novou skupinu prostředků.
   Umístění	USA – západ	Vyberte USA – západ pro tento článek. Pro produkční systém vyberte oblast, která nejlépe vyhovuje vašim potřebám. Vytvořte obor názvů centra událostí ve stejném umístění jako cluster Azure Data Explorer pro nejlepší výkon (nejdůležitější pro obory názvů centra událostí s vysokou propustností).
   Název oboru názvů	Jedinečný název oboru názvů	Zvolte jedinečný název, který identifikuje váš obor názvů. Například mytestnamespace. K názvu, který zadáte, bude připojen název domény servicebus.windows.net. Název může obsahovat pouze písmena, číslice a pomlčky. Musí začínat písmenem a končit písmenem nebo číslicí. Počet znaků musí být mezi 6 a 50.
   Název centra událostí	test-hub	Centrum událostí se nachází pod oborem názvů , který poskytuje jedinečný kontejner oboru. Název centra událostí musí být v rámci oboru názvů jedinečný.
   Název skupiny uživatelů	test-group	Skupiny uživatelů umožňují, aby měla každá z aplikací samostatné zobrazení streamu událostí.

4. Vyberte Zkontrolovat a vytvořit.

5. Zkontrolujte souhrn vytvořených prostředků. Vyberte Vytvořita potvrďte, že ve svém předplatném vytváříte prostředky.

   

6. Pokud chcete proces zřizování monitorovat, vyberte na panelu nástrojů Oznámení. Úspěšné nasazení může trvat několik minut, můžete teď ale přejít na další krok.

   

Vytvoření cílové tabulky v Azure Data Exploreru

Teď v Azure Data Exploreru vytvoříte tabulku, do které bude služba Event Hubs odesílat data. Tabulku vytvoříte v clusteru a databázi, které jste zřídili v části Požadavky.

1. V Azure Portal přejděte ke svému clusteru a vyberte Dotaz.

   

2. Zkopírujte do okna následující příkaz a výběrem možnosti Spustit vytvořte tabulku (TestTable), která bude přijímat ingestovaná data.

   .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
   

   

3. Zkopírujte do okna následující příkaz a výběrem možnosti Spustit namapujte příchozí data JSON na názvy sloupců a datové typy tabulky (TestTable).

   .create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp", "Properties": {"Path": "$.timeStamp"}},{"column":"Name", "Properties": {"Path":"$.name"}} ,{"column":"Metric", "Properties": {"Path":"$.metric"}}, {"column":"Source", "Properties": {"Path":"$.source"}}]'
   

Připojení do centra událostí

Teď se připojíte k centru událostí z Azure Data Explorer. Po vytvoření tohoto připojení se data, která proudí do centra událostí, streamuje do testovací tabulky, kterou jste vytvořili dříve v tomto článku.

1. Na panelu nástrojů vyberte Oznámení a ověřte, že nasazení centra událostí bylo úspěšné.

2. V rámci clusteru, který jste vytvořili, vyberte Databáze a pak TestDatabase.

   

3. Vyberte Příjem dat a Přidat datové připojení.

   

Vytvoření datového připojení

Do formuláře zadejte následující informace a pak vyberte Vytvořit.

Cílová tabulka

Existují dvě možnosti směrování ingestovaných dat: statická a dynamická. Pro tento článek použijete statické směrování, kde jako výchozí hodnoty zadáte název tabulky, formát dat a mapování. Pokud zpráva centra událostí obsahuje informace o směrování dat, přepíšou tyto informace o směrování výchozí nastavení.

1. Vyplňte následující nastavení směrování:

   

   Nastavení	Navrhovaná hodnota	Popis pole
   Název tabulky	TestTable	Tabulka, kterou jste vytvořili v databázi TestDatabase
   Formát dat	JSON	Podporované formáty jsou Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO a W3CLOG.
   Mapování	TestMapping	Mapování, které jste vytvořili v databázi TestDatabase, které mapuje příchozí data na názvy sloupců a datové typy tabulky TestTable. Vyžaduje se pro JSON, MULTILINE JSON a AVRO a volitelné pro jiné formáty.

   Poznámka

   • Není nutné zazadat všechna výchozí nastavení směrování. Přijata jsou také částečná nastavení.
   • Ingestují se jenom události zařazované do fronty po vytvoření datového připojení.

2. Vyberte Vytvořit.

Mapování vlastností systému událostí

Pokud jste v části Zdroj dat tabulky vybrali Vlastnosti systému událostí, musíte do schématu a mapování tabulky zahrnout systémové vlastnosti.

Zkopírování připojovacího řetězce

Když spustíte ukázkovou aplikaci uvedenou v části Požadavky, potřebujete připojovací řetězec pro obor názvů centra událostí.

1. V oboru názvů centra událostí, který jste vytvořili, vyberte Zásady sdíleného přístupua pak RootManageSharedAccessKey.

   

2. Zkopírujte připojovací řetězec – primární klíč. Tuto hodnotu vložíte v další části.

   

Generování ukázkových dat

K vygenerování dat použijte ukázkovou aplikaci, kterou jste stáhli.

1. Otevřete řešení ukázkové aplikace v sadě Visual Studio.

2. V souboru program.cs aktualizujte konstantu na název vašeho centra událostí a aktualizujte konstantu na připojovací řetězec, který jste zkopíroval z oboru názvů centra connectionString událostí.

   const string eventHubName = "test-hub";
   // Copy the connection string ("Connection string-primary key") from your Event Hub namespace.
   const string connectionString = @"<YourConnectionString>";
   

3. Sestavte a spusťte aplikaci. Aplikace odesílá zprávy do centra událostí a každých 10 sekund vytiskne její stav.

4. Po odeslání několika zpráv přejděte k dalšímu kroku: kontrola toku dat do centra událostí a testovací tabulky.

Kontrola toku dat

Když aplikace generuje data, můžete teď vidět tok těchto dat z centra událostí do tabulky ve vašem clusteru.

1. V Azure Portal pod centrem událostí uvidíte špičku aktivity, když je aplikace spuštěná.

   

2. Pokud chcete zkontrolovat, kolik zpráv se zatím dostalo do databáze, spusťte v testovací databázi následující dotaz.

   TestTable
   | count
   

3. Pokud chcete zobrazit obsah zpráv, spusťte následující dotaz:

   TestTable
   

   Sada výsledků by měla vypadat jako na následujícím obrázku:

   

   Poznámka

   • Azure Data Explorer má zásady agregace (dávkování) pro příjem dat navržené tak, aby optimalizovaly proces příjmu dat. Výchozí zásady dávkování jsou nakonfigurované tak, aby zapečetěly dávku, jakmile pro dávku platí jedna z následujících podmínek: maximální doba zpoždění 5 minut, celková velikost 1G nebo 1 000 objektů blob. Proto může docházet k latenci. Další informace najdete v tématu o dávkování zásad.
   • Příjem dat centra událostí zahrnuje dobu odezvy centra událostí 10 sekund nebo 1 MB.
   • Pokud chcete zkrátit dobu odezvy, nakonfigurujte tabulku tak, aby podporovala streamování. Viz zásady streamování.

Vyčištění prostředků

Pokud už centrum událostí nechcete znovu používat, vyčistěte soubor test-hub-rg,abyste se vyhnuli nákladům.

1. Úplně nalevo na webu Azure Portal vyberte Skupiny prostředků a pak vyberte skupinu prostředků, kterou jste vytvořili.

   Pokud je nabídka vlevo sbalený, ji výběrem tlačítka Rozbalit.

   

2. Ve skupině prostředků test-resource-group vyberte Odstranit skupinu prostředků.

3. V novém okně zadejte název skupiny prostředků, kterou chcete odstranit (test-resource-group), a pak vyberte Odstranit.

Další kroky

• Dotazování na data v Azure Data Explorer