Share via

Použití Azure Data Lake Storage Gen1 k zachycení dat ze služby Event Hubs

  • Článek

Naučte se používat Azure Data Lake Storage Gen1 k zachycení dat přijatých Azure Event Hubs.

Požadavky

Přiřazení oprávnění ke službě Event Hubs

V této části vytvoříte v rámci účtu složku, do které chcete zachytit data ze služby Event Hubs. Také přiřadíte oprávnění službě Event Hubs, aby bylo možné zapisovat data do Data Lake Storage Gen1 účtu.

  1. Otevřete účet Data Lake Storage Gen1, do kterého chcete zachytávat data ze služby Event Hubs, a klikněte na Data Explorer.

    Data Lake Storage Gen1 Průzkumník dat

  2. Klikněte na Nová složka a zadejte název složky, do které chcete data zaznamenat.

    Vytvoření nové složky v Data Lake Storage Gen1

  3. Přiřaďte oprávnění v kořenovém adresáři Data Lake Storage Gen1.

    a. Klikněte na Data Explorer, vyberte kořen účtu Data Lake Storage Gen1 a potom klikněte na Přístup.

    Snímek obrazovky Průzkumníka dat s kořenovým adresářem účtu a vyvolanou možností Přístup

    b. V části Access klikněte na Přidat, klikněte na Vybrat uživatele nebo skupinu a vyhledejte Microsoft.EventHubs.

    Snímek obrazovky přístupové stránky se vyvolanými možnostmi Přidat, Vybrat uživatele nebo skupinu a Microsoft EventHubs

    Klikněte na Vybrat.

    c. V části Přiřadit oprávnění klikněte na Vybrat oprávnění. Nastavte Oprávnění na Spustit. Nastavte Přidat natuto složku a všechny podřízené položky. Nastavte Přidat jako na Položku přístupového oprávnění a výchozí položku oprávnění.

    Důležité

    Při vytváření nové hierarchie složek pro zachytávání dat přijatých službou Azure Event Hubs se jedná o snadný způsob, jak zajistit přístup k cílové složce. Přidání oprávnění ke všem podřízeným složkám nejvyšší úrovně s mnoha podřízenými soubory a složkami však může trvat dlouho. Pokud kořenová složka obsahuje velké množství souborů a složek, může být rychlejší přidat oprávnění ke spuštění pro Microsoft.EventHubs jednotlivé složky v cestě ke konečné cílové složce.

    Snímek obrazovky s oddílem Přiřadit oprávnění se zaškrtnutou možností Vybrat oprávnění Vedle něj je oddíl Vybrat oprávnění se zaškrtnutými možnostmi Spustit, Přidat do a Přidat jako.

    Klikněte na OK.

  4. Přiřaďte oprávnění ke složce pod účtem Data Lake Storage Gen1, kam chcete zachytávat data.

    a. Klikněte na Data Explorer, vyberte složku v účtu Data Lake Storage Gen1 a potom klikněte na Přístup.

    Snímek obrazovky Průzkumníka dat se složkou v účtu a vyvolanou možností Přístup

    b. V části Access klikněte na Přidat, klikněte na Vybrat uživatele nebo skupinu a vyhledejte Microsoft.EventHubs.

    Snímek obrazovky accessové stránky Průzkumníka dat se označenými možnostmi Přidat, Vybrat uživatele nebo skupinu a možností Microsoft Eventhubs

    Klikněte na Vybrat.

    c. V části Přiřadit oprávnění klikněte na Vybrat oprávnění. Nastavte Oprávnění na Čtení, Zápis a Spouštění. Nastavte Přidat natuto složku a všechny podřízené položky. Nakonec nastavte Přidat jako na Položku přístupového oprávnění a výchozí položku oprávnění.

    Snímek obrazovky s oddílem Přiřadit oprávnění se zaškrtnutou možností Vybrat oprávnění Vedle něj je oddíl Vybrat oprávnění se zaškrtnutými možnostmi Číst, Zapisovat a Spustit, Přidat do a Přidat jako.

    Klikněte na OK.

Konfigurace služby Event Hubs pro zachytávání dat pro Data Lake Storage Gen1

V této části vytvoříte centrum událostí v oboru názvů služby Event Hubs. Nakonfigurujete také centrum událostí tak, aby zaznamenávala data do účtu Azure Data Lake Storage Gen1. V této části se předpokládá, že jste už vytvořili obor názvů služby Event Hubs.

  1. V podokně Přehled oboru názvů služby Event Hubs klikněte na + Centrum událostí.

    Snímek obrazovky s podoknem Přehled se zaškrtnutou možností Centrum událostí

  2. Zadejte následující hodnoty pro konfiguraci služby Event Hubs tak, aby zaznamenávala data do Data Lake Storage Gen1.

    Snímek obrazovky dialogového okna Vytvořit centrum událostí s textovým polem Název, možností Zachycení, možností Zprostředkovatele zachycení, možností Vybrat Data Lake Store a možností Cesta k Data Lake.

    a. Zadejte název centra událostí.

    b. Pro účely tohoto kurzu nastavte Počet oddílů a Uchovávání zpráv na výchozí hodnoty.

    c. Nastavte Capture na Zapnuto. Nastavte časové okno (jak často se má zachytit) a Okno velikosti (velikost dat, která se mají zachytit).

    d. Jako Poskytovatel zachycení vyberte Azure Data Lake Store a pak vyberte účet Data Lake Storage Gen1, který jste vytvořili dříve. Do pole Cesta k Data Lake zadejte název složky, kterou jste vytvořili v účtu Data Lake Storage Gen1. Stačí zadat pouze relativní cestu ke složce.

    e. Formáty názvů ukázkových souborů zachytávání ponechte na výchozí hodnotě. Tato možnost řídí strukturu složek, která se vytvoří ve složce capture.

    f. Klikněte na Vytvořit.

Otestovat nastavení

Řešení teď můžete otestovat odesláním dat do centra událostí Azure. Postupujte podle pokynů v tématu Odesílání událostí do Azure Event Hubs. Jakmile začnete odesílat data, uvidíte, že se data projeví v Data Lake Storage Gen1 pomocí struktury složek, kterou jste zadali. Například ve svém Data Lake Storage Gen1 účtu uvidíte strukturu složek, jak je znázorněno na následujícím snímku obrazovky.

Ukázková data EventHubu v Data Lake Storage Gen1

Poznámka

I když do služby Event Hubs nepřicházejí žádné zprávy, služba Event Hubs zapisuje do účtu Data Lake Storage Gen1 prázdné soubory pouze s hlavičkami. Soubory se zapisují ve stejném časovém intervalu, který jste zadali při vytváření služby Event Hubs.

Analýza dat v Data Lake Storage Gen1

Jakmile jsou data v Data Lake Storage Gen1, můžete spouštět analytické úlohy, které data zpracovávají a zasunou. Informace o tom, jak to provést pomocí Azure Data Lake Analytics, najdete v příkladu USQL Avro.

Viz také