Share via

Stream dat z Azure Storage Blob do Azure Data Lake Storage Gen1 pomocí Azure Stream Analytics

  • Článek

V tomto článku se dozvíte, jak použít Azure Data Lake Storage Gen1 jako výstup pro úlohu Azure Stream Analytics. Tento článek ukazuje jednoduchý scénář, který čte data z objektu blob služby Azure Storage (vstup) a zapisuje je do Data Lake Storage Gen1 (výstup).

Požadavky

Je nutné, abyste před zahájením tohoto kurzu měli tyto položky:

  • Předplatné Azure. Viz Získání bezplatné zkušební verze Azure.

  • Účet Azure Storage. Kontejner objektů blob z tohoto účtu použijete ke zadávání dat pro úlohu Stream Analytics. Pro účely tohoto kurzu předpokládejme, že máte účet úložiště s názvem storageforasa a kontejner s názvem storageforasacontainer. Po vytvoření kontejneru do něj nahrajte ukázkový datový soubor.

  • Účet Data Lake Storage Gen1. Postupujte podle pokynů v tématu Začínáme s Azure Data Lake Storage Gen1 pomocí Azure Portal. Předpokládejme, že máte Data Lake Storage Gen1 účet myadlsg1.

Vytvoření úlohy Stream Analytics

Začnete vytvořením úlohy Stream Analytics, která zahrnuje vstupní zdroj a cíl výstupu. Pro účely tohoto kurzu je zdrojem kontejner objektů blob Azure a cíl je Data Lake Storage Gen1.

  1. Přihlaste se k portálu Azure Portal.

  2. V levém podokně klikněte na úlohy Stream Analytics a pak klikněte na Přidat.

    Vytvoření úlohy Stream Analytics

    Poznámka

    Nezapomeňte vytvořit úlohu ve stejné oblasti jako účet úložiště, jinak se vám budou účtovat další náklady na přesun dat mezi oblastmi.

Vytvoření vstupu objektu blob pro úlohu

  1. Otevřete stránku úlohy Stream Analytics, v levém podokně klikněte na kartu Vstupy a pak klikněte na Přidat.

    Snímek obrazovky s oknem úloha Stream Analytics se zaškrtnutou možností Vstupy a Přidat vstup streamu

  2. V okně Nový vstup zadejte následující hodnoty.

    Snímek obrazovky s oknem Úložiště objektů blob – nový vstup

    • Do pole Alias vstupu zadejte jedinečný název vstupu úlohy.

    • Jako Typ zdroje vyberte Datový stream.

    • Jako Zdroj vyberte Úložiště objektů blob.

    • V části Předplatné vyberte Použít úložiště objektů blob z aktuálního předplatného.

    • V části Účet úložiště vyberte účet úložiště, který jste vytvořili v rámci požadavků.

    • V části Kontejner vyberte kontejner, který jste vytvořili ve vybraném účtu úložiště.

    • V části Formát serializace událostí vyberte CSV.

    • V části Oddělovač vyberte tabulátor.

    • V části Kódování vyberte UTF-8.

      Klikněte na Vytvořit. Portál teď přidá vstup a otestuje k němu připojení.

Vytvoření výstupu Data Lake Storage Gen1 pro úlohu

  1. Otevřete stránku úlohy Stream Analytics, klikněte na kartu Výstupy, klikněte na Přidat a vyberte Data Lake Storage Gen1.

    Snímek obrazovky s oknem úloha Stream Analytics se vyvolanými možnostmi Výstupy, Přidat a Data Lake Storage Gen1

  2. V okně Nový výstup zadejte následující hodnoty.

    Snímek obrazovky s oknem Data Lake Storage Gen1 – nový výstup se vyvolanou možností Autorizovat

    • Do pole Alias výstupu zadejte jedinečný název výstupu úlohy. Jedná se o popisný název používaný v dotazech k nasměrování výstupu dotazu na tento účet Data Lake Storage Gen1.
    • Zobrazí se výzva k autorizaci přístupu k účtu Data Lake Storage Gen1. Klikněte na Autorizovat.

  3. V okně Nový výstup zadejte následující hodnoty.

    Snímek obrazovky s oknem Data Lake Storage Gen1 – nový výstup

    • V části Název účtu vyberte účet Data Lake Storage Gen1, který jste už vytvořili, kam chcete odeslat výstup úlohy.

    • Do pole Vzor předpony cesty zadejte cestu k souboru, která se použije k zápisu souborů v rámci zadaného účtu Data Lake Storage Gen1.

    • Pokud jste v cestě k předponě použili token data, můžete v části Formát data vybrat formát data, ve kterém jsou soubory uspořádané.

    • Pokud jste v cestě k předponě použili časový token, zadejte formát času, ve kterém jsou soubory uspořádané.

    • V části Formát serializace událostí vyberte CSV.

    • V části Oddělovač vyberte tabulátor.

    • V části Kódování vyberte UTF-8.

      Klikněte na Vytvořit. Portál teď přidá výstup a otestuje připojení k němu.

Spuštění úlohy Stream Analytics

  1. Pokud chcete spustit úlohu Stream Analytics, musíte spustit dotaz z karty Dotaz. Pro účely tohoto kurzu můžete spustit ukázkový dotaz tak, že zástupné symboly nahradíte aliasy pro vstup a výstup úlohy, jak je znázorněno na následujícím snímku obrazovky.

    Spuštění dotazu

  2. V horní části obrazovky klikněte na Uložit a potom na kartě Přehled klikněte na Start. V dialogovém okně vyberte Vlastní čas a nastavte aktuální datum a čas.

    Nastavení času úlohy

    Kliknutím na Spustit úlohu spusťte. Spuštění úlohy může trvat až několik minut.

  3. Pokud chcete úlohu aktivovat pro výběr dat z objektu blob, zkopírujte do kontejneru objektů blob ukázkový datový soubor. Ukázkový datový soubor můžete získat z úložiště Git Azure Data Lake. Pro účely tohoto kurzu zkopírujeme soubor vehicle1_09142014.csv. K nahrání dat do kontejneru objektů blob můžete použít různé klienty, například Průzkumník služby Azure Storage.

  4. Na kartě Přehled v části Monitorování se podívejte, jak se data zpracovala.

    Monitorování úlohy

  5. Nakonec můžete ověřit, že výstupní data úlohy jsou k dispozici v účtu Data Lake Storage Gen1.

    Ověření výstupu

    V podokně Data Explorer si všimněte, že výstup je zapsán do cesty ke složce, jak je uvedeno v nastavení výstupu Data Lake Storage Gen1 (streamanalytics/job/output/{date}/{time}).

Viz také