Adatok Stream Azure Storage-blobból Azure Data Lake Storage Gen1-be az Azure Stream Analytics használatával
Ebből a cikkből megtudhatja, hogyan használhatja Azure Data Lake Storage Gen1-et egy Azure Stream Analytics-feladat kimeneteként. Ez a cikk egy egyszerű forgatókönyvet mutat be, amely beolvassa az adatokat egy Azure Storage-blobból (bemenetből), és az adatokat a Data Lake Storage Gen1 (kimenet) felé írja.
Előfeltételek
Az oktatóanyag elkezdéséhez az alábbiakkal kell rendelkeznie:
Azure-előfizetés. Lásd: Ingyenes Azure-fiók létrehozása.
Azure Storage-fiók. Ebből a fiókból egy blobtárolót fog használni egy Stream Analytics-feladat adatainak beviteléhez. Ebben az oktatóanyagban tegyük fel, hogy rendelkezik egy storageforasa nevű tárfiókal és egy storageforasacontainer nevű tárolóval. Miután létrehozta a tárolót, töltsön fel hozzá egy mintaadatfájlt.
Egy Data Lake Storage Gen1 fiók. Kövesse a Azure Data Lake Storage Gen1 használatának első lépéseit a Azure Portal használatával. Tegyük fel, hogy van egy myadlsg1 nevű Data Lake Storage Gen1 fiókja.
Stream Analytics-feladat létrehozása
Először hozzon létre egy Stream Analytics-feladatot, amely tartalmaz egy bemeneti forrást és egy kimeneti célt. Ebben az oktatóanyagban a forrás egy Azure Blob-tároló, a cél pedig Data Lake Storage Gen1.
Jelentkezzen be az Azure Portalra.
A bal oldali panelen kattintson a Stream Analytics-feladatok elemre, majd kattintson a Hozzáadás gombra.
Megjegyzés
Győződjön meg arról, hogy a tárfiókkal azonos régióban hoz létre feladatot, vagy további költségekkel jár az adatok régiók közötti áthelyezése.
Blobbemenet létrehozása a feladathoz
Nyissa meg a Stream Analytics-feladat lapfülét, a bal oldali panelen kattintson a Bemenetek fülre, majd a Hozzáadás gombra.
Az Új bevitel panelen adja meg a következő értékeket.
A Bemeneti alias mezőben adja meg a feladat bemenetének egyedi nevét.
A Forrás típusa mezőben válassza az Adatfolyam lehetőséget.
A Forrás mezőben válassza a Blob Storage lehetőséget.
Az Előfizetés területen válassza a Blob Storage használata az aktuális előfizetésből lehetőséget.
A Storage-fiók esetében válassza ki az előfeltételek részeként létrehozott tárfiókot.
A Tároló mezőben válassza ki a kiválasztott tárfiókban létrehozott tárolót.
Az Esemény szerializálási formátuma beállításnál válassza a CSV lehetőséget.
A Határoló elemnél válassza a tabulátort.
A Kódolás beállításnál válassza az UTF-8 lehetőséget.
Kattintson a Létrehozás lehetőségre. A portál most hozzáadja a bemenetet, és teszteli a kapcsolatot.
Data Lake Storage Gen1 kimenet létrehozása a feladathoz
Nyissa meg a Stream Analytics-feladat lapfülét, kattintson a Kimenetek fülre, kattintson a Hozzáadás gombra, és válassza a Data Lake Storage Gen1 lehetőséget.
Az Új kimenet panelen adja meg a következő értékeket.
- A Kimeneti alias mezőben adja meg a feladat kimenetének egyedi nevét. Ez egy felhasználóbarát név, amellyel a lekérdezés kimenete erre a Data Lake Storage Gen1 fiókra irányítható.
- A rendszer kérni fogja, hogy engedélyezze a hozzáférést a Data Lake Storage Gen1 fiókhoz. Kattintson az Engedélyezés gombra.
Az Új kimenet panelen továbbra is adja meg a következő értékeket.
A Fióknév mezőben válassza ki azt a Data Lake Storage Gen1 fiókot, amelyre a feladat kimenetét el szeretné küldeni.
Az Elérésiút-előtag-minta mezőben adjon meg egy fájlelérési útvonalat, amellyel a megadott Data Lake Storage Gen1 fiókba írhatja a fájlokat.
Dátumformátum esetén, ha az előtag elérési útján használt dátum jogkivonatot, kiválaszthatja a fájlok rendszerezésének dátumformátumát.
Időformátum esetén, ha az előtag elérési útján használt idő jogkivonatot, adja meg a fájlok rendszerezésének időformátumát.
Az Esemény szerializálási formátuma beállításnál válassza a CSV lehetőséget.
A Határoló elemnél válassza a tabulátort.
A Kódolás beállításnál válassza az UTF-8 lehetőséget.
Kattintson a Létrehozás lehetőségre. A portál most hozzáadja a kimenetet, és teszteli a kapcsolatot.
Stream Analytics-feladat futtatása
Egy Stream Analytics-feladat futtatásához le kell futtatnia egy lekérdezést a Lekérdezés lapon. Ebben az oktatóanyagban úgy futtathatja a mintalekérdezéseket, hogy a helyőrzőket a feladatbemeneti és kimeneti aliasokra cseréli, ahogy az alábbi képernyőfelvételen látható.
Kattintson a Mentés gombra a képernyő tetején, majd az Áttekintés lapon kattintson a Start gombra. A párbeszédpanelen válassza az Egyéni idő lehetőséget, majd adja meg az aktuális dátumot és időpontot.
A feladat elindításához kattintson a Start gombra. A feladat elindítása akár néhány percet is igénybe vehet.
Ha aktiválni szeretné a feladatot az adatok blobból való kiválasztásához, másolja a mintaadatfájlt a blobtárolóba. Mintaadatfájlt az Azure Data Lake Git-adattárból szerezhet be. Ebben az oktatóanyagban másolja a fájlt vehicle1_09142014.csv. Különböző ügyfelek, például Azure Storage Explorer használatával adatokat tölthet fel egy blobtárolóba.
Az Áttekintés lap Figyelés területén tekintse meg az adatok feldolgozásának módját.
Végül ellenőrizheti, hogy a feladat kimeneti adatai elérhetők-e a Data Lake Storage Gen1-fiókban.
A Data Explorer panelen figyelje meg, hogy a kimenet a Data Lake Storage Gen1 kimeneti beállításokban (
streamanalytics/job/output/{date}/{time}
) megadott mappaelérési útvonalra van írva.