Az Azure Data Lake Analytics használatának első lépései az Azure parancssori felületével

Cikk
12/20/2023

Fontos

Új Azure Data Lake Analytics-fiókok csak akkor hozhatók létre, ha az előfizetése engedélyezve van. Ha engedélyeznie kell az előfizetését, forduljon az ügyfélszolgálathoz , és adja meg az üzleti forgatókönyvét.

Ha már használja az Azure Data Lake Analytics, 2024. február 29-ig létre kell hoznia egy migrálási tervet az Elemzés Azure Synapse a szervezet számára.

Ez a cikk azt ismerteti, hogyan használhatja az Azure CLI parancssori felületét Azure Data Lake Analytics-fiókok létrehozásához, USQL-feladatok és katalógusok elküldéséhez. A feladat tabulátorral elválasztott értékeket tartalmazó (TSV-) fájlt olvas be, majd konvertálja azt egy vesszővel elválasztott értékeket tartalmazó (CSV-) fájllá.

Előfeltételek

Mielőtt nekilátna, a következőkre lesz szüksége:

Egy Azure-előfizetés. Lásd: Ingyenes Azure-fiók létrehozása.
Ehhez a cikkhez az Azure CLI 2.0-s vagy újabb verzióját kell futtatnia. Ha telepíteni vagy frissíteni szeretne: Az Azure CLI telepítése.

Bejelentkezés az Azure-előfizetésbe:

az login

Meg kell keresnie egy URL-címet, és meg kell adnia egy hitelesítési kódot. Ezután kövesse az útmutatásokat a hitelesítő adatai megadásához.

Miután bejelentkezett, a bejelentkezési parancs felsorolja az előfizetéseket.

Egy adott előfizetés használata:

az account set --subscription <subscription id>

Data Lake Analytics-fiók létrehozása

A feladatok futtatásához rendelkeznie kell egy Data Lake Analytics-fiókkal. A Data Lake Analytics-fiók létrehozásához az alábbiakat kell megadnia:

Azure-erőforráscsoport. A Data Lake Analytics-fiókot egy Azure-erőforráscsoportban kell létrehoznia. Az Azure Resource Manager lehetővé teszi, hogy az alkalmazásában lévő erőforrásokat csoportként használja. Az alkalmazás összes erőforrását egyetlen, koordinált műveletben telepítheti, frissítheti vagy törölheti.

Az előfizetés alá tartozó meglévő erőforráscsoportok megjelenítése:

az group list

Új erőforráscsoport létrehozása:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

A Data Lake Analytics-fiók neve. Minden Data Lake Analytics-fiók rendelkezik egy névvel.
Hely. Használja az egyik, a Data Lake Analytics szolgáltatást támogató Azure-adatközpontot.
Alapértelmezett Data Lake Store-fiók: Minden Data Lake Analytics fiókhoz tartozik egy alapértelmezett Data Lake Store-fiók.

A meglévő Data Lake Store-fiók megjelenítése:

az dls account list

Új Data Lake Store-fiók létrehozása:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Egy Data Lake Analytics-fiók létrehozásához használja a következő szintaxist:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

A fiók létrehozása után az alábbi parancsok használatával listázhatja a fiókokat és jelentheti meg azok részleteit:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Adatok feltöltése a Data Lake Store-ba

Az alábbi oktatóanyagban keresési naplókat fog feldolgozni. A keresési napló tárolható Data Lake-adattárban vagy Azure Blob Storage-ban.

Az Azure Portal felhasználói felületet biztosít bizonyos mintaadatfájlok alapértelmezett Data Lake Store-fiókba való másolásához. Ilyen adatfájl a keresési napló is. Az adatok alapértelmezett Data Lake Store-fiókba való feltöltéséhez lásd a Forrásadatok előkészítése című szakaszt.

Ha az Azure CLI használatával szeretne fájlokat feltölteni, használja a következő parancsokat:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

A Data Lake Analytics az Azure Blob Storage-hoz is rendelkezik hozzáféréssel. A fájlok az Azure Blob Storage-ba történő feltöltéséhez lásd: Using the Azure CLI with Azure Storage (Az Azure parancssori felület és az Azure Storage használata).

Data Lake Analytics-feladatok küldése

A Data Lake Analytics-feladatok nyelve a U-SQL. További információk a U-SQL-ről: U-SQL nyelv – első lépések és U-SQL nyelvi referencia.

Data Lake Analytics-feladatparancsfájl létrehozása

Hozzon létre egy szövegfájlt az alábbi U-SQL-parancsfájl alapján, és mentse a szövegfájlt a munkaállomáson:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Ez a U-SQL-parancsfájl beolvassa a forrásadatfájlt az Extractors.Tsv() segítségével, majd létrehoz egy csv-fájlt az Outputters.Csv() használatával.

Ne módosítsa az elérési utat, kivéve, ha átmásolja a forrásfájlt egy másik helyre. A Data Lake Analytics létrehozza a kimeneti mappát, ha az még nem létezik.

Egyszerűbb relatív elérési utakat használni az alapértelmezett Data Lake Store-fiókokban tárolt fájlokhoz. De használhat abszolút elérési utakat is. Például:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

A társított tárfiókokban lévő fájlok eléréséhez abszolút elérési utakat kell használnia. A társított Azure Storage-fiókban tárolt fájlok szintaxisa:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Megjegyzés

A nyilvános blobokat tartalmazó Azure Blob-tárolók nem támogatottak. A nyilvános tárolókat tartalmazó Azure Blob-tárolók nem támogatottak.

Feladatok elküldése

Feladatok elküldéséhez használja a következő szintaxist.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Például:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Feladatok listázása és részleteik megjelenítése

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Feladatok megszakítása

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Feladatok eredményeinek lekérése

A feladat befejezése után az alábbi parancsok segítségével listázhatja ki a kimeneti fájlokat, és töltheti le a fájlokat:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"