Azure CLI で Azure Data Lake Analytics の使用を開始するGet started with Azure Data Lake Analytics using Azure CLI

この記事では、Azure CLI コマンド ライン インターフェイスを使用して、Azure Data Lake Analytics のアカウントを作成し、USQL ジョブおよびカタログを送信する方法について説明します。This article describes how to use the Azure CLI command-line interface to create Azure Data Lake Analytics accounts, submit USQL jobs, and catalogs. このジョブでは、タブ区切り値 (TSV) ファイルを読み取り、コンマ区切り値 (CSV) ファイルに変換します。The job reads a tab separated values (TSV) file and converts it into a comma-separated values (CSV) file.

前提条件Prerequisites

インストールを開始するには、次の項目が必要です。Before you begin, you need the following items:

  • Azure サブスクリプションAn Azure subscription. Azure 無料試用版の取得に関するページを参照してください。See Get Azure free trial.
  • この記事では、Azure CLI バージョン 2.0 以降を実行している必要があります。This article requires that you are running the Azure CLI version 2.0 or later. インストールまたはアップグレードする必要がある場合は、Azure CLI のインストールに関するページを参照してください。If you need to install or upgrade, see Install Azure CLI.

Azure にログインするLog in to Azure

Azure サブスクリプションにログインするには:To log in to your Azure subscription:

azurecli
az login

URL に移動し、認証コードを入力するように求められます。You are requested to browse to a URL, and enter an authentication code. 次に、指示に従って、資格情報を入力します。And then follow the instructions to enter your credentials.

ログイン後は、login コマンドでサブスクリプションの一覧が表示されます。Once you have logged in, the login command lists your subscriptions.

特定のサブスクリプションを使用するには:To use a specific subscription:

az account set --subscription <subscription id>

Data Lake Analytics アカウントを作成するCreate Data Lake Analytics account

ジョブを実行するには、Data Lake Analytics アカウントが必要です。You need a Data Lake Analytics account before you can run any jobs. Data Lake Analytics アカウントを作成するには、以下の項目を指定する必要があります。To create a Data Lake Analytics account, you must specify the following items:

  • Azure リソース グループAzure Resource Group. Data Lake Analytics アカウントは、Azure リソース グループ内に作成する必要があります。A Data Lake Analytics account must be created within an Azure Resource group. Azure Resource Manager を使用すると、アプリケーション内の複数リソースを 1 つのグループとして操作できます。Azure Resource Manager enables you to work with the resources in your application as a group. アプリケーションのこれらすべてのリソースを、1 回の連携した操作でデプロイ、更新、または削除できます。You can deploy, update, or delete all of the resources for your application in a single, coordinated operation.

サブスクリプションの既存のリソース グループを一覧表示するには:To list the existing resource groups under your subscription:

az group list

新しいリソース グループを作成するには:To create a new resource group:

az group create --name "<Resource Group Name>" --location "<Azure Location>"
  • Data Lake Analytics アカウント名Data Lake Analytics account name. 各 Data Lake Analytics アカウントには、名前があります。Each Data Lake Analytics account has a name.
  • 場所Location. Data Lake Analytics をサポートしているいずれかの Azure データ センターを使用します。Use one of the Azure data centers that supports Data Lake Analytics.
  • 既定の Data Lake Store アカウント: 各 Data Lake Analytics アカウントには、既定の Data Lake Store アカウントがあります。Default Data Lake Store account: Each Data Lake Analytics account has a default Data Lake Store account.

既存の Data Lake Store アカウントを一覧表示するには:To list the existing Data Lake Store account:

az dls account list

新しい Data Lake Store アカウントを作成するには:To create a new Data Lake Store account:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Data Lake Analytics アカウントを作成するには、次の構文を使用します。Use the following syntax to create a Data Lake Analytics account:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

アカウントを作成した後、以下のコマンドを使用して、アカウントを一覧表示し、アカウントの詳細を表示することができます。After creating an account, you can use the following commands to list the accounts and show account details:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"            

Data Lake Store にデータをアップロードするUpload data to Data Lake Store

このチュートリアルでは、いくつかの検索ログを処理します。In this tutorial, you process some search logs. 検索ログは、Data Lake Store または Azure Blob Storage に格納できます。The search log can be stored in either Data Lake store or Azure Blob storage.

Azure Portal には、検索ログ ファイルを含むサンプル データ ファイルを既定の Data Lake Store アカウントにコピーするためのユーザー インターフェイスが用意されています。The Azure portal provides a user interface for copying some sample data files to the default Data Lake Store account, which include a search log file. ソース データの準備 」を参照して、データを既定の Data Lake Store アカウントにアップロードします。See Prepare source data to upload the data to the default Data Lake Store account.

Azure CLI を使用してファイルをアップロードするには、次のコマンドを使用します。To upload files using Azure CLI, use the following commands:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics は、Azure BLOB ストレージにもアクセスできます。Data Lake Analytics can also access Azure Blob storage. Azure BLOB ストレージへのデータのアップロードについては、「 Azure ストレージでの Azure CLI の使用」を参照してください。For uploading data to Azure Blob storage, see Using the Azure CLI with Azure Storage.

Data Lake Analytics ジョブを送信するSubmit Data Lake Analytics jobs

Data Lake Analtyics ジョブは U-SQL 言語で記述されます。The Data Lake Analytics jobs are written in the U-SQL language. U-SQL の詳細については、U-SQL 言語の使用に関する記事および「U-SQL Language Reference (U-SQL 言語リファレンス)」をご覧ください。To learn more about U-SQL, see Get started with U-SQL language and U-SQL language reference.

Data Lake Analytics ジョブ スクリプトを作成するにはTo create a Data Lake Analytics job script

次の U-SQL スクリプトでテキスト ファイルを作成し、ワークステーションにテキスト ファイルを保存します。Create a text file with following U-SQL script, and save the text file to your workstation:

@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

この U-SQL スクリプトでは、Extractors.Tsv() を使用してソース データ ファイルを読み取ってから、Outputters.Csv() を使用して csv ファイルを作成します。This U-SQL script reads the source data file using Extractors.Tsv(), and then creates a csv file using Outputters.Csv().

ソース ファイルを別の場所にコピーしない限り、2 つのパスを変更しないでください。Don't modify the two paths unless you copy the source file into a different location. 出力フォルダーがない場合は、Data Lake Analytics によって作成されます。Data Lake Analytics creates the output folder if it doesn't exist.

既定の Data Lake Store アカウントに保存されたファイルの相対パスを使用する方が簡単です。It is simpler to use relative paths for files stored in default Data Lake Store accounts. 絶対パスを使用することもできます。You can also use absolute paths. 例:For example:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

リンクされたストレージ アカウント内のファイルへのアクセスには、絶対パスを使用する必要があります。You must use absolute paths to access files in linked Storage accounts. リンクされた Azure Storage アカウントに格納されているファイルの構文は以下のとおりです。The syntax for files stored in linked Azure Storage account is:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

注意

Azure BLOB コンテナーのパブリック BLOB はサポートされていません。Azure Blob container with public blobs are not supported.
Azure BLOB コンテナーのパブリック コンテナーはサポートされていません。Azure Blob container with public containers are not supported.

ジョブを送信するにはTo submit jobs

ジョブを送信するには、次の構文を使用します。Use the following syntax to submit a job.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

例:For example:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

ジョブを一覧表示し、ジョブの詳細を表示するにはTo list jobs and show job details

azurecli
az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

ジョブを取り消すにはTo cancel jobs

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

ジョブの結果を取得するRetrieve job results

ジョブが完了したら、以下のコマンドを使用し、出力ファイルを一覧表示して、ファイルをダウンロードできます。After a job is completed, you can use the following commands to list the output files, and download the files:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

例:For example:

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

次の手順Next steps