Data Lake Tools for Visual Studio を使用して U-SQL スクリプトを開発するDevelop U-SQL scripts by using Data Lake Tools for Visual Studio

Visual Studio を使用して Azure Data Lake Analytics アカウントを作成し、U-SQL でジョブを定義し、Data Lake Analytics サービスにジョブを送信する方法について説明します。Learn how to use Visual Studio to create Azure Data Lake Analytics accounts, define jobs in U-SQL, and submit jobs to the Data Lake Analytics service. Data Lake Analytics の詳細については、「 Azure Data Lake Analytics の概要」を参照してください。For more information about Data Lake Analytics, see Azure Data Lake Analytics overview.

重要

2018 月 5 月 25 日に施行される新しい一般データ保護規則 (GDPR) に備えて、お使いの Azure Data Lake Tools for Visual Studio をバージョン 2.3.3000.4 以降にアップグレードすることをお勧めします。In preparation for the new General Data Protection Regulation (GDPR) going into effect on May 25, 2018, it is recommended that users of Azure Data Lake Tools for Visual Studio upgrade to version 2.3.3000.4 or later. このバージョンには、最新のデータ保護要件に基づいた変更が含まれています。This version includes changes based on the most recent data protection requirements. 以前のバージョンはダウンロードできません。また、非推奨です。Note that previous versions are not available for download and are deprecated.

必要な操作What do I need to do?

  1. Azure Data Lake Tools for Visual Studio 2.3.3000.4 より前のバージョンを使用していないかどうかを確認します。Check if you are using an earlier version than 2.3.3000.4 of Azure Data Lake Tools for Visual Studio.

    ツールのバージョンを確認する

  2. バージョンが 2.3.3000.4 より前の場合は、ダウンロード センターにアクセスして、Azure Data Lake Tools for Visual Studio を更新します。If your version is an earlier version of 2.3.3000.4, update your Azure Data Lake Tools for Visual Studio by visiting the download center:

前提条件Prerequisites

Azure Data Lake Tools for Visual Studio をインストールするInstall Azure Data Lake Tools for Visual Studio

Azure Data Lake Tools for Visual Studio 2017 をインストールするInstall Azure Data Lake Tools for Visual Studio 2017

Azure Data Lake Tools for Visual Studio は、Visual Studio 2017 15.3 以降でサポートされます。Azure Data Lake Tools for Visual Studio is supported in Visual Studio 2017 15.3 or above. このツールは、Visual Studio インストーラーの [データの保存と処理] ワークロードと [Azure の開発] ワークロードに含まれます。The tool is part of the Data storage and processing and Azure Development workloads in Visual Studio Installer. Visual Studio のインストールの一環として、この 2 つのワークロードのいずれかを有効にします。Enable either one of these two workloads as part of your Visual Studio installation.

次のように [データの保存と処理] ワークロードを有効にします。[データの保存と処理] ワークロードを有効にするEnable the Data storage and processing workload as shown: Enable Data storage and processing workload

次のように [Azure の開発] ワークロードを有効にします。[Azure の開発] ワークロードを有効にするEnable the Azure development workload as shown: Enable Azure development workload

Azure Data Lake Tools for Visual Studio 2013 と 2015 をインストールするInstall Azure Data Lake Tools for Visual Studio 2013 and 2015

Azure Data Lake Tools for Visual Studio を ダウンロード センターからダウンロードしてインストールします。Download and install Azure Data Lake Tools for Visual Studio from the Download Center. インストールした後、以下を確認してください。After installation, note that:

  • サーバー エクスプローラー > の [Azure] ノードに [Data Lake Analytics] ノードが含まれている。The Server Explorer > Azure node contains a Data Lake Analytics node.
  • [ツール] メニューに [Data Lake] 項目がある。The Tools menu has a Data Lake item.

Azure Data Lake Analytics アカウントに接続するConnect to an Azure Data Lake Analytics account

  1. Visual Studio を開きます。Open Visual Studio.
  2. [表示] > [サーバー エクスプローラー] を選択して、サーバー エクスプローラーを開きます。Open Server Explorer by selecting View > Server Explorer.
  3. [Azure] を右クリックします。Right-click Azure. [Microsoft Azure サブスクリプションへの接続] をクリックし、指示に従います。Then select Connect to Microsoft Azure Subscription and follow the instructions.
  4. サーバー エクスプローラーで、[Azure] > [Data Lake Analytics] を選択します。In Server Explorer, select Azure > Data Lake Analytics. Data Lake Analytics アカウントの一覧が表示されます。You see a list of your Data Lake Analytics accounts.

最初の U-SQL スクリプトを記述するWrite your first U-SQL script

次のテキストは、単純な U-SQL スクリプトです。The following text is a simple U-SQL script. それは、小さなデータセットを定義し、そのデータセットを /data.csv という名前のファイルとして既定の Data Lake Store に書き込みます。It defines a small dataset and writes that dataset to the default Data Lake Store as a file called /data.csv.

@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Data Lake Analytics ジョブの送信Submit a Data Lake Analytics job

  1. [ファイル] > [新規作成] > [プロジェクト] の順に選択します。Select File > New > Project.

  2. プロジェクトの種類として [U-SQL プロジェクト] を選択し、[OK] をクリックします。Select the U-SQL Project type, and then click OK. Visual Studio によって、Script.usql ファイルを使用するソリューションが作成されます。Visual Studio creates a solution with a Script.usql file.

  3. 前のスクリプトを Script.usql ウィンドウに貼り付けます。Paste the previous script into the Script.usql window.

  4. Script.usql ウィンドウの左上隅に、Data Lake Analytics アカウントを指定します。In the upper-left corner of the Script.usql window, specify the Data Lake Analytics account.

    U-SQL Visual Studio プロジェクトの送信

  5. Script.usql ウィンドウの左上隅の [送信] を選択します。In the upper-left corner of the Script.usql window, select Submit.

  6. Analytics アカウントを確認し、[送信] を選択します。Verify the Analytics Account, and then select Submit. 送信が完了すると、Data Lake Tools for Visual Studio の [結果] ウィンドウに送信結果が示されます。Submission results are available in the Data Lake Tools for Visual Studio Results after the submission is complete.

    U-SQL Visual Studio プロジェクトの送信

  7. 最新のジョブの状態を表示して画面を更新するには、[更新] をクリックします。To see the latest job status and refresh the screen, click Refresh. ジョブが成功すると、[ジョブ グラフ][メタ データ操作][状態の履歴][診断] が表示されます。When the job succeeds, it shows the Job Graph, MetaData Operations, State History, and Diagnostics:

    U-SQL Visual Studio Data Lake Analytics ジョブ パフォーマンス グラフ

    • ジョブの概要: ジョブの概要を示します。Job Summary shows the summary of the job.
    • ジョブの詳細: スクリプト、リソース、頂点などの、ジョブに関する固有情報が表示されます。Job Details shows more specific information about the job, including the script, resources, and vertices.
    • ジョブ グラフ: ジョブの進行状況を視覚化します。Job Graph visualizes the progress of the job.
    • メタデータ操作: U-SQL カタログに対して実行されたすべてのアクションを示します。MetaData Operations shows all the actions that were taken on the U-SQL catalog.
    • データ: すべての入力と出力を示します。Data shows all the inputs and outputs.
    • 診断: ジョブの実行とパフォーマンスを最適化するための高度な分析を提供します。Diagnostics provides an advanced analysis for job execution and performance optimization.

ジョブの状態を確認するにはTo check job state

  1. サーバー エクスプローラーで、[Azure] > [Data Lake Analytics] を選択します。In Server Explorer, select Azure > Data Lake Analytics.
  2. Azure Data Lake Analytics アカウントの名前を展開します。Expand the Data Lake Analytics account name.
  3. [ジョブ] をダブルクリックします。Double-click Jobs.
  4. 先ほど送信したジョブを選択します。Select the job that you previously submitted.

ジョブの出力を確認するにはTo see the output of a job

  1. サーバー エクスプローラーで、送信したジョブを参照します。In Server Explorer, browse to the job you submitted.
  2. [データ] タブをクリックします。Click the Data tab.
  3. [ジョブの出力] タブで、"/data.csv" ファイルを選択します。In the Job Outputs tab, select the "/data.csv" file.

次の手順Next steps