クイック スタート:PowerShell を使用した Azure データ ファクトリの作成Quickstart: Create an Azure data factory using PowerShell

このクイックスタートでは、PowerShell を使用して Azure データ ファクトリを作成する方法について説明します。This quickstart describes how to use PowerShell to create an Azure data factory. このデータ ファクトリに作成されたパイプラインは、データを Azure BLOB ストレージ内のあるフォルダーから別のフォルダーにコピーします。The pipeline you create in this data factory copies data from one folder to another folder in an Azure blob storage. Azure Data Factory を使用してデータを変換する方法のチュートリアルについては、Spark を使用したデータ変換のチュートリアルを参照してください。For a tutorial on how to transform data using Azure Data Factory, see Tutorial: Transform data using Spark.

注意

この記事では、Data Factory サービスの概要については詳しく取り上げません。This article does not provide a detailed introduction of the Data Factory service. Azure Data Factory サービスの概要については、「Azure Data Factory の概要」をご覧ください。For an introduction to the Azure Data Factory service, see Introduction to Azure Data Factory.

前提条件Prerequisites

Azure サブスクリプションAzure subscription

Azure サブスクリプションをお持ちでない場合は、開始する前に 無料アカウント を作成してください。If you don't have an Azure subscription, create a free account before you begin.

Azure ロールAzure roles

Data Factory インスタンスを作成するには、Azure へのサインインに使用するユーザー アカウントが、"共同作成者" ロールまたは "所有者" ロールのメンバーであるか、Azure サブスクリプションの "管理者" である必要があります。To create Data Factory instances, the user account that you use to sign in to Azure must be a member of the contributor or owner role, or an administrator of the Azure subscription. サブスクリプションで自分が持っているアクセス許可を表示するには、Azure portal に移動し、右上にあるユーザー名を選択し、 [その他のオプション] (...) を選択し、 [アクセス許可] を選択します。To view the permissions that you have in the subscription, go to the Azure portal, select your username in the upper-right corner, select More options (...), and then select My permissions. 複数のサブスクリプションにアクセスできる場合は、適切なサブスクリプションを選択します。If you have access to multiple subscriptions, select the appropriate subscription.

データ セット、リンクされたサービス、パイプライン、トリガー、および統合ランタイムを含む Data Factory の子リソースを作成および管理するには、次の要件が適用されます。To create and manage child resources for Data Factory - including datasets, linked services, pipelines, triggers, and integration runtimes - the following requirements are applicable:

  • Azure portal で子リソースを作成および管理するには、リソース グループ レベル以上で Data Factory 共同作成者 ロールに属している必要があります。To create and manage child resources in the Azure portal, you must belong to the Data Factory Contributor role at the resource group level or above.
  • PowerShell または SDK を使用して子リソースを作成および管理する場合は、リソース レベル以上での 共同作成者 ロールで十分です。To create and manage child resources with PowerShell or the SDK, the contributor role at the resource level or above is sufficient.

ロールにユーザーを追加する方法に関するサンプル手順については、 ロールの追加 に関する記事を参照してください。For sample instructions about how to add a user to a role, see the Add roles article.

詳細については、次の記事を参照してください。For more info, see the following articles:

Azure ストレージ アカウントAzure storage account

このクイック スタートでは、"ソース" データ ストアと "コピー先" データ ストアの両方に汎用の Azure ストレージ アカウント (具体的には BLOB ストレージ) を使用します。You use a general-purpose Azure storage account (specifically Blob storage) as both source and destination data stores in this quickstart. 汎用の Azure ストレージ アカウントがない場合、作成方法については、「 ストレージ アカウントの作成 」を参照してください。If you don't have a general-purpose Azure storage account, see Create a storage account to create one.

ストレージ アカウント名を取得するGet the storage account name

このクイックスタートには、Azure ストレージ アカウントの名前が必要です。You will need the name of your Azure storage account for this quickstart. 以下の手順に従って、ご利用のストレージ アカウントの名前を取得してください。The following procedure provides steps to get the name of your storage account:

  1. Web ブラウザーで Azure portal にアクセスし、Azure のユーザー名とパスワードを使用してサインインします。In a web browser, go to the Azure portal and sign in using your Azure username and password.
  2. [すべてのサービス] > [ストレージ] > [ストレージ アカウント] の順に選択します。Select All services > Storage > Storage accounts.
  3. [ストレージ アカウント] ページで、ご利用のストレージ アカウントを (必要に応じて) フィルターで抽出し、該当するストレージ アカウントを選択します。In the Storage accounts page, filter for your storage account (if needed), and then select your storage account.

BLOB コンテナーを作成するCreate a blob container

このセクションでは、adftutorial という名前の BLOB コンテナーを Azure Blob Storage に作成します。In this section, you create a blob container named adftutorial in Azure Blob storage.

  1. ストレージ アカウント ページで、 [概要] > [BLOB] を選択します。From the storage account page, select Overview > Blobs.

  2. < アカウント名 > - BLOB ページのツールバーで、コンテナー を選択します。On the <Account name> - Blobs page's toolbar, select Container.

  3. [新しいコンテナー] ダイアログ ボックスで、名前に「adftutorial」と入力し、 [OK] を選択します。In the New container dialog box, enter adftutorial for the name, and then select OK. < アカウント名 > - BLOB ページが更新され、コンテナーの一覧に adftutorial が含まれるようになります。The <Account name> - Blobs page is updated to include adftutorial in the list of containers.

    コンテナーの一覧

BLOB コンテナーの入力フォルダーとファイルを追加するAdd an input folder and file for the blob container

このセクションでは、先ほど作成したコンテナーに input という名前のフォルダーを作成し、入力フォルダーにサンプル ファイルをアップロードします。In this section, you create a folder named input in the container you just created, and then upload a sample file to the input folder. 開始する前に、メモ帳 などのテキスト エディターを開き、次の内容を含む emp.txt という名前のファイルを作成します。Before you begin, open a text editor such as Notepad, and create a file named emp.txt with the following content:

John, Doe
Jane, Doe

C:\ADFv2QuickStartPSH フォルダーにファイルを保存しますSave the file in the C:\ADFv2QuickStartPSH folder. (フォルダーがまだ存在しない場合は作成します)。Azure portal に戻り、次の手順を実行します。(If the folder doesn't already exist, create it.) Then return to the Azure portal and follow these steps:

  1. 中断した [< アカウント名 >] - [BLOB] ページで、コンテナーの更新された一覧から [adftutorial] を選択します。In the <Account name> - Blobs page where you left off, select adftutorial from the updated list of containers. (ウィンドウを閉じた場合、または別のページに移動した場合は、Azure portal にもう一度サインインし、 [すべてのサービス] > [ストレージ] > [ストレージ アカウント] を選択し、 [BLOB] > [adftutorial] を選択します)。(If you closed the window or went to another page, sign in to the Azure portal again, select All services > Storage > Storage accounts, select your storage account, and then select Blobs > adftutorial.)

  2. adftutorial コンテナー ページのツールバーで、 [アップロード] を選択します。On the adftutorial container page's toolbar, select Upload.

  3. [BLOB のアップロード] ページで、 [ファイル] ボックスを選択し、emp.txt ファイルを参照して選択します。In the Upload blob page, select the Files box, and then browse to and select the emp.txt file.

  4. [詳細設定] の見出しを展開します。Expand the Advanced heading. 次のようにページが表示されます。The page now displays as shown:

    [詳細設定] リンクの選択

  5. [アップロード先のフォルダー] ボックスに「input」と入力します。In the Upload to folder box, enter input.

  6. [アップロード] ボタンを選択します。Select the Upload button. 一覧に emp.txt ファイルとアップロードの状態が表示されます。You should see the emp.txt file and the status of the upload in the list.

  7. [閉じる] アイコン (X) を選択して、 [BLOB のアップロード] ページを閉じます。Select the Close icon (an X) to close the Upload blob page.

adftutorial コンテナーのページを開いたままにしておきます。Keep the adftutorial container page open. このクイック スタートの最後で、このページを使用して出力を確認します。You use it to verify the output at the end of this quickstart.

Azure PowerShellAzure PowerShell

注意

この記事は、新しい Azure PowerShell Az モジュールを使用するために更新されました。This article has been updated to use the new Azure PowerShell Az module. AzureRM モジュールはまだ使用でき、少なくとも 2020 年 12 月までは引き続きバグ修正が行われます。You can still use the AzureRM module, which will continue to receive bug fixes until at least December 2020. Az モジュールと AzureRM の互換性の詳細については、「Introducing the new Azure PowerShell Az module (新しい Azure PowerShell Az モジュールの概要)」を参照してください。To learn more about the new Az module and AzureRM compatibility, see Introducing the new Azure PowerShell Az module. Az モジュールのインストール手順については、Azure PowerShell のインストールを参照してください。For Az module installation instructions, see Install Azure PowerShell.

Azure PowerShell のインストールと構成の方法に関するページの手順に従って、最新の Azure PowerShell モジュールをインストールしてください。Install the latest Azure PowerShell modules by following instructions in How to install and configure Azure PowerShell.

PowerShell にログインするLog in to PowerShell

  1. お使いのマシンで PowerShell を起動します。Launch PowerShell on your machine. PowerShell は、このクイックスタートが終わるまで開いたままにしておいてください。Keep PowerShell open until the end of this quickstart. Azure PowerShell を閉じて再度開いた場合は、これらのコマンドをもう一度実行する必要があります。If you close and reopen, you need to run these commands again.

  2. 次のコマンドを実行して、Azure Portal へのサインインに使用するのと同じ Azure ユーザー名とパスワードを入力します。Run the following command, and enter the same Azure user name and password that you use to sign in to the Azure portal:

    Connect-AzAccount
    
  3. 次のコマンドを実行して、このアカウントのすべてのサブスクリプションを表示します。Run the following command to view all the subscriptions for this account:

    Get-AzSubscription
    
  4. アカウントに複数のサブスクリプションが関連付けられている場合は、次のコマンドを実行して、使用するサブスクリプションを選択します。If you see multiple subscriptions associated with your account, run the following command to select the subscription that you want to work with. SubscriptionId は、実際の Azure サブスクリプションの ID に置き換えてください。Replace SubscriptionId with the ID of your Azure subscription:

    Select-AzSubscription -SubscriptionId "<SubscriptionId>"
    

Data Factory を作成する。Create a data factory

  1. 後で PowerShell コマンドで使用できるように、リソース グループ名の変数を定義します。Define a variable for the resource group name that you use in PowerShell commands later. 次のコマンド テキストを PowerShell にコピーし、Azure リソース グループの名前を二重引用符で囲んで指定し、コマンドを実行します。Copy the following command text to PowerShell, specify a name for the Azure resource group in double quotes, and then run the command. (例: "ADFQuickStartRG")。For example: "ADFQuickStartRG".

    $resourceGroupName = "ADFQuickStartRG";
    

    リソース グループが既に存在する場合、上書きしないようお勧めします。If the resource group already exists, you may not want to overwrite it. $ResourceGroupName 変数に別の値を割り当てて、コマンドをもう一度実行します。Assign a different value to the $ResourceGroupName variable and run the command again

  2. Azure リソース グループを作成するには、次のコマンドを実行します。To create the Azure resource group, run the following command:

    $ResGrp = New-AzResourceGroup $resourceGroupName -location 'East US'
    

    リソース グループが既に存在する場合、上書きしないようお勧めします。If the resource group already exists, you may not want to overwrite it. $ResourceGroupName 変数に別の値を割り当てて、コマンドをもう一度実行します。Assign a different value to the $ResourceGroupName variable and run the command again.

  3. データ ファクトリ名の変数を定義します。Define a variable for the data factory name.

    重要

    データ ファクトリ名は、グローバルに一意となるように更新してください。Update the data factory name to be globally unique. たとえば、ADFTutorialFactorySP1127 です。For example, ADFTutorialFactorySP1127.

    $dataFactoryName = "ADFQuickStartFactory";
    
  4. データ ファクトリを作成するには、$ResGrp 変数の Location および ResourceGroupName プロパティを使用して、次の Set-AzDataFactoryV2 コマンドレットを実行します。To create the data factory, run the following Set-AzDataFactoryV2 cmdlet, using the Location and ResourceGroupName property from the $ResGrp variable:

    $DataFactory = Set-AzDataFactoryV2 -ResourceGroupName $ResGrp.ResourceGroupName `
        -Location $ResGrp.Location -Name $dataFactoryName
    

以下の点に注意してください。Note the following points:

  • Azure Data Factory の名前はグローバルに一意にする必要があります。The name of the Azure data factory must be globally unique. 次のエラーが発生した場合は、名前を変更してからもう一度実行してください。If you receive the following error, change the name and try again.

    The specified Data Factory name 'ADFv2QuickStartDataFactory' is already in use. Data Factory names must be globally unique.
    
  • Data Factory インスタンスを作成するには、Azure へのログインに使用するユーザー アカウントが、共同作成者ロールまたは所有者ロールのメンバーであるか、Azure サブスクリプションの管理者である必要があります。To create Data Factory instances, the user account you use to log in to Azure must be a member of contributor or owner roles, or an administrator of the Azure subscription.

  • 現在 Data Factory が利用できる Azure リージョンの一覧については、次のページで目的のリージョンを選択し、 [分析] を展開して [Data Factory] を探してください (「リージョン別の利用可能な製品」)。For a list of Azure regions in which Data Factory is currently available, select the regions that interest you on the following page, and then expand Analytics to locate Data Factory: Products available by region. データ ファクトリで使用するデータ ストア (Azure Storage、Azure SQL Database など) やコンピューティング (HDInsight など) は他のリージョンに配置できます。The data stores (Azure Storage, Azure SQL Database, etc.) and computes (HDInsight, etc.) used by data factory can be in other regions.

リンクされたサービスを作成するCreate a linked service

データ ストアおよびコンピューティング サービスをデータ ファクトリにリンクするには、リンクされたサービスをデータ ファクトリに作成します。Create linked services in a data factory to link your data stores and compute services to the data factory. このクイックスタートでは、ソース ストアとシンク ストアの両方として使用される Azure Storage のリンクされたサービスを作成します。In this quickstart, you create an Azure Storage linked service that is used as both the source and sink stores. リンクされたサービスは、Data Factory サービスが実行時に接続するために使用する接続情報を持っています。The linked service has the connection information that the Data Factory service uses at runtime to connect to it.

  1. 以下の内容を記述した AzureStorageLinkedService.json という名前の JSON ファイルを C:\ADFv2QuickStartPSH フォルダー内に作成します。まだ存在しない場合は、ADFv2QuickStartPSH フォルダーを作成してください。Create a JSON file named AzureStorageLinkedService.json in C:\ADFv2QuickStartPSH folder with the following content: (Create the folder ADFv2QuickStartPSH if it does not already exist.).

    重要

    <accountName> と <accountKey> を実際の Azure ストレージ アカウントの名前とキーに置き換えてからファイルを保存してください。Replace <accountName> and <accountKey> with name and key of your Azure storage account before saving the file.

    {
        "name": "AzureStorageLinkedService",
        "properties": {
            "annotations": [],
            "type": "AzureBlobStorage",
            "typeProperties": {
                "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
            }
        }
    }
    

    メモ帳を使用している場合は、 [名前を付けて保存] ダイアログ ボックスの [ファイルの種類] フィールドで [すべてのファイル] を選択します。If you are using Notepad, select All files for the Save as type filed in the Save as dialog box. そうしないと、ファイルに .txt 拡張子が追加されることがあります。Otherwise, it may add .txt extension to the file. たとえば、「 AzureStorageLinkedService.json.txt 」のように入力します。For example, AzureStorageLinkedService.json.txt. このファイルをエクスプローラーで作成してからメモ帳で開くと、.txt 拡張子は表示されない場合があります。これは、 [登録されている拡張子は表示しない] オプションが既定で設定されているためです。If you create the file in File Explorer before opening it in Notepad, you may not see the .txt extension since the Hide extensions for known files types option is set by default. .txt 拡張子を削除してから次の手順に進んでください。Remove the .txt extension before proceeding to the next step.

  2. PowerShellADFv2QuickStartPSH フォルダーに切り替えます。In PowerShell, switch to the ADFv2QuickStartPSH folder.

    Set-Location 'C:\ADFv2QuickStartPSH'
    
  3. Set-AzDataFactoryV2LinkedService コマンドレットを実行して、リンクされたサービスAzureStorageLinkedService を作成します。Run the Set-AzDataFactoryV2LinkedService cmdlet to create the linked service: AzureStorageLinkedService.

    Set-AzDataFactoryV2LinkedService -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "AzureStorageLinkedService" `
        -DefinitionFile ".\AzureStorageLinkedService.json"
    

    出力例を次に示します。Here is the sample output:

    LinkedServiceName : AzureStorageLinkedService
    ResourceGroupName : <resourceGroupName>
    DataFactoryName   : <dataFactoryName>
    Properties        : Microsoft.Azure.Management.DataFactory.Models.AzureBlobStorageLinkedService
    

データセットを作成するCreate datasets

この手順では、InputDatasetOutputDatasetIn this procedure, you create two datasets: InputDataset and OutputDataset. これらのデータセットの種類は、Binary です。These datasets are of type Binary. これらは、前のセクションで作成した Azure Storage のリンクされたサービスを参照します。They refer to the Azure Storage linked service that you created in the previous section. 入力データセットは、入力フォルダーのソース データを表します。The input dataset represents the source data in the input folder. 入力データセットの定義では、ソース データを格納している BLOB コンテナー (adftutorial)、フォルダー (input)、およびファイル (emp.txt) を指定します。In the input dataset definition, you specify the blob container (adftutorial), the folder (input), and the file (emp.txt) that contain the source data. 出力データセットは、ターゲットにコピーされるデータを表します。The output dataset represents the data that's copied to the destination. 出力データセットの定義では、データのコピー先の BLOB コンテナー (adftutorial)、フォルダー (output)、およびファイルを指定します。In the output dataset definition, you specify the blob container (adftutorial), the folder (output), and the file to which the data is copied.

  1. 以下の内容を記述した InputDataset.json という名前の JSON ファイルを C:\ADFv2QuickStartPSH フォルダー内に作成します。Create a JSON file named InputDataset.json in the C:\ADFv2QuickStartPSH folder, with the following content:

    {
        "name": "InputDataset",
        "properties": {
            "linkedServiceName": {
                "referenceName": "AzureStorageLinkedService",
                "type": "LinkedServiceReference"
            },
            "annotations": [],
            "type": "Binary",
            "typeProperties": {
                "location": {
                    "type": "AzureBlobStorageLocation",
                    "fileName": "emp.txt",
                    "folderPath": "input",
                    "container": "adftutorial"
                }
            }
        }
    }
    
  2. データセット InputDataset を作成するには、Set-AzDataFactoryV2Dataset コマンドレットを実行します。To create the dataset: InputDataset, run the Set-AzDataFactoryV2Dataset cmdlet.

    Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "InputDataset" `
        -DefinitionFile ".\InputDataset.json"
    

    出力例を次に示します。Here is the sample output:

    DatasetName       : InputDataset
    ResourceGroupName : <resourceGroupname>
    DataFactoryName   : <dataFactoryName>
    Structure         :
    Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
    
  3. 手順を繰り返して、出力データセットを作成します。Repeat the steps to create the output dataset. 以下の内容を記述した OutputDataset.json という名前の JSON ファイルを C:\ADFv2QuickStartPSH フォルダー内に作成します。Create a JSON file named OutputDataset.json in the C:\ADFv2QuickStartPSH folder, with the following content:

    {
        "name": "OutputDataset",
        "properties": {
            "linkedServiceName": {
                "referenceName": "AzureStorageLinkedService",
                "type": "LinkedServiceReference"
            },
            "annotations": [],
            "type": "Binary",
            "typeProperties": {
                "location": {
                    "type": "AzureBlobStorageLocation",
                    "folderPath": "output",
                    "container": "adftutorial"
                }
            }
        }
    }
    
  4. Set-AzDataFactoryV2Dataset コマンドレットを実行して、OutDataset を作成します。Run the Set-AzDataFactoryV2Dataset cmdlet to create the OutDataset.

    Set-AzDataFactoryV2Dataset -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName -Name "OutputDataset" `
        -DefinitionFile ".\OutputDataset.json"
    

    出力例を次に示します。Here is the sample output:

    DatasetName       : OutputDataset
    ResourceGroupName : <resourceGroupname>
    DataFactoryName   : <dataFactoryName>
    Structure         :
    Properties        : Microsoft.Azure.Management.DataFactory.Models.BinaryDataset
    

パイプラインを作成する。Create a pipeline

この手順では、入力データセットと出力データセットを使用するコピー アクティビティを持つパイプラインを作成します。In this procedure, you create a pipeline with a copy activity that uses the input and output datasets. コピー アクティビティにより、入力データセットの設定で指定されたファイルから、出力データセットの設定で指定されたファイルにデータがコピーされます。The copy activity copies data from the file you specified in the input dataset settings to the file you specified in the output dataset settings.

  1. 以下の内容を記述した Adfv2QuickStartPipeline.json という名前の JSON ファイルを C:\ADFv2QuickStartPSH フォルダー内に作成します。Create a JSON file named Adfv2QuickStartPipeline.json in the C:\ADFv2QuickStartPSH folder with the following content:

    {
        "name": "Adfv2QuickStartPipeline",
        "properties": {
            "activities": [
                {
                    "name": "CopyFromBlobToBlob",
                    "type": "Copy",
                    "dependsOn": [],
                    "policy": {
                        "timeout": "7.00:00:00",
                        "retry": 0,
                        "retryIntervalInSeconds": 30,
                        "secureOutput": false,
                        "secureInput": false
                    },
                    "userProperties": [],
                    "typeProperties": {
                        "source": {
                            "type": "BinarySource",
                            "storeSettings": {
                                "type": "AzureBlobStorageReadSettings",
                                "recursive": true
                            }
                        },
                        "sink": {
                            "type": "BinarySink",
                            "storeSettings": {
                                "type": "AzureBlobStorageWriteSettings"
                            }
                        },
                        "enableStaging": false
                    },
                    "inputs": [
                        {
                            "referenceName": "InputDataset",
                            "type": "DatasetReference"
                        }
                    ],
                    "outputs": [
                        {
                            "referenceName": "OutputDataset",
                            "type": "DatasetReference"
                        }
                    ]
                }
            ],
            "annotations": []
        }
    }
    
  2. パイプライン Adfv2QuickStartPipeline を作成するには、Set-AzDataFactoryV2Pipeline コマンドレットを実行します。To create the pipeline: Adfv2QuickStartPipeline, Run the Set-AzDataFactoryV2Pipeline cmdlet.

    $DFPipeLine = Set-AzDataFactoryV2Pipeline `
        -DataFactoryName $DataFactory.DataFactoryName `
        -ResourceGroupName $ResGrp.ResourceGroupName `
        -Name "Adfv2QuickStartPipeline" `
        -DefinitionFile ".\Adfv2QuickStartPipeline.json"
    

パイプラインの実行を作成するCreate a pipeline run

この手順では、パイプラインの実行を作成します。In this step, you create a pipeline run.

Invoke-AzDataFactoryV2Pipeline コマンドレットを実行して、パイプラインの実行を作成します。Run the Invoke-AzDataFactoryV2Pipeline cmdlet to create a pipeline run. コマンドレットは、将来の監視のために、パイプラインの実行 ID を返します。The cmdlet returns the pipeline run ID for future monitoring.

```powershell
$RunId = Invoke-AzDataFactoryV2Pipeline `
    -DataFactoryName $DataFactory.DataFactoryName `
    -ResourceGroupName $ResGrp.ResourceGroupName `
    -PipelineName $DFPipeLine.Name 
```

パイプラインの実行を監視しますMonitor the pipeline run

  1. 次の PowerShell スクリプトを実行し、データのコピーが完了するまで、パイプラインの実行の状態を継続的にチェックします。Run the following PowerShell script to continuously check the pipeline run status until it finishes copying the data. 次のスクリプトをコピーして PowerShell ウィンドウに貼り付け、Enter キーを押します。Copy/paste the following script in the PowerShell window, and press ENTER.

    while ($True) {
        $Run = Get-AzDataFactoryV2PipelineRun `
            -ResourceGroupName $ResGrp.ResourceGroupName `
            -DataFactoryName $DataFactory.DataFactoryName `
            -PipelineRunId $RunId
    
        if ($Run) {
            if ($run.Status -ne 'InProgress') {
                Write-Output ("Pipeline run finished. The status is: " +  $Run.Status)
                $Run
                break
            }
            Write-Output "Pipeline is running...status: InProgress"
        }
    
        Start-Sleep -Seconds 10
    }
    

    パイプラインの実行の出力例を次に示します。Here is the sample output of pipeline run:

    Pipeline is running...status: InProgress
    Pipeline run finished. The status is:  Succeeded
    
    ResourceGroupName : ADFQuickStartRG
    DataFactoryName   : ADFQuickStartFactory
    RunId             : 00000000-0000-0000-0000-0000000000000
    PipelineName      : Adfv2QuickStartPipeline
    LastUpdated       : 8/27/2019 7:23:07 AM
    Parameters        : {}
    RunStart          : 8/27/2019 7:22:56 AM
    RunEnd            : 8/27/2019 7:23:07 AM
    DurationInMs      : 11324
    Status            : Succeeded
    Message           : 
    
  2. 次のスクリプトを実行し、コピー アクティビティの実行の詳細 (たとえば、読み書きされたデータのサイズ) を取得します。Run the following script to retrieve copy activity run details, for example, size of the data read/written.

    Write-Output "Activity run details:"
    $Result = Get-AzDataFactoryV2ActivityRun -DataFactoryName $DataFactory.DataFactoryName -ResourceGroupName $ResGrp.ResourceGroupName -PipelineRunId $RunId -RunStartedAfter (Get-Date).AddMinutes(-30) -RunStartedBefore (Get-Date).AddMinutes(30)
    $Result
    
    Write-Output "Activity 'Output' section:"
    $Result.Output -join "`r`n"
    
    Write-Output "Activity 'Error' section:"
    $Result.Error -join "`r`n"
    
  3. アクティビティの実行の結果である次のサンプル出力のような出力が表示されることを確認します。Confirm that you see the output similar to the following sample output of activity run result:

    ResourceGroupName : ADFQuickStartRG
    DataFactoryName   : ADFQuickStartFactory
    ActivityRunId     : 00000000-0000-0000-0000-000000000000
    ActivityName      : CopyFromBlobToBlob
    PipelineRunId     : 00000000-0000-0000-0000-000000000000
    PipelineName      : Adfv2QuickStartPipeline
    Input             : {source, sink, enableStaging}
    Output            : {dataRead, dataWritten, filesRead, filesWritten...}
    LinkedServiceName :
    ActivityRunStart  : 8/27/2019 7:22:58 AM
    ActivityRunEnd    : 8/27/2019 7:23:05 AM
    DurationInMs      : 6828
    Status            : Succeeded
    Error             : {errorCode, message, failureType, target}
    
    Activity 'Output' section:
    "dataRead": 20
    "dataWritten": 20
    "filesRead": 1
    "filesWritten": 1
    "sourcePeakConnections": 1
    "sinkPeakConnections": 1
    "copyDuration": 4
    "throughput": 0.01
    "errors": []
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (Central US)"
    "usedDataIntegrationUnits": 4
    "usedParallelCopies": 1
    "executionDetails": [
      {
        "source": {
          "type": "AzureBlobStorage"
        },
        "sink": {
          "type": "AzureBlobStorage"
        },
        "status": "Succeeded",
        "start": "2019-08-27T07:22:59.1045645Z",
        "duration": 4,
        "usedDataIntegrationUnits": 4,
        "usedParallelCopies": 1,
        "detailedDurations": {
          "queuingDuration": 3,
          "transferDuration": 1
        }
      }
    ]
    
    Activity 'Error' section:
    "errorCode": ""
    "message": ""
    "failureType": ""
    "target": "CopyFromBlobToBlob"
    

出力を検証するVerify the output

このパイプラインは、adftutorial BLOB コンテナーに対して output フォルダーを自動的に作成します。The pipeline automatically creates the output folder in the adftutorial blob container. そのうえで、input フォルダーから output フォルダーに emp.txt ファイルをコピーします。Then, it copies the emp.txt file from the input folder to the output folder.

  1. Azure Portal の adftutorial コンテナー ページで [最新の情報に更新] をクリックして出力フォルダーを表示します。In the Azure portal, on the adftutorial container page, click Refresh to see the output folder.

    更新

  2. フォルダー一覧の [output] をクリックします。Click output in the folder list.

  3. emp.txt が output フォルダーにコピーされていることを確認します。Confirm that the emp.txt is copied to the output folder.

    更新

リソースのクリーンアップClean up resources

このクイックスタートで作成したリソースは、2 とおりの方法でクリーンアップすることができます。You can clean up the resources that you created in the Quickstart in two ways. Azure リソース グループを削除した場合、そのリソース グループに含まれたすべてのリソースが対象となります。You can delete the Azure resource group, which includes all the resources in the resource group. 他のリソースをそのまま維持する場合は、このチュートリアルで作成したデータ ファクトリだけを削除してください。If you want to keep the other resources intact, delete only the data factory you created in this tutorial.

リソース グループを削除すると、その中のデータ ファクトリも含めて、すべてのリソースが削除されます。Deleting a resource group deletes all resources including data factories in it. 次のコマンドを実行して、リソース グループ全体を削除します。Run the following command to delete the entire resource group:

Remove-AzResourceGroup -ResourceGroupName $resourcegroupname

リソース グループの削除には、しばらく時間がかかることがあります。Note: dropping a resource group may take some time. 処理が完了するまでお待ちください。Please be patient with the process

リソース グループ全体ではなく、データ ファクトリだけを削除する場合は、次のコマンドを実行します。If you want to delete just the data factory, not the entire resource group, run the following command:

Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName

次の手順Next steps

このサンプルのパイプラインは、Azure BLOB ストレージ内のある場所から別の場所にデータをコピーするものです。The pipeline in this sample copies data from one location to another location in an Azure blob storage. より多くのシナリオで Data Factory を使用する方法については、チュートリアルを参照してください。Go through the tutorials to learn about using Data Factory in more scenarios.