チュートリアル:コピー アクティビティがあるパイプラインを Data Factory コピー ウィザードで作成するTutorial: Create a pipeline with Copy Activity using Data Factory Copy Wizard

注意

この記事は、Data Factory のバージョン 1 に適用されます。This article applies to version 1 of Data Factory. 現在のバージョンの Data Factory サービスを使用している場合は、コピー アクティビティのチュートリアルに関するページを参照してください。If you are using the current version of the Data Factory service, see copy activity tutorial.

このチュートリアルでは、コピー ウィザードを使用して、Azure Blob Storage から Azure SQL データベースにデータをコピーする方法を示します。This tutorial shows you how to use the Copy Wizard to copy data from an Azure blob storage to an Azure SQL database.

Azure Data Factory のコピー ウィザードを使用すると、サポートされているソース データ ストアからサポートされているターゲット データ ストアにデータをコピーするデータ パイプラインを簡単に作成することができます。The Azure Data Factory Copy Wizard allows you to quickly create a data pipeline that copies data from a supported source data store to a supported destination data store. そのため、データ移動のシナリオを想定したサンプル パイプラインを作成する場合は、まずこのウィザードを使用することをお勧めします。Therefore, we recommend that you use the wizard as a first step to create a sample pipeline for your data movement scenario. コピー アクティビティのソースおよびターゲットとしてサポートされているデータ ストアの一覧については、サポートされているデータ ストアに関するセクションを参照してください。For a list of data stores supported as sources and as destinations, see supported data stores.

このチュートリアルでは、Azure Data Factory を作成し、コピー ウィザードを起動して、一連の手順を実行する方法を紹介しながら、データの取り込み/移動のシナリオについて詳しく説明します。This tutorial shows you how to create an Azure data factory, launch the Copy Wizard, go through a series of steps to provide details about your data ingestion/movement scenario. ウィザードの手順が完了すると、Azure Blob Storage から Azure SQL データベースにデータを複製するコピー アクティビティを含んだパイプラインが自動的に作成されます。When you finish steps in the wizard, the wizard automatically creates a pipeline with a Copy Activity to copy data from an Azure blob storage to an Azure SQL database. コピー アクティビティの詳細については、データ移動アクティビティに関する記事を参照してください。For more information about Copy Activity, see data movement activities.

前提条件Prerequisites

このチュートリアルを実行する前に、 チュートリアルの概要 に関する記事に記載されている前提条件を満たしてください。Complete prerequisites listed in the Tutorial Overview article before performing this tutorial.

データ ファクトリの作成Create data factory

この手順では、Azure ポータルを使用して、 ADFTutorialDataFactoryという名前の Azure データ ファクトリを作成します。In this step, you use the Azure portal to create an Azure data factory named ADFTutorialDataFactory.

  1. Azure Portal にログインします。Log in to Azure portal.

  2. 左上隅の [リソースの作成][データ + 分析][Data Factory] の順にクリックします。Click Create a resource from the top-left corner, click Data + analytics, and click Data Factory.

    New->DataFactory

  3. [新しいデータ ファクトリ] ブレードで以下の手順を実行します。In the New data factory blade:

    1. [名前] に「ADFTutorialDataFactory」と入力します。Enter ADFTutorialDataFactory for the name. Azure Data Factory の名前はグローバルに一意にする必要があります。The name of the Azure data factory must be globally unique. Data factory name “ADFTutorialDataFactory” is not available エラーが発生した場合は、データ ファクトリの名前を (yournameADFTutorialDataFactoryYYYYMMDD などに) 変更して作成し直してください。If you receive the error: Data factory name “ADFTutorialDataFactory” is not available, change the name of the data factory (for example, yournameADFTutorialDataFactoryYYYYMMDD) and try creating again. Data Factory アーティファクトの名前付け規則については、 Data Factory - 名前付け規則 に関するトピックを参照してください。See Data Factory - Naming Rules topic for naming rules for Data Factory artifacts.

      使用できない Data Factory 名

    2. Azure サブスクリプションを選択します。Select your Azure subscription.

    3. リソース グループについて、次の手順のいずれかを行います。For Resource Group, do one of the following steps:

      • [既存のものを使用] を選択し、既存のリソース グループを選択します。Select Use existing to select an existing resource group.

      • [新規作成] を選択し、リソース グループの名前を入力します。Select Create new to enter a name for a resource group.

        このチュートリアルの一部の手順は、ADFTutorialResourceGroup という名前のリソース グループを使用することを前提としています。Some of the steps in this tutorial assume that you use the name: ADFTutorialResourceGroup for the resource group. リソース グループの詳細については、 リソース グループを使用した Azure のリソースの管理に関するページを参照してください。To learn about resource groups, see Using resource groups to manage your Azure resources.

    4. データ ファクトリの場所を選択します。Select a location for the data factory.

    5. ブレードの一番下にある [ダッシュボードにピン留めする] チェック ボックスをオンにします。Select Pin to dashboard check box at the bottom of the blade.

    6. Create をクリックしてください。Click Create.

      [新しいデータ ファクトリ] ブレード

  4. 作成が完了すると、次の図に示すような [Data Factory] ブレードが表示されます。After the creation is complete, you see the Data Factory blade as shown in the following image:

    データ ファクトリのホーム ページ

コピー ウィザードの起動Launch Copy Wizard

  1. [Data Factory] ブレードで [データのコピー] タイルをクリックして、コピー ウィザードを起動します。On the Data Factory blade, click Copy data to launch the Copy Wizard.

    注意

    承認の処理が進行中であることを示すメッセージが表示されたまま Web ブラウザーが停止してしまう場合は、ブラウザーでサード パーティの Cookie とサイト データをブロックする設定を無効にしてください。または、有効な状態のまま login.microsoftonline.com に対する例外を作成し、そのうえで、もう一度ウィザードを起動してください。If you see that the web browser is stuck at "Authorizing...", disable/uncheck Block third-party cookies and site data setting in the browser settings (or) keep it enabled and create an exception for login.microsoftonline.com and then try launching the wizard again.

  2. [プロパティ] ページで次の操作を実行します。In the Properties page:

    1. [タスク名] に「CopyFromBlobToAzureSql」と入力します。Enter CopyFromBlobToAzureSql for Task name

    2. 説明 を入力します (省略可能)。Enter description (optional).

    3. [Start date time](開始日時)[End date time](終了日時) を変更します。終了日は今日の日付に、開始日は 5 日前の日付に設定してください。Change the Start date time and the End date time so that the end date is set to today and start date to five days earlier.

    4. [次へ] をクリックします。Click Next.

      Copy Tool - Properties page

  3. [Source data store (ソース データ ストア)] ページで、 [Azure Blob Storage] タイルをクリックします。On the Source data store page, click Azure Blob Storage tile. このページを使用して、コピー タスクのソース データ ストアを指定します。You use this page to specify the source data store for the copy task.

    Copy Tool - Source data store page

  4. [Specify the Azure Blob storage account (Azure BLOB ストレージ アカウントの指定)] ページで次の操作を実行します。On the Specify the Azure Blob storage account page:

    1. [リンクされたサービス名] に「AzureStorageLinkedService」と入力します。Enter AzureStorageLinkedService for Linked service name.

    2. [Account selection method (アカウントの選択方法)][From Azure subscriptions (Azure サブスクリプションから)] オプションが選択されていることを確認します。Confirm that From Azure subscriptions option is selected for Account selection method.

    3. Azure サブスクリプションを選択します。Select your Azure subscription.

    4. 選択したサブスクリプションで利用できる Azure ストレージ アカウントの一覧から、使用する Azure ストレージ アカウントを選択します。Select an Azure storage account from the list of Azure storage accounts available in the selected subscription. ストレージ アカウント設定を手動で入力することもできます。その場合は、 [Account selection method (アカウントの選択方法)][Enter manually (手動で入力)] オプションを選択し、 [次へ] をクリックします。You can also choose to enter storage account settings manually by selecting Enter manually option for the Account selection method, and then click Next.

      Copy Tool - Specify the Azure Blob storage account

  5. [Choose the input file or folder (入力ファイルまたはフォルダーの選択)] ページで次の操作を実行します。On Choose the input file or folder page:

    1. [adftutorial] (フォルダー) をダブルクリックします。Double-click adftutorial (folder).

    2. emp.txt を選択し、 [選択] をクリックします。Select emp.txt, and click Choose

      Copy Tool - Choose the input file or folder

  6. [Choose the input file or folder (入力ファイルまたはフォルダーの選択)] ページで、 [次へ] をクリックします。On the Choose the input file or folder page, click Next. [Binary copy (バイナリ コピー)] は選択しないでください。Do not select Binary copy.

    Copy Tool - Choose the input file or folder

  7. [File format settings (ファイル形式の設定)] ページに、ウィザードがファイルを解析することによって自動的に検出した区切り記号とスキーマが表示されます。On the File format settings page, you see the delimiters and the schema that is auto-detected by the wizard by parsing the file. 区切り記号を手動で入力することで、コピー ウィザードによる自動検出を防止 (オーバーライド) することもできます。You can also enter the delimiters manually for the copy wizard to stop auto-detecting or to override. 区切り記号を確認し、データをプレビューしたら、 [次へ] をクリックします。Click Next after you review the delimiters and preview data.

    Copy Tool - File format settings

  8. [Destination data store (ターゲット データ ストア)] ページで [Azure SQL Database] を選択し、 [次へ] をクリックします。On the Destination data store page, select Azure SQL Database, and click Next.

    Copy Tool - Choose destination store

  9. [Specify the Azure SQL database (Azure SQL データベースの指定)] ページで次の操作を実行します。On Specify the Azure SQL database page:

    1. [接続名] フィールドに「AzureSqlLinkedService」と入力します。Enter AzureSqlLinkedService for the Connection name field.

    2. [Server / database selection method (サーバー/データベースの選択方法)][From Azure subscriptions (Azure サブスクリプションから)] オプションが選択されていることを確認します。Confirm that From Azure subscriptions option is selected for Server / database selection method.

    3. Azure サブスクリプションを選択します。Select your Azure subscription.

    4. サーバー名データベースを選択します。Select Server name and Database.

    5. ユーザー名パスワードを入力します。Enter User name and Password.

    6. [次へ] をクリックします。Click Next.

      Copy Tool - Azure SQL データベースの指定

  10. [テーブル マッピング] ページで、 [ターゲット] フィールドのドロップダウン リストから [emp] を選択します。下向き矢印をクリックすると (省略可能)、スキーマを表示し、データをプレビューできます。On the Table mapping page, select emp for the Destination field from the drop-down list, click down arrow (optional) to see the schema and to preview the data.

    Copy Tool - Table mapping

  11. [Schema mapping (スキーマ マッピング)] ページで、 [次へ] をクリックします。On the Schema mapping page, click Next.

    Copy Tool - schema mapping

  12. [Performance settings (パフォーマンス設定)] ページで、 [次へ] をクリックします。On the Performance settings page, click Next.

    Copy Tool - performance settings

  13. [概要] ページの内容を確認し、 [完了] をクリックします。Review information in the Summary page, and click Finish. これにより、2 つのリンクされたサービス、2 つのデータセット (入力と出力)、1 つのパイプラインが (コピー ウィザードを起動した場所から) データ ファクトリに作成されます。The wizard creates two linked services, two datasets (input and output), and one pipeline in the data factory (from where you launched the Copy Wizard).

    Copy Tool - performance settings

監視と管理アプリケーションの起動Launch Monitor and Manage application

  1. [デプロイ] ページでリンク Click here to monitor copy pipeline をクリックします。On the Deployment page, click the link: Click here to monitor copy pipeline.

    Copy Tool - Deployment succeeded

  2. Web ブラウザーの別のタブに監視アプリケーションが起動されます。The monitoring application is launched in a separate tab in your web browser.

    Monitoring App

  3. 下部の [ACTIVITY WINDOWS](アクティビティ ウィンドウ) 一覧の [更新] ボタンをクリックして、時間スライスの最新の状態を表示します。To see the latest status of hourly slices, click Refresh button in the ACTIVITY WINDOWS list at the bottom. パイプラインの開始時刻と終了時刻の間の 5 日間分の 5 つのアクティビティ ウィンドウが表示されます。You see five activity windows for five days between start and end times for the pipeline. この一覧は自動的に更新されないため、準備完了状態のすべてのアクティビティ ウィンドウを表示するために [更新] を繰り返しクリックすることが必要になる場合があります。The list is not automatically refreshed, so you may need to click Refresh a couple of times before you see all the activity windows in the Ready state.

  4. 一覧で、アクティビティ ウィンドウを選択します。Select an activity window in the list. 右側の [Activity Window Explorer](アクティビティ ウィンドウ エクスプローラー) に詳細が表示されます。See the details about it in the Activity Window Explorer on the right.

    Activity window details

    11 日、12 日、13 日、14 日、および 15 日は緑色で表示されています。これは、これらの日付の日次スライス出力が既に生成されていることを示します。Notice that the dates 11, 12, 13, 14, and 15 are in green color, which means that the daily output slices for these dates have already been produced. この色分けは、ダイアグラム ビューのパイプラインと出力データセットにも使用されています。You also see this color coding on the pipeline and the output dataset in the diagram view. 前の手順では、既に生成済みのスライスが 2 つ、現在処理中のスライスが 1 つ、処理を待機している状態のスライスが 2 つありました (色分けに基づく)。In the previous step, notice that two slices have already been produced, one slice is currently being processed, and the other two are waiting to be processed (based on the color coding).

    このアプリケーションの使用に関する詳細については、監視アプリを使用したパイプラインの監視および管理に関する記事を参照してください。For more information on using this application, see Monitor and manage pipeline using Monitoring App article.

次の手順Next steps

このチュートリアルでは、Azure Blob Storage をコピー操作のソース データ ストア、Azure SQL データベースをターゲット データ ストアとして使用しました。In this tutorial, you used Azure blob storage as a source data store and an Azure SQL database as a destination data store in a copy operation. 次の表は、コピー アクティビティによってソースおよびターゲットとしてサポートされているデータ ストアの一覧です。The following table provides a list of data stores supported as sources and destinations by the copy activity:

CategoryCategory データ ストアData store ソースとしてサポートSupported as a source シンクとしてサポートSupported as a sink
AzureAzure Azure BLOB StorageAzure Blob storage
  Azure Cosmos DB (SQL API)Azure Cosmos DB (SQL API)
  Azure Data Lake Storage Gen1Azure Data Lake Storage Gen1
  Azure SQL DatabaseAzure SQL Database
  Azure SQL Data WarehouseAzure SQL Data Warehouse
  Azure Search インデックスAzure Search Index
  Azure Table StorageAzure Table storage
データベースDatabases Amazon RedshiftAmazon Redshift
  DB2*DB2*
  MySQL*MySQL*
  Oracle*Oracle*
  PostgreSQL*PostgreSQL*
  SAP Business Warehouse*SAP Business Warehouse*
  SAP HANA*SAP HANA*
  SQL Server*SQL Server*
  Sybase*Sybase*
  Teradata*Teradata*
NoSQLNoSQL Cassandra*Cassandra*
  MongoDB*MongoDB*
ファイルFile Amazon S3Amazon S3
  ファイル システム*File System*
  FTPFTP
  HDFS*HDFS*
  SFTPSFTP
その他Others 汎用 HTTPGeneric HTTP
  汎用 ODataGeneric OData
  汎用 ODBC*Generic ODBC*
  SalesforceSalesforce
  Web テーブル (HTML のテーブル)Web Table (table from HTML)

データ ストアのコピー ウィザードに表示されるフィールドおよびプロパティの詳細については、表内のデータ ストアへのリンクをクリックしてください。For details about fields/properties that you see in the copy wizard for a data store, click the link for the data store in the table.