Azure Data Factory のコピー アクティビティCopy Activity in Azure Data Factory

概要Overview

Azure Data Factory では、コピー アクティビティを使用して、オンプレミスにあるデータ ストアやクラウド内のデータ ストアの間でデータをコピーできます。In Azure Data Factory, you can use Copy Activity to copy data among data stores located on-premises and in the cloud. データをコピーした後、他のアクティビティを使用してそれをさらに変換して分析することができます。After the data is copied, it can be further transformed and analyzed using other activities. また、コピー アクティビティを使用して、変換や分析の結果を発行し、ビジネス インテリジェンス (BI) やアプリケーションで使用することもできます。You can also use Copy Activity to publish transformation and analysis results for business intelligence (BI) and application consumption.

コピー アクティビティの役割

コピー アクティビティは、統合ランタイムで実行されます。Copy Activity is executed on an Integration Runtime. 異なるデータ コピーのシナリオでは、別の種類の統合ランタイムを利用できます。For different data copy scenario, different flavors of Integration Runtime can be leveraged:

  • どちらも任意の IP アドレスからインターネット経由でパブリックにアクセス可能なデータ ストア間でデータをコピーする場合は、セキュリティ保護され、信頼性が高く、スケーラブルで、かつグローバルに使用可能な Azure Integration Runtime で、コピー アクティビティを機能強化できます。When copying data between data stores that both are publicly accessible through the internet from any IPs, copy activity can be empowered by Azure Integration Runtime, which is secure, reliable, scalable, and globally available.
  • オンプレミスにあるデータ ストアや、アクセス制御が設定されたネットワーク (Azure Virtual Network など) 内のデータ ストアの間でデータをコピーする場合は、データ コピーを機能強化するために自己ホスト型統合ランタイムを設定する必要があります。When copying data from/to data stores located on-premises or in a network with access control (for example, Azure Virtual Network), you need to set up a self-hosted Integrated Runtime to empower data copy.

統合ランタイムを各ソースおよびシンク データ ストアに関連付ける必要があります。Integration Runtime needs to be associated with each source and sink data store. コピー アクティビティが、使用する IR を決定する方法について詳細を学習してください。Learn details on how copy activity determines which IR to use.

コピー アクティビティは、次の各段階を通して、ソースからシンクにデータをコピーします。Copy Activity goes through the following stages to copy data from a source to a sink. コピー アクティビティを実行するサービスが行う処理を次に示します。The service that powers Copy Activity:

  1. ソース データ ストアからデータを読み取る。Reads data from a source data store.
  2. シリアル化/逆シリアル化、圧縮/圧縮解除、列マッピングなどを実行する。この操作は、入力データセット、出力データセット、およびコピー アクティビティの構成に基づいて実行されます。Performs serialization/deserialization, compression/decompression, column mapping, etc. It does these operations based on the configurations of the input dataset, output dataset, and Copy Activity.
  3. シンク/宛先データ ストアにデータを書き込む。Writes data to the sink/destination data store.

コピー アクティビティの概要

サポートされるデータ ストアと形式Supported data stores and formats

CategoryCategory データ ストアData store ソースとしてサポートSupported as a source シンクとしてサポートSupported as a sink Azure IR がサポートSupported by Azure IR セルフホステッド IR がサポートSupported by Self-hosted IR
AzureAzure Azure Blob StorageAzure Blob Storage
  Azure Cosmos DB (SQL API)Azure Cosmos DB (SQL API)
  Azure Cosmos DB の MongoDB 用 APIAzure Cosmos DB's API for MongoDB
  Azure Data ExplorerAzure Data Explorer
  Azure Data Lake Storage Gen1Azure Data Lake Storage Gen1
  Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2
  Azure Database for MariaDBAzure Database for MariaDB
  Azure Database for MySQLAzure Database for MySQL
  Azure Database for PostgreSQLAzure Database for PostgreSQL
  Azure File StorageAzure File Storage
  Azure SQL DatabaseAzure SQL Database
  Azure SQL Database マネージド インスタンスAzure SQL Database Managed Instance
  Azure SQL Data WarehouseAzure SQL Data Warehouse
  Azure Search インデックスAzure Search Index
  Azure Table StorageAzure Table Storage
データベースDatabase Amazon RedshiftAmazon Redshift
  DB2DB2
  Drill (プレビュー)Drill (Preview)
  Google BigQueryGoogle BigQuery
  GreenplumGreenplum
  HBaseHBase
  HiveHive
  Apache Impala (プレビュー)Apache Impala (Preview)
  InformixInformix
  MariaDBMariaDB
  Microsoft AccessMicrosoft Access
  MySQLMySQL
  NetezzaNetezza
  OracleOracle
  PhoenixPhoenix
  PostgreSQLPostgreSQL
  Presto (プレビュー)Presto (Preview)
  SAP Business Warehouse Open HubSAP Business Warehouse Open Hub
  MDX を介した SAP Business WarehouseSAP Business Warehouse via MDX
  SAP HANASAP HANA
  SAP テーブルSAP Table
  SparkSpark
  SQL ServerSQL Server
  SybaseSybase
  TeradataTeradata
  VerticaVertica
NoSQLNoSQL CassandraCassandra
  Couchbase (プレビュー)Couchbase (Preview)
  MongoDBMongoDB
ファイルFile Amazon S3Amazon S3
  ファイル システムFile System
  FTPFTP
  Google Cloud StorageGoogle Cloud Storage
  HDFSHDFS
  SFTPSFTP
汎用プロトコルGeneric protocol 汎用 HTTPGeneric HTTP
  汎用 ODataGeneric OData
  汎用 ODBCGeneric ODBC
  汎用 RESTGeneric REST
サービスとアプリServices and apps Amazon Marketplace Web Service (プレビュー)Amazon Marketplace Web Service (Preview)
  Common Data Service for AppsCommon Data Service for Apps
  Concur (プレビュー)Concur (Preview)
  Dynamics 365Dynamics 365
  Dynamics AX (プレビュー)Dynamics AX (Preview)
  Dynamics CRMDynamics CRM
  Google AdWords (プレビュー)Google AdWords (Preview)
  HubSpot (プレビュー)HubSpot (Preview)
  Jira (プレビュー)Jira (Preview)
  Magento (プレビュー)Magento (Preview)
  Marketo (プレビュー)Marketo (Preview)
  Office 365Office 365
  Oracle Eloqua (プレビュー)Oracle Eloqua (Preview)
  Oracle Responsys (プレビュー)Oracle Responsys (Preview)
  Oracle Service Cloud (プレビュー)Oracle Service Cloud (Preview)
  Paypal (プレビュー)Paypal (Preview)
  QuickBooks (プレビュー)QuickBooks (Preview)
  SalesforceSalesforce
  Salesforce Service CloudSalesforce Service Cloud
  Salesforce Marketing Cloud (プレビュー)Salesforce Marketing Cloud (Preview)
  SAP Cloud for Customer (C4C)SAP Cloud for Customer (C4C)
  SAP ECCSAP ECC
  ServiceNowServiceNow
  Shopify (プレビュー)Shopify (Preview)
  Square (プレビュー)Square (Preview)
  Web テーブル (HTML テーブル)Web Table (HTML table)
  Xero (プレビュー)Xero (Preview)
  Zoho (プレビュー)Zoho (Preview)

注意

"プレビュー" と記載されたコネクタは試用版です。フィードバックをお寄せください。Any connector marked as Preview means that you can try it out and give us feedback. ソリューションでプレビュー版コネクタの依存関係を取得したい場合、Azure サポートにお問い合わせください。If you want to take a dependency on preview connectors in your solution, please contact Azure support.

サポートされるファイル形式Supported file formats

コピー アクティビティを使用すると、ファイル ベースの 2 つのデータ ストア間でファイルをそのままコピーできます。その場合、データはシリアル化/逆シリアル化なしで効率的にコピーされます。You can use Copy Activity to copy files as-is between two file-based data stores, in which case the data is copied efficiently without any serialization/deserialization.

また、コピー アクティビティでは、指定された形式Text、JSON、Avro、ORC、Parquet、およびコーデック GZip、Deflate、BZip2、ZipDeflate によるファイルの圧縮と解凍。Copy Activity also supports reading from and writing to files in specified formats: Text, JSON, Avro, ORC, and Parquet, and compressing and decompressing files with the following codecs: GZip, Deflate, BZip2, and ZipDeflate. 詳細については、「サポートされているファイル形式と圧縮形式」を参照してください。See Supported file and compression formats with details.

たとえば、次のようなコピー アクティビティを実行できます。For example, you can do the following copy activities:

  • オンプレミスの SQL Server のデータをコピーし、Azure Data Lake Storage Gen2 に Parquet 形式で書き込む。Copy data in on-premises SQL Server and write to Azure Data Lake Storage Gen2 in Parquet format.
  • オンプレミスのファイル システムからテキスト (CSV) 形式でファイルをコピーし、Azure BLOB に Avro 形式で書き込む。Copy files in text (CSV) format from on-premises File System and write to Azure Blob in Avro format.
  • オンプレミスのファイルシステムから zip ファイルをコピーし、圧縮を解除したうえで Azure Data Lake Storage Gen2 に書き込む。Copy zipped files from on-premises File System and decompress then land to Azure Data Lake Storage Gen2.
  • Azure BLOB から GZip 圧縮テキスト (CSV) 形式でデータをコピーし、Azure SQL Database に書き込む。Copy data in GZip compressed text (CSV) format from Azure Blob and write to Azure SQL Database.
  • そのほか、シリアル化/逆シリアル化または圧縮/解凍が必要となるさまざまなケース。And many more cases with serialization/deserialization or compression/decompression need.

サポートされているリージョンSupported regions

コピー アクティビティを実行するサービスは、「統合ランタイムの場所」に記載されているリージョンと場所でグローバルに使うことができます。The service that powers Copy Activity is available globally in the regions and geographies listed in Azure Integration Runtime locations. グローバルに使用できるトポロジでは効率的なデータ移動が保証されます。このデータ移動では、通常、リージョンをまたがるホップが回避されます。The globally available topology ensures efficient data movement that usually avoids cross-region hops. 特定のリージョンにおける Data Factory とデータ移動の提供状況については、リージョン別のサービスに関するページをご覧ください。See Services by region for availability of Data Factory and Data Movement in a region.

構成Configuration

Azure Data Factory のコピー アクティビティを使用するには、次のことを行う必要があります。To use copy activity in Azure Data Factory, you need to:

  1. ソース データ ストアとシンク データ ストアのリンクされたサービスを作成します。Create linked services for source data store and sink data store. 構成方法およびサポートされるプロパティについては、コネクタの記事の「リンクされたサービスのプロパティ」セクションを参照してください。Refer to the connector article's "Linked service properties" section on how to configure and the supported properties. サポートされるコネクタの一覧は、「サポートされるデータ ストアと形式」セクションで見つけることができます。You can find the supported connector list in Supported data stores and formats section.
  2. ソースとシンクのデータセットを作成します。Create datasets for source and sink. 構成方法およびサポートされるプロパティについては、ソースおよびシンク コネクタの記事の「データセットのプロパティ」セクションを参照してください。Refer to the source and sink connector articles' "Dataset properties" section on how to configure and its supported properties.
  3. コピー アクティビティを含むパイプラインを作成します。Create a pipeline with copy activity. 次のセクションでは、例を示します。The next section provides an example.

構文Syntax

次のコピー アクティビティのテンプレートは、サポートされるすべてのプロパティの一覧を示しています。The following template of a copy activity contains an exhaustive list of supported properties. 実際のシナリオに適したものを指定してください。Specify the ones that fit your scenario.

"activities":[
    {
        "name": "CopyActivityTemplate",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<source dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<sink dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>",
                <properties>
            },
            "sink": {
                "type": "<sink type>"
                <properties>
            },
            "translator":
            {
                "type": "TabularTranslator",
                "columnMappings": "<column mapping>"
            },
            "dataIntegrationUnits": <number>,
            "parallelCopies": <number>,
            "enableStaging": true/false,
            "stagingSettings": {
                <properties>
            },
            "enableSkipIncompatibleRow": true/false,
            "redirectIncompatibleRowSettings": {
                <properties>
            }
        }
    }
]

構文の詳細Syntax details

プロパティProperty 説明Description 必須Required
typetype コピー アクティビティの type プロパティはCopy に設定する必要がありますThe type property of a copy activity must be set to: Copy はいYes
inputsinputs ソース データを指す、前に作成したデータセットを指定します。Specify the dataset you created which points to the source data. コピー アクティビティは、1 つの入力のみをサポートします。Copy activity supports only a single input. はいYes
outputsoutputs シンク データを指す、前に作成したデータセットを指定します。Specify the dataset you created which points to the sink data. コピー アクティビティは、1 つの出力のみをサポートします。Copy activity supports only a single output. はいYes
typePropertiestypeProperties コピー アクティビティを構成するためのプロパティのグループ。A group of properties to configure copy activity. はいYes
sourcesource コピー ソースの型と、データを取得する方法に関する対応するプロパティを指定します。Specify the copy source type and the corresponding properties on how to retrieve data.

サポートされるデータ ストアと形式」に一覧表示されているコネクタの記事にある「コピー アクティビティのプロパティ」セクションで詳細を学習してください。Learn details from the "Copy activity properties" section in connector article listed in Supported data stores and formats.
はいYes
sinksink コピー シンクの型と、データを書き込む方法に関する対応するプロパティを指定します。Specify the copy sink type and the corresponding properties on how to write data.

サポートされるデータ ストアと形式」に一覧表示されているコネクタの記事にある「コピー アクティビティのプロパティ」セクションで詳細を学習してください。Learn details from the "Copy activity properties" section in connector article listed in Supported data stores and formats.
はいYes
translatortranslator ソースからシンクへの明示的な列マッピングを指定します。Specify explicit column mappings from source to sink. 既定のコピー動作が要求を満足できない場合に適用されます。Applies when the default copy behavior cannot fulfill your need.

スキーマとデータ型のマッピング」で詳細を学習してください。Learn details from Schema and data type mapping.
いいえNo
dataIntegrationUnitsdataIntegrationUnits データ コピーを機能強化するために、Azure 統合ランタイムの強力な機能を指定します。Specify the powerfulness of Azure Integration Runtime to empower data copy. 以前はクラウド データ移動単位 (DMU) と呼ばれていました。Formerly known as cloud Data Movement Units (DMU).

詳しくは、データ統合単位に関するページをご覧ください。Learn details from Data Integration Units.
いいえNo
parallelCopiesparallelCopies ソースからのデータの読み取り時やシンクへのデータの書き込み時にコピー アクティビティで使用する並列処理を指定します。Specify the parallelism that you want Copy Activity to use when reading data from source and writing data to sink.

並列コピー」で詳細を学習してください。Learn details from Parallel copy.
いいえNo
enableStagingenableStaging
stagingSettingsstagingSettings
ソースからシンクに直接データをコピーするのではなく、中間データを BLOB ストレージにステージングすることを選択します。Choose to stage the interim data in a blob storage instead of directly copy data from source to sink.

役立つシナリオや構成の詳細を「ステージング コピー」で学習してください。Learn the useful scenarios and configuration details from Staged copy.
いいえNo
enableSkipIncompatibleRowenableSkipIncompatibleRow
redirectIncompatibleRowSettingsredirectIncompatibleRowSettings
ソースからシンクにデータをコピーするときに互換性のない行を処理する方法を選択します。Choose how to handle incompatible rows when copying data from source to sink.

フォールト トレランス」で詳細を学習してください。Learn details from Fault tolerance.
いいえNo

監視Monitoring

Azure Data Factory の [Author & Monitor](作成者と監視) という UI またはプログラムで、コピー アクティビティの実行を監視できます。You can monitor the copy activity run on Azure Data Factory "Author & Monitor" UI or programmatically.

視覚的な監視Monitor visually

コピー アクティビティの実行を視覚的に監視するには、お使いのデータ ファクトリ -> [Author & Monitor](作成者と監視) -> [監視] タブ の順に移動して、 [アクション] 列にある [View Activity Runs](アクティビティ実行の表示) リンクを使ってパイプライン実行の一覧を表示します。To visually monitor the copy activity run, go to your data factory -> Author & Monitor -> Monitor tab, you see a list of pipeline runs with a "View Activity Runs" link in the Actions column.

パイプラインの実行を監視する

クリックして、このパイプライン実行のアクティビティ一覧を表示するClick to see the list of activities in this pipeline run. [アクション] 列に、コピー アクティビティの入力、出力、エラー (コピー アクティビティの実行に失敗した場合) へのリンクと詳細が表示されます。In the Actions column, you have links to the copy activity input, output, errors (if copy activity run fails), and details.

アクティビティの実行を監視する

[アクション] にある [詳細] リンクをクリックして、コピー アクティビティ実行の詳細とパフォーマンス特性を確認します。Click the "Details" link under Actions to see copy activity's execution details and performance characteristics. source から sink にコピーされた volume/rows/files のデータ、スループット、対応する期間に処理されるステップ、お使いのコピー シナリオで使用される構成などの情報が表示されます。It shows you information including volume/rows/files of data copied from source to sink, throughput, steps it goes through with corresponding duration and used configurations for your copy scenario.

ヒント

一部のシナリオでは、コピーの監視ページの上部に "パフォーマンス チューニングに関するヒント" も表示されます。これは、特定されたボトルネックを示しています。このヒントを参考にして、コピーのスループットを強化するために変更すべき点を把握することができます。詳しい情報と例については、こちらを参照してください。For some scenarios, you will also see "Performance tuning tips" on top of the copy monitoring page, which tells you the bottleneck identified and guides you on what to change so as to boost copy throughput, see an example with details here.

例: Amazon S3 から Azure Data Lake Store へコピーする アクティビティ実行の詳細を監視するExample: copy from Amazon S3 to Azure Data Lake Store Monitor activity run details

例: ステージング コピーを使用して Azure SQL Database から Azure SQL Data Warehouse にコピーする アクティビティ実行の詳細を監視するExample: copy from Azure SQL Database to Azure SQL Data Warehouse using staged copy Monitor activity run details

プログラムで監視するMonitor programmatically

コピー アクティビティの実行の詳細とパフォーマンス特性は、コピー アクティビティの実行結果の [出力] セクションでも返されます。Copy activity execution details and performance characteristics are also returned in the Copy Activity run result -> Output section. 以下は包括的な一覧です。コピー シナリオに該当するものだけを示しています。Below is an exhaustive list; only the applicable ones to your copy scenario will show up. アクティビティの実行を監視する方法は、クイック スタートの監視セクションで学習してください。Learn how to monitor activity run from quickstart monitoring section.

プロパティ名Property name 説明Description 単位Unit
dataReaddataRead ソースから読み取られたデータ サイズData size read from source Int64 値 (バイト数)Int64 value in bytes
dataWrittendataWritten シンクに書き込まれたデータ サイズData size written to sink Int64 値 (バイト数)Int64 value in bytes
filesReadfilesRead ファイル ストレージからデータをコピーするときに、コピーされるファイルの数。Number of files being copied when copying data from file storage. Int64 値 (単位なし)Int64 value (no unit)
filesWrittenfilesWritten ファイル ストレージにデータをコピーするときに、コピーされるファイルの数。Number of files being copied when copying data to file storage. Int64 値 (単位なし)Int64 value (no unit)
sourcePeakConnectionssourcePeakConnections コピー アクティビティの実行中にソース データ ストアに対して確立されたコンカレント接続の最大数。Number of max concurrent connections established to source data store during the copy activity run. Int64 値 (単位なし)Int64 value (no unit)
sinkPeakConnectionssinkPeakConnections コピー アクティビティの実行中にシンク データ ストアに対して確立されたコンカレント接続の最大数。Number of max concurrent connections established to sink data store during the copy activity run. Int64 値 (単位なし)Int64 value (no unit)
rowsReadrowsRead ソースから読み取られる行数 (バイナリ コピーには適用されません)。Number of rows being read from source (not applicable for binary copy). Int64 値 (単位なし)Int64 value (no unit)
rowsCopiedrowsCopied シンクにコピーされる行数 (バイナリ コピーには適用されません)。Number of rows being copied to sink (not applicable for binary copy). Int64 値 (単位なし)Int64 value (no unit)
rowsSkippedrowsSkipped スキップされた互換性のない行の数。Number of incompatible rows being skipped. この機能は、"enableSkipIncompatibleRow" を true に設定することによって有効にできます。You can turn on the feature by set "enableSkipIncompatibleRow" to true. Int64 値 (単位なし)Int64 value (no unit)
copyDurationcopyDuration コピーの持続期間。The duration of the copy. Int32 値 (秒数)Int32 value in seconds
throughputthroughput データが転送される速度。Ratio at which data are transferred. 浮動小数点数 (KB/秒)Floating point number in KB/s
sourcePeakConnectionssourcePeakConnections コピー中にソース データ ストアで確立されたコンカレント接続のピーク数。Peak number of concurrent connections established to the source data store during copy. Int32 値Int32 value
sinkPeakConnectionssinkPeakConnections コピー中にシンク データ ストアで確立されたコンカレント接続のピーク数。Peak number of concurrent connections established to the sink data store during copy. Int32 値Int32 value
sqlDwPolyBasesqlDwPolyBase SQL Data Warehouse にデータをコピーするときに PolyBase が使用される場合。If PolyBase is used when copying data into SQL Data Warehouse. BooleanBoolean
redshiftUnloadredshiftUnload Redshift からデータをコピーするときに UNLOAD が使用される場合。If UNLOAD is used when copying data from Redshift. BooleanBoolean
hdfsDistcphdfsDistcp HDFS からデータをコピーするときに DistCp が使用される場合。If DistCp is used when copying data from HDFS. BooleanBoolean
effectiveIntegrationRuntimeeffectiveIntegrationRuntime アクティビティの実行を機能強化するために、どの統合ランタイムが使用されるかを <IR name> (<region if it's Azure IR>) の形式で示します。Show which Integration Runtime(s) is used to empower the activity run, in the format of <IR name> (<region if it's Azure IR>). Text (文字列)Text (string)
usedDataIntegrationUnitsusedDataIntegrationUnits コピーの間に有効なデータ統合単位。The effective Data Integration Units during copy. Int32 値Int32 value
usedParallelCopiesusedParallelCopies コピー中の効率的な parallelCopies。The effective parallelCopies during copy. Int32 値Int32 value
redirectRowPathredirectRowPath "redirectIncompatibleRowSettings" で構成した、BLOB ストレージ内のスキップされた互換性のない行のログのパス。Path to the log of skipped incompatible rows in the blob storage you configure under "redirectIncompatibleRowSettings". 下の例を参照してください。See below example. Text (文字列)Text (string)
executionDetailsexecutionDetails コピー アクティビティが処理される際の段階の詳細、対応するステップ、期間、使用される構成など。このセクションは変更される場合があるため、解析はお勧めしません。More details on the stages copy activity goes through, and the corresponding steps, duration, used configurations, etc. It's not recommended to parse this section as it may change.

ADF の detailedDurations では、それぞれの手順で費やされた詳細な時間 (秒) も報告されます。ADF also reports the detailed durations (in seconds) spent on respective steps under detailedDurations. これらの手順の継続時間は限定的であり、特定のコピー アクティビティの実行に適用された時間だけが表示されます。The durations of these steps are exclusive and only those that apply to the given copy activity run would show up:
- キュー時間 (queuingDuration):コピー アクティビティが統合ランタイムで実際に開始されるまでの経過時間。- Queuing duration (queuingDuration): The elapsed time until the copy activity actually starts on the integration runtime. セルフホステッド IR を使用していて、この値が大きい場合は、IR の容量と使用量を確認し、ワークロードに応じてスケールアップ/スケールアウトすることをお勧めします。If you use Self-hosted IR and this value is large, suggest to check the IR capacity and usage, and scale up/out according to your workload.
- コピー前スクリプト時間 (preCopyScriptDuration):コピー アクティビティが IR で開始してから、コピー アクティビティによるシンク データ ストアでのコピー前スクリプトの実行が終了するまでの経過時間。- Pre-copy script duration (preCopyScriptDuration): The elapsed time between copy activity starting on IR and copy activity finishing executing the pre-copy script in sink data store. コピー前スクリプトを構成したときに適用されます。Apply when you configure the pre-copy script.
- 最初のバイトまでの時間 (timeToFirstByte):前のステップが終了してから、IR がソース データ ストアから最初のバイトを受信するまでの経過時間。- Time-to-first-byte (timeToFirstByte): The elapsed time between the end of the previous step and the IR receiving the first byte from the source data store. ファイル ベース以外のソースに適用されます。Apply to non-file-based source. この値が大きい場合は、クエリまたはサーバーを確認して最適化することをお勧めします。If this value is large, suggest to check and optimize the query or server.
- 転送時間 (transferDuration):前のステップが終了してから、IR がソースからシンクにすべてのデータを転送するまでの経過時間。- Transfer duration (transferDuration): The elapsed time between the end of the previous step and the IR transferring all the data from source to sink.
ArrayArray
perfRecommendationperfRecommendation コピー パフォーマンスのチューニングのヒント。Copy performance tuning tips. 詳しくは、「パフォーマンスとチューニング」のセクションを参照してください。See Performance and tuning section on details. ArrayArray
"output": {
    "dataRead": 6198358,
    "dataWritten": 19169324,
    "filesRead": 1,
    "sourcePeakConnections": 1,
    "sinkPeakConnections": 2,
    "rowsRead": 39614,
    "rowsCopied": 39614,
    "copyDuration": 1325,
    "throughput": 4.568,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US)",
    "usedDataIntegrationUnits": 4,
    "usedParallelCopies": 1,
    "executionDetails": [
        {
            "source": {
                "type": "AzureBlobStorage"
            },
            "sink": {
                "type": "AzureSqlDatabase"
            },
            "status": "Succeeded",
            "start": "2019-08-06T01:01:36.7778286Z",
            "duration": 1325,
            "usedDataIntegrationUnits": 4,
            "usedParallelCopies": 1,
            "detailedDurations": {
                "queuingDuration": 2,
                "preCopyScriptDuration": 12,
                "transferDuration": 1311
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "Sink Azure SQL Database: The DTU utilization was high during the copy activity run. To achieve better performance, you are suggested to scale the database to a higher tier than the current 1600 DTUs.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2043368",
            "RuleName": "AzureDBTierUpgradePerfRecommendRule"
        }
    ]
}

スキーマとデータ型のマッピングSchema and data type mapping

コピー アクティビティがソース データをシンクにマッピングする方法について説明している「スキーマとデータ型のマッピング」を参照してください。See the Schema and data type mapping, which describes how copy activity maps your source data to sink.

フォールト トレランスFault tolerance

既定では、コピー アクティビティはソースとシンクの間に互換性のないデータを検出した場合、データのコピーを停止して失敗を返します。By default, copy activity stops copying data and returns a failure when it encounters incompatible data between source and sink. そのコピーを成功させるために、互換性のない行をスキップしてログに記録し、互換性があるデータのみをコピーするように明示的に構成できます。You can explicitly configure to skip and log the incompatible rows and only copy those compatible data to make the copy succeeded. 詳細については、「Copy Activity fault tolerance」 (コピー アクティビティのフォールト トレランス) を参照してください。See the Copy Activity fault tolerance on more details.

パフォーマンスとチューニングPerformance and tuning

Azure Data Factory でのデータ移動 (コピー アクティビティ) のパフォーマンスに影響する主な要因については、「 コピー アクティビティのパフォーマンスとチューニングに関するガイド」をご覧ください。See the Copy Activity performance and tuning guide, which describes key factors that affect the performance of data movement (Copy Activity) in Azure Data Factory. このガイドでは、内部テスト実行時の実際のパフォーマンスを一覧表示すると共に、コピー アクティビティのパフォーマンスを最適化するさまざまな方法についても説明します。It also lists the observed performance during internal testing and discusses various ways to optimize the performance of Copy Activity.

場合によっては、ADF でコピー アクティビティを実行すると、次の例に示されているように、コピー アクティビティの監視ページの上部に "パフォーマンス チューニングに関するヒント" が直接表示されます。In some cases, when you execute a copy activity in ADF, you will directly see "Performance tuning tips" on top of the copy activity monitoring page as shown in the following example. これにより、特定のコピーの実行で特定されたボトルネックが提示されるだけでなく、コピーのスループットを向上させるために変更すべき点も示されます。It not only tells you the bottleneck identified for the given copy run, but also guides you on what to change so as to boost copy throughput. パフォーマンスのチューニングに関するヒントは、現在、Azure SQL Data Warehouse にデータをコピーするときは PolyBase を使用すること、データ ソース側のリソースがボトルネックである場合はAzure Cosmos DB の RU または Azure SQL DB の DTU を増やすこと、不要なステージング済みを削除することといった提案を示しています。パフォーマンスのチューニングのルールも、徐々に強化されていきます。The performance tuning tips currently provide suggestions like to use PolyBase when copying data into Azure SQL Data Warehouse, to increase Azure Cosmos DB RU or Azure SQL DB DTU when the resource on data store side is the bottleneck, to remove the unnecessary staged copy, etc. The performance tuning rules will be gradually enriched as well.

例: パフォーマンスのチューニングに関するヒントを使用した Azure SQL DB へのコピーExample: copy into Azure SQL DB with performance tuning tips

このサンプルでは、コピーの実行中に ADF が、シンク Azure SQL DB が書き込み操作を遅くする高 DTU 使用率に達したため、より多くの DTU のある Azure SQL DB 層を増やすという提案を通知します。In this sample, during copy run, ADF notices that the sink Azure SQL DB reaches a high DTU utilization which slows down the write operations, so the suggestion is to increase the Azure SQL DB tier with more DTU.

パフォーマンスのチューニングに関するヒントを使用したコピーの監視

増分コピーIncremental copy

Data Factory では、ソース データ ストアからシンク データ ストアに差分データを増分コピーするシナリオをサポートしています。Data Factory supports scenarios for incrementally copying delta data from a source data store to a sink data store. データの増分コピーに関するチュートリアルを参照してください。See Tutorial: incrementally copy data.

パーティション分割されたデータの読み取りおよび書き込みRead and write partitioned data

Azure Data Factory のバージョン 1 では、パーティション分割されたデータの読み取りと書き込みを SliceStart/SliceEnd/WindowStart/WindowEnd システム変数を使用してサポートしていました。In version 1, Azure Data Factory supported reading or writing partitioned data by using SliceStart/SliceEnd/WindowStart/WindowEnd system variables. 現在のバージョンでは、パイプライン パラメーターと、そのパラメーターの値としてのトリガーの開始時刻/スケジュールされた時刻を使用してこの動作を実現できます。In the current version, you can achieve this behavior by using a pipeline parameter and trigger's start time/scheduled time as a value of the parameter. 詳しくは、パーティション分割されたデータの読み取りまたは書き込みを行う方法に関するページをご覧ください。For more information, see How to read or write partitioned data.

次の手順Next steps

次のクイック スタート、チュートリアル、およびサンプルを参照してください。See the following quickstarts, tutorials, and samples: