中速から高速のネットワーク帯域幅での大規模なデータセットのデータ転送Data transfer for large datasets with moderate to high network bandwidth

この記事では、ご利用の環境に中速から高速のネットワーク帯域幅があり、大規模なデータセットを転送する予定の場合の、データ転送ソリューションの概要を示します。This article provides an overview of the data transfer solutions when you have moderate to high network bandwidth in your environment and you are planning to transfer large datasets. また、この記事では、推奨されるデータ転送と、このシナリオのそれぞれの主要な機能のマトリックスについても説明します。The article also describes the recommended data transfer options and the respective key capability matrix for this scenario.

利用可能なすべてのデータ転送オプションの概要を理解するには、Azure データ転送ソリューションの選択に関するページに移動します。To understand an overview of all the available data transfer options, go to Choose an Azure data transfer solution.

シナリオの説明Scenario description

大規模なデータセットでは、TB から PB の順にデータ サイズを参照します。Large datasets refer to data sizes in the order of TBs to PBs. 中速から高速のネットワーク帯域幅では、100 Mbps から 10 Gbps の順に参照します。Moderate to high network bandwidth refers to 100 Mbps to 10 Gbps.

このシナリオで推奨されるオプションは、中速ネットワーク帯域幅であるか、高速ネットワーク帯域幅であるかによって異なります。The options recommended in this scenario depend on whether you have moderate network bandwidth or high network bandwidth.

ネットワーク帯域幅 - 中 (100 Mbps から 1 Gbps)Moderate network bandwidth (100 Mbps - 1 Gbps)

中速ネットワーク帯域幅では、ネットワーク経由のデータ転送時間をプロジェクションする必要があります。With moderate network bandwidth, you need to project the time for data transfer over the network.

以下の表を使用して時間を予測し、それに基づいて、オフライン転送かネットワーク経由の転送を選びます。Use the following table to estimate the time and based on that, choose between an offline transfer or over the network transfer. 表には、さまざまなネットワーク帯域幅に対する、ネットワーク データ転送の予想時間が示されています (90% の使用率と仮定)。The table shows the projected time for network data transfer, for various available network bandwidths (assuming 90% utilization).

ネットワーク転送またはオフライン転送

  • ネットワーク転送に時間がかかりすぎると予想される場合は、物理デバイスを使用する必要があります。If the network transfer is projected to be too slow, you should use a physical device. この場合に推奨されるオプションは、Azure Data Box ファミリのデバイスを使用するオフライン転送、または独自のディスクを使用する Azure Import/Export です。The recommended options in this case are the offline transfer devices from Azure Data Box family or Azure Import/Export using your own disks.

    • オフライン転送用の Azure Data Box ファミリ – 時間、ネットワークの可用性、またはコストが限られている場合は、Microsoft が供給する Data Box デバイスのデバイスを使用して、大量のデータを Azure に移動します。Azure Data Box family for offline transfers – Use devices from Microsoft-supplied Data Box devices to move large amounts of data to Azure when you’re limited by time, network availability, or costs. Robocopy などのツールを使って、オンプレミスのデータをコピーします。Copy on-premises data using tools such as Robocopy. 転送対象のデータのサイズに応じて、Data Box Disk、Data Box、Data Box Heavy から選択できます。Depending on the data size intended for transfer, you can choose from Data Box Disk, Data Box, or Data Box Heavy.
    • Azure Import/Export – 大量のデータを安全に Azure Blob Storage と Azure Files にインポートするために、独自のディスク ドライブを送付して Azure Import/Export サービスを使用します。Azure Import/Export – Use Azure Import/Export service by shipping your own disk drives to securely import large amounts of data to Azure Blob storage and Azure Files. また、このサービスでは、Azure Blob Storage からディスク ドライブにデータを転送し、オンプレミスのサイトに送付できます。This service can also be used to transfer data from Azure Blob storage to disk drives and ship to your on-premises sites.
  • ネットワーク転送が妥当であると予想される場合は、「ネットワーク帯域幅 - 高」で詳しく説明されている以下のツールのいずれかを使用できます。If the network transfer is projected to be reasonable, then you can use any of the following tools detailed in High network bandwidth.

ネットワーク帯域幅 - 高 (1 Gbps から 100 Gbps)High network bandwidth (1 Gbps - 100 Gbps)

利用可能なネットワーク帯域幅が高い場合は、次のツールのいずれかを使用します。If the available network bandwidth is high, use one of the following tools.

  • AzCopy - このコマンドライン ツールを使用すると、最適なパフォーマンスで Azure BLOB、Files、および Table ストレージとの間で相互に簡単にデータをコピーできます。AzCopy - Use this command-line tool to easily copy data to and from Azure Blobs, Files, and Table storage with optimal performance. AzCopy はコンカレンシーと並列処理をサポートし、中断された場合にコピー操作を再開することができます。AzCopy supports concurrency and parallelism, and the ability to resume copy operations when interrupted.
  • Azure Storage REST API/SDK – アプリケーションの構築時に、Azure Storage REST API に対するアプリケーションを開発し、複数の言語で提供される Azure SDK を使用できます。Azure Storage REST APIs/SDKs – When building an application, you can develop the application against Azure Storage REST APIs and use the Azure SDKs offered in multiple languages.
  • オンライン転送用の Azure Data Box – Data Box Edge と Data Box Gateway はオンラインのネットワークデバイスであり、Azure の内外へのデータの移動が可能です。Azure Data Box family for online transfers – Data Box Edge and Data Box Gateway are online network devices that can move data into and out of Azure. 継続的な取り込みと、アップロード前のデータの前処理を同時に行う必要がある場合は、Data Box Edge の物理デバイスを使用します。Use Data Box Edge physical device when there is a simultaneous need for continuous ingestion and pre-processing of the data prior to upload. Data Box Gateway は、同じデータ転送機能を備えた、デバイスの仮想バージョンです。Data Box Gateway is a virtual version of the device with the same data transfer capabilities. いずれの場合も、データ転送はデバイスによって管理されます。In each case, the data transfer is managed by the device.
  • Azure Data Factory – 転送操作をスケールアウトする場合や、オーケストレーションとエンタープライズ レベルの監視機能が必要な場合は、Data Factory を使用する必要があります。Azure Data Factory – Data Factory should be used to scale out a transfer operation, and if there is a need for orchestration and enterprise grade monitoring capabilities. Data Factory を使用し、複数の Azure サービス間またはオンプレミスで、あるいは 2 つを組み合わせて、ファイルを定期的に転送します。Use Data Factory to regularly transfer files between several Azure services, on-premises, or a combination of the two. Data Factory では、さまざまなデータ ストアからデータを取り込み、データ移動とデータ転送を自動化するデータ駆動型ワークフロー (パイプラインと呼ばれる) を作成し、スケジュールを設定できます。with Data Factory, you can create and schedule data-driven workflows (called pipelines) that ingest data from disparate data stores and automate data movement and data transformation.

主な機能の比較Comparison of key capabilities

次の表は、推奨されるオプションの主な機能の違いをまとめたものです。The following tables summarize the differences in key capabilities for the recommended options.

ネットワーク帯域幅 - 中Moderate network bandwidth

オフライン データ転送を使用する場合は、以下の表を使用して、主な機能の違いを理解します。If using offline data transfer, use the following table to understand the differences in key capabilities.

Data Box DiskData Box Disk Data BoxData Box Data Box HeavyData Box Heavy インポート/エクスポートImport/Export
データ サイズData size 最大 35 TBUp to 35 TBs デバイスあたり最大 80 TBUp to 80 TBs per device デバイスあたり最大 800 TBUp to 800 TB per device 変数Variable
データの種類Data type Azure BLOBAzure Blobs Azure BLOBAzure Blobs
Azure FilesAzure Files
Azure BLOBAzure Blobs
Azure FilesAzure Files
Azure BLOBAzure Blobs
Azure FilesAzure Files
フォーム ファクターForm factor 注文ごとに 5 つの SSD5 SSDs per order 1 X 50 lbs。1 X 50-lbs. 1 回の注文ごとにデスクトップ サイズのデバイスdesktop-sized device per order 1 X 最大 500-lbs。1 X ~500-lbs. 1 回の注文ごとに大容量のデバイスlarge device per order 1 回の注文ごとに最大 10 台の HDD/SSDUp to 10 HDDs/SSDs per order
初期セットアップ時間Initial setup time Low
(15 分)(15 mins)
低から中Low to moderate
(30 分未満)(<30 mins)
Moderate
(1 ~ 2 時間)(1-2 hours)
中から難Moderate to difficult
(可変)(variable)
Azure にデータを送信するSend data to Azure はいYes はいYes はいYes はいYes
Azure からデータをエクスポートするExport data from Azure いいえNo いいえNo いいえNo はいYes
暗号化Encryption AES 128 ビットAES 128-bit AES 256 ビットAES 256-bit AES 256 ビットAES 256-bit AES 128 ビットAES 128-bit
ハードウェアHardware Microsoft による提供Microsoft supplied Microsoft による提供Microsoft supplied Microsoft による提供Microsoft supplied お客様による提供Customer supplied
ネットワーク インターフェイスNetwork interface USB 3.1/SATAUSB 3.1/SATA RJ 45、SFP+RJ 45, SFP+ RJ45、QSFP+RJ45, QSFP+ SATA II/SATA IIISATA II/SATA III
パートナー統合Partner integration 一部Some High High 一部Some
送付Shipping Microsoft による管理Microsoft managed Microsoft による管理Microsoft managed Microsoft による管理Microsoft managed お客様による管理Customer managed
データの移動時に使用するUse when data moves コマース境界内Within a commerce boundary コマース境界内Within a commerce boundary コマース境界内Within a commerce boundary 地理的境界を越える (US から EU など)Across geographic boundaries, e.g. US to EU
料金Pricing 料金Pricing 料金Pricing 料金Pricing 料金Pricing

オンラインのデータ転送を使用する場合は、高速ネットワーク帯域幅に対して、次のセクションの表を使用します。If using online data transfer, use the table in the following section for high network bandwidth.

ネットワーク帯域幅 - 高High network bandwidth

ツール AzCopy、Tools AzCopy,
Azure PowerShell、Azure PowerShell,
Azure CLIAzure CLI
Azure Storage REST API、SDKAzure Storage REST APIs, SDKs Data Box Gateway または Data Box EdgeData Box Gateway or Data Box Edge Azure Data FactoryAzure Data Factory
データの種類Data type Azure BLOB、Azure Files、Azure TablesAzure Blobs, Azure Files, Azure Tables Azure BLOB、Azure Files、Azure TablesAzure Blobs, Azure Files, Azure Tables Azure BLOB、Azure FilesAzure Blobs, Azure Files データ ストアと形式について、70 個を超えるデータ コネクタがサポートされますSupports 70+ data connectors for data stores and formats
フォーム ファクターForm factor コマンドライン ツールCommand-line tools プログラマティック インターフェイスProgrammatic interface Microsoft では仮想Microsoft supplies a virtual
または物理デバイスが提供されますor physical device
Azure ポータルのサービスService in Azure portal
最初の 1 回限りのセットアップInitial one-time setup 簡単Easy Moderate 簡単 (30 分未満) から中 (1 から 2 時間)Easy (<30 minutes) to moderate (1-2 hours) 広範Extensive
データの前処理Data pre-processing いいえNo いいえNo はい (Edge コンピューティングを使用)Yes (With Edge compute) はいYes
その他のクラウドからの転送Transfer from other clouds いいえNo いいえNo いいえNo はいYes
ユーザーの種類User type IT プロフェッショナルまたは開発者IT Pro or dev DevDev IT プロフェッショナルIT Pro IT プロフェッショナルIT Pro
料金Pricing 無料、データ エグレス料金を適用Free, data egress charges apply 無料、データ エグレス料金を適用Free, data egress charges apply 料金Pricing 料金Pricing

次のステップNext steps