在有中速至高速的網路頻寬之情況下進行大型資料集的資料轉送

本文提供資料轉送解決方案的概觀,適用於當您的環境中有中速至高速的網路頻寬,且您正打算要轉送大型資料集的情況。 本文也描述建議的資料轉送選項和適用於此情節之各主要功能的矩陣。

若要了解所有可用資料轉送選項的概觀,請移至選擇 Azure 資料轉送解決方案

案例描述

大型資料集是指資料大小等級為 TB 至 PB。 中速至高速的網路頻寬是指 100 Mbps 至 10 Gbps。

在此情節中,建議的選項是根據您的網路頻寬是中速或是高速來區分。

中速網路頻寬 (100 Mbps-1 Gbps)

若使用的是中速網路頻寬,您需要預估資料透過網路轉送的時間。

使用下表來估計時間,並根據結果選擇離線轉送或透過網路轉送。 該表格顯示針對各種可用的頻寬 (假設利用率 90%) 進行網路資料轉送的預估時間。

Network transfer or offline transfer

  • 如果網路轉送的預估速度太慢,您就應該使用實體裝置。 此案例中建議的選項是來自 Azure 資料箱系列的離線轉送裝置,或是使用您自己磁碟機的 Azure 匯入/匯出。

    • 適用於離線轉送的 Azure 資料箱系列:當您受到時間、網路可用性或成本的限制時,使用 Microsoft 提供的資料箱裝置以將大量資料移動到 Azure。 使用如 Robocopy 等工具複製內部部署資料。 根據要轉送之資料的大小,您可以選擇資料箱磁碟、資料箱或 Data Box Heavy。
    • Azure 匯入/匯出:使用 Azure 匯入/匯出服務,透過寄送您自己的磁碟機,安全地將大量資料匯入至 Azure Blob 儲存體和 Azure 檔案中。 這項服務也能用來將資料從 Azure Blob 儲存體傳輸到磁碟機,然後運送到您的內部部署網站。
  • 如果預估的網路傳轉送速度合理,則您可以使用高速網路頻寬中所述的下列任何工具。

高速網路頻寬 (1 Gbps - 100 Gbps)

如果可用網路頻寬是高速的,請使用下列其中一個工具。

  • AzCopy:使用此命令列工具可獲得最佳效能,輕鬆將資料複製到 Azure Blobs、檔案和表格儲存體,或從其中複製資料。 AzCopy 支援並行和平行處理原則,並且能夠繼續中斷的複製作業。
  • Azure 儲存體 REST API/SDK:當您在建置應用程式時,您可以針對 Azure 儲存體 REST API 來開發應用程式,並使用以多種語言提供的 Azure SDK。
  • 適用於線上轉送的 Azure 資料箱系列 - Azure Stack Edge 和 Azure 資料箱閘道是能將資料移入及移出 Azure 的線上網路裝置。 當在上傳資料之前,同時需要持續擷取資料及預先處理資料時,請使用 Azure Stack Edge 實體裝置。 「資料箱閘道」是該裝置的虛擬版本,並具備相同的資料傳輸功能。 在每個案例中,資料轉送都是由裝置管理。
  • Azure Data Factory - Data Factory 應該用於擴增轉送作業,如果需要協調流程和監視功能也可以使用它。 使用 Azure Data Factory 以在數個 Azure 服務、內部部署之間或這兩者的組合之間,定期轉送檔案。 您可以使用 Data Factory 來建立資料驅動的工作流程 (管線) 並進行排程,工作流程會從不同的資料存放區內嵌資料,並自動進行資料移動和資料轉送。

主要功能比較

下表摘要列出建議選項的主要功能差異。

中速網路頻寬

如果使用離線資料轉送,請使用下表來了解主要功能差異。

資料箱磁碟 資料箱 Data Box Heavy 匯入/匯出
資料大小 最多 35 TB 每個裝置最多 80 TB 每個裝置最多 800 TB 變數
資料類型 Azure Blob
Azure 檔案儲存體*
Azure Blob
Azure 檔案
Azure Blob
Azure 檔案
Azure Blob
Azure 檔案
板型規格 每筆訂單 5 個 SSD 每筆訂單 1 X 50 磅 桌上型電腦大小裝置 每筆訂單 1 X ~500 磅 大型裝置 每筆訂單最多 10 個 HDD/SSD
初始設定時間
(15 分鐘)
低至中度
(<30 分鐘)
中等
(1-2 小時)
中度到困難
(變動)
將資料傳送到 Azure Yes .是 .是 Yes
從 Azure 匯出資料 No Yes
加密 AES 128 位元 AES 256 位元 AES 256 位元 AES 128 位元
硬體 Microsoft 提供 Microsoft 提供 Microsoft 提供 客戶提供
網路介面 USB 3.1/SATA RJ 45、SFP+ RJ45、QSFP+ SATA II/SATA III
合作夥伴整合 部分 部分
運送 Microsoft 管理 Microsoft 管理 Microsoft 管理 客戶管理的
當資料移動時使用 在商務服務界限內 在商務服務界限內 在商務服務界限內 跨越地理界限,例如美國到歐洲
定價 定價 定價 定價 定價

* 資料箱磁碟不支援大型檔案共用,而且不會保留檔案中繼資料

如果使用線上資料轉送,請使用下一節中適用於高速網路頻寬的表格。

高速網路頻寬

工具 AzCopy、
Azure PowerShell、
Azure CLI
Azure 儲存體 REST API、SDK 資料箱閘道或 Azure Stack Edge Azure Data Factory
資料類型 Azure Blob、Azure 檔案、Azure 資料表 Azure Blob、Azure 檔案、Azure 資料表 Azure Blob、Azure 檔案 支援 70 種以上的資料存放區和格式化資料連接器
板型規格 命令列工具 程式設計介面 Microsoft 提供的虛擬
或實體裝置
Azure 入口網站中的服務
初始的單次設定 簡單 中等 簡單 (<30 分鐘) 至中度 (1-2 小時) 大規模
資料預先處理 No No 是 (使用 Edge 計算) Yes
從其他雲端轉送 No Yes
使用者類型 IT 專業人員或開發人員 開發 IT 專業人員 IT 專業人員
定價 適用免費資料輸出費用 適用免費資料輸出費用 Azure Stack Edge 定價
資料箱閘道定價
定價

下一步