將封存資料從大型主機系統移至 Azure

Azure Data Factory
Azure 儲存體
Azure 檔案
Azure Blob 儲存體
Azure 資料箱

此參考架構示範如何將資料從大型主機和中型系統移至 Azure。 在此架構中,封存的資料只會在大型主機系統中提供服務並使用。 Azure 僅作為儲存體媒體使用。

架構

此圖顯示將大型主機資料封存至 Azure 的架構。

下載這個架構的 Visio 檔案

若要決定要在大型主機系統和 Azure 儲存體之間移動資料的方法,請考慮資料擷取頻率和資料量。 Microsoft 和協力廠商解決方案可供使用:

  • Microsoft 解決方案。
    • Azure Data Factory FTP 連接器。
    • Data Factory 複製活動,可將資料複製到任何 Azure 儲存體解決方案。
    • 使用 JAVA 將大型主機 JCL 移至 Azure Blob的自訂解決方案,可透過作業控制語言 (JCL) 將資料從大型主機系統移至 Azure。 如需詳細資訊,請連絡 datasqlninja@microsoft.com
  • 協力廠商封存解決方案。 您可以輕鬆地與大型主機系統、中型系統和 Azure 服務整合的解決方案。

工作流程

  1. Azure Data Factory FTP 連接器會將資料從大型主機系統移至Azure Blob 儲存體。 此解決方案需要安裝自我裝載整合執行時間的中繼虛擬機器 (VM) 。

  2. Data Factory 複製活動會連線到 Db2 資料庫,以將資料複製到 Azure 儲存體。 此解決方案也需要安裝自我裝載整合執行時間的中繼 VM。

  3. 使用 JAVA 自訂解決方案將 Microsoft 大型主機 JCL 移至 Azure Blob, 會在大型主機系統和 Blob 儲存體之間移動資料,反之亦然。 此解決方案是以 JAVA 為基礎,並在大型主機上的 Unix 系統服務上執行。 您可以連絡 datasqlninja@microsoft.com 來取得此解決方案。

    a. 您需要完成解決方案的一次性設定。 此設定牽涉到取得 Blob 儲存體存取金鑰,並將必要的成品移至大型主機系統。

    b. JCL 提交會將檔案移至大型主機和 Blob 儲存體,以及從 Blob 儲存體來回移動。

    c. 檔案會以二進位格式儲存在 Azure 上。 您可以設定自訂解決方案,將 EBCDIC 轉換為 ASCII 以進行單一資料型別。

  4. 或者,Azure 資料箱可協助您實際將大型主機資料傳輸到 Azure。 需要移轉大量資料,且線上傳輸方法花費太多時間時,此選項就適用。 (例如,如果移轉需要周。)

  5. 與大型主機或中型環境輕鬆互動是由 協力廠商封存解決方案所提供。

    這些解決方案會與大型主機互動,並處理各種大型主機參數,例如資料類型、記錄類型、儲存體類型和存取方法。 它們可作為 Azure 與大型主機之間的橋樑。 某些協力廠商解決方案會將存放裝置磁片磁碟機連線到大型主機,並協助將資料傳輸到 Azure。

  6. 資料會透過協力廠商封存解決方案定期同步和封存。 透過協力廠商解決方案取得資料之後,解決方案可以使用可用的連接器,輕鬆地將其推送至 Azure。

  7. 資料 會儲存在 Azure 中

  8. 視需要, 資料會從 Azure 回收 回大型主機或中型系統。

單元

  • Azure 儲存體 可為您的資料、應用程式和工作負載提供可大幅調整、高度安全的雲端儲存體。 Azure 檔案儲存體提供簡單且安全的無伺服器雲端檔案共用。 這些元件用於同步處理和資料保留。
  • Azure Data Factory是混合式資料整合服務,可用來建立、排程及協調 ETL 和 ELT 工作流程。
  • Azure 資料箱 是一種實體裝置,可用來將內部部署資料移至 Azure。

替代方案

您可以使用傳統方法,透過 FTP 將資料移出大型主機或中型系統。 Data Factory 提供 FTP 連接器 ,可讓您用來封存 Azure 上的資料。

實例詳細資料

大型主機和中型系統會產生、處理及儲存大量資料。 當此資料變得舊時,它通常不實用。 不過,合規性和法規規則有時會要求此資料儲存一段時間,因此封存非常重要。 藉由封存此資料,您可以降低成本並優化資源。 封存資料也有助於資料分析,並提供資料的歷程記錄。

潛在使用案例

將資料封存到雲端可協助您:

  • 釋放大型主機和中型系統中的儲存體資源。
  • 只將相關資料儲存在作用中系統上,以優化查詢的效能。
  • 藉由以更經濟的方式儲存資料來降低營運成本。
  • 使用封存的資料進行分析,以建立新的商機,並做出更好的商務決策。

建議

視您使用資料的方式而定,您可能會想要從二進位檔將它轉換成 ASCII,然後將它上傳至 Azure。 這麼做可讓您更輕鬆地在 Azure 上進行分析。

考量

  • 大型主機上的複雜資料類型必須在封存期間處理。
  • 應用程式主題專家可以識別哪些資料需要封存。
  • 若要判斷同步處理之間的時間量,請考慮業務關鍵性、合規性需求和資料存取頻率等因素。

協力廠商封存解決方案

有些協力廠商解決方案可在Azure Marketplace上使用。 每個解決方案都需要唯一的設定。 設定這些解決方案是實作此架構的主要工作之一。

Azure 儲存體

Azure 有各種不同的不同應用程式和技術需求選項,例如頻繁存取與不常存取,以及結構化與非結構化資料。 您可以在 Azure 儲存體中設定各種儲存體生命週期組態。 您可以定義管理生命週期的規則。 如需概觀,請參閱 設定生命週期管理原則

重新叫用資料

重新叫用封存資料是封存解決方案的重要層面。 其中幾個協力廠商解決方案提供順暢的體驗,可重新叫用封存的資料。 就像在內部部署執行命令一樣簡單。 協力廠商代理程式會自動從 Azure 取得資料,並將其擷取回大型主機系統。

成本最佳化

使用 Azure 定價計算機 來估計實作此解決方案的成本。

參與者

本文由 Microsoft 維護。 最初是由下列參與者所撰寫。

主體作者:

其他參與者:

下一步

如需詳細資訊,請連絡Azure 資料工程 - 大型主機/Midrange 現代化

請參閱下列資源: