Apache®、Spark 和火焰標誌是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 Apache Software Foundation 不會隱含使用這些標記。
本文說明大型主機和中端數據源的端對端現代化計劃。
架構
資料流程
下列數據流概述將大型主機數據層現代化的程式。 它會對應至上圖。
大型主機和中層系統會將數據儲存在數據源中，例如文件系統（VSAM、一般檔案、LTFS）、關係資料庫（Db2 for z/OS、Db2 for IBM i、Db2 for Linux UNIX 和 Windows），或非關係資料庫（IMS、ADABAS、IDMS）。
物件轉換程式會從來源物件擷取物件定義。 定義接著會轉換成目標數據存放區中的對應物件。
- 適用於 Db2 的 SQL Server 移轉小幫手 （SSMA） 會將架構和資料從 IBM Db2 資料庫遷移至 Azure 資料庫。
- Managed Data Provider for Host Files 會透過下列方式轉換物件：
- 剖析 COBOL 和 RPG 記錄版面配置，或 複製手冊。
- 將 copybook 對應至 .NET 應用程式所使用的 C# 物件。
- 第三方工具會在非關係資料庫、檔案系統和其他數據存放區上執行自動化物件轉換。
數據會擷取並轉換。 大型主機和 midrange 系統會以 EBCDIC 編碼格式，以檔案格式儲存其檔案系統數據，例如：
COBOL、PL/I 和元件語言複製手冊會定義這些檔案的數據結構。
a. FTP 會以二進位格式和對應的 Copybook，使用單一版面配置和解壓縮的欄位，將大型主機和中型文件系統數據集傳輸至 Azure。
b. 數據已轉換。 Azure Data Factory 自定義連接器是使用主機整合伺服器的主機檔案用戶端元件來轉換大型主機數據集所開發的解決方案。
主機整合伺服器 整合現有的IBM主機系統、程式、訊息和數據與 Azure 應用程式。 主機整合伺服器是主機檔案用戶端元件，可用來開發用於數據集轉換的自定義解決方案。
Azure Data Factory 自定義連接器是以開放原始碼 Spark 架構為基礎，並在 Azure Synapse Analytics 上執行。 與其他解決方案一樣，它可以剖析 copybook 並轉換數據。 使用 Azure Logic Apps 剖析主機檔案內容連接器來管理資料轉換的服務。
c. 關係資料庫數據已移轉。
IBM 大型主機和中層系統會將資料儲存在關係資料庫中，如下所示：
這些服務會移轉資料庫資料：
- Data Factory 會使用 Db2 連接器，從資料庫擷取和整合數據。
- SQL Server Integration Services 會處理各種數據 ETL 工作。
d. 非關係資料庫數據已移轉。
IBM 大型主機和中層系統會將數據儲存在非關係資料庫中，如下所示：
第三方產品會整合來自這些資料庫的數據。
Data Factory 和 AzCopy 等 Azure 服務將數據載入 Azure 資料庫和 Azure 資料記憶體。 您也可以使用第三方解決方案和自訂載入解決方案來載入數據。
Azure 提供許多受控數據記憶體解決方案：
Azure 服務會使用現代化數據層來計算、分析、記憶體和網路功能。
用戶端應用程式也會使用現代化數據層。
元件
資料存放區
- SQL 資料庫 是 Azure SQL 系列的一部分。 它專為雲端所建置，並提供完全受控且常青平臺即服務的所有優點。 SQL 資料庫 也提供 AI 支援的自動化功能，以優化效能和持久性。 無伺服器計算和 超大規模資料庫記憶體選項 會自動視需要調整資源。
- 適用於 PostgreSQL 的 Azure 資料庫 是以開放原始碼 PostgreSQL 資料庫引擎社群版為基礎的完全受控關係資料庫服務。
- Azure Cosmos DB 是全域散發的多 模型NoSQL 資料庫。
- 適用於 MySQL 的 Azure 資料庫 是以開放原始碼 MySQL 資料庫引擎社群版為基礎的完全受控關係資料庫服務。
- 適用於 MariaDB 的 Azure 資料庫 是雲端式關係資料庫服務。 它是以 MariaDB 社群版本資料庫引擎為基礎。
- SQL 受管理執行個體 是一種智慧型手機、可調整的雲端資料庫服務，可提供完全受控且常青平臺即服務的所有優點。 SQL 受管理執行個體 與最新的 SQL Server Enterprise Edition 資料庫引擎有近 100% 的相容性。 它也提供解決常見安全性考慮的原生虛擬網路實作。
- Azure Data Lake 儲存體 是記憶體存放庫，其原生原始格式會保存大量數據。 Data Lake 存放區已針對調整為數 TB 和 PB 的數據進行優化。 數據通常來自多個異質來源。 它可以結構化、半結構化或非結構化。
計算
- Data Factory 會使用 整合運行時間 （IR），跨不同的網路環境整合數據，這是計算基礎結構。 Data Factory 會使用 自我裝載的 IR，在雲端資料存放區和內部部署網路中的數據存放區之間複製數據。
- Azure 虛擬機器 提供隨選、可調整的運算資源。 Azure 虛擬機 （VM） 提供虛擬化的彈性，但可排除實體硬體的維護需求。 Azure VM 提供作業系統的選擇，包括 Windows 和 Linux。
數據整合者
- Azure Data Factory 是混合式數據整合服務。 在此解決方案中，Azure Data Factory 自定義連接器會使用主機整合伺服器的主機檔案用戶端元件來轉換大型主機數據集。 使用最少的設定，您可以使用自定義連接器來轉換大型主機數據集，就像您使用任何其他 Azure Data Factory 連接器一樣。
- AzCopy 是命令行公用程式，可將 Blob 或檔案移入和移出記憶體帳戶。
- SQL Server Integration Services 是建立企業級數據整合和轉換解決方案的平臺。 您可以使用它來解決複雜的商務問題，方法是：
- 複製或下載檔案。
- 載入數據倉儲。
- 清理和採礦數據。
- 管理 SQL Server 對象和數據。
- 主機整合伺服器 技術和工具可讓您整合現有的 IBM 主機系統、程式、訊息和資料與 Azure 應用程式。 主機檔案用戶端元件可為從EBCDIC轉換成 ASCII 的數據提供彈性。 例如，您可以從已轉換的數據產生 JSON/XML。
- Azure Synapse 整合數據整合、企業數據倉儲和巨量數據分析。 此架構中使用的 Azure Synapse 轉換解決方案是以 Apache Spark 為基礎，適合用於大型大型大型主機數據集工作負載轉換。 它支援各種不同的大型主機數據結構和目標，而且需要最少的編碼工作。
其他工具
- SQL Server 移轉小幫手 for Db2 會自動從 Db2 移轉至 Microsoft 資料庫服務。 在 VM 上執行時，此工具會將 Db2 資料庫物件轉換成 SQL Server 資料庫物件，並在 SQL Server 中建立這些物件。
- 主機檔案的數據提供者是主機整合伺服器的元件，使用離線、SNA 或 TCP/IP 連線。
- 使用離線連線時，數據提供者會在本機二進位檔中讀取和寫入記錄。
- 使用 SNA 和 TCP/IP 連線時，數據提供者會讀取和寫入儲存在遠端 z/OS（IBM Z 系列大型主機）數據集或遠端 i5/OS（IBM AS/400 和 iSeries 系統）實體檔案中的記錄。 只有i5/OS系統使用TCP/IP。
- Azure 服務 提供在公用雲端中開發和調整新應用程式的環境、工具和程式。
案例詳細資料
Azure 數據平臺等新式數據記憶體解決方案提供比大型主機和中層系統更好的延展性和效能。 藉由將系統現代化，您可以利用這些優點。 不過，更新技術、基礎結構和做法很複雜。 此程式涉及對商業和工程活動的詳盡調查。 當您將系統現代化時，數據管理是其中一個考慮。 您也需要查看資料視覺效果和整合。
成功的現代化會使用 數據優先策略。 當您使用此方法時，您會專注於資料，而不是新的系統。 數據管理不再是現代化檢查清單上的專案。 相反地，數據是中心。 協調、品質導向的數據解決方案會取代分散且治理不佳的數據解決方案。
此解決方案會在數據優先方法中使用 Azure 資料平台元件。 具體來說，解決方案涉及：
- 物件轉換。 將物件定義從源數據存放區轉換成目標數據存放區中的對應物件。
- 資料擷取。 連線 源數據存放區並擷取數據。
- 資料轉換。 將擷取的數據轉換成適當的目標數據存放區結構。
- 資料儲存體。 一開始和持續將數據從源數據存放區載入目標數據存放區。
潛在的使用案例
使用大型主機和中層系統的組織可以受益於此解決方案，特別是當他們想要達成這些目標時：
- 將任務關鍵性工作負載現代化。
- 取得商業智慧以改善營運並取得競爭優勢。
- 拿掉與大型主機和中型數據存放區相關聯的高成本和剛性。
考量
這些考慮會實作 Azure Well-Architected Framework 的要素，這是一組指導原則，可用來改善工作負載的品質。 如需詳細資訊，請參閱 Microsoft Azure Well-Architected Framework。 當您使用 Data Provider for Host Files 用戶端轉換數據時， 請開啟連線共用 以減少連線啟動時間。 當您使用Data Factory 來擷取數據時， 請微調複製活動的效能。
安全性
安全性可提供針對蓄意攻擊和濫用寶貴數據和系統的保證。 如需詳細資訊，請參閱 安全性要素概觀。
- 請注意內部部署用戶端身分識別與 Azure 中的用戶端身分識別之間的差異。 您需要補償任何差異。
- 針對元件對元件數據流使用 受控識別 。
- 當您使用 Data Provider for Host Files 轉換數據時，請遵循數據提供者中的 主機檔案安全性和保護中的建議。
成本最佳化
成本優化是減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱 成本優化要素概觀。
- SQL Server 移轉小幫手 是免費的支援工具，可簡化資料庫從 Db2 移轉至 SQL Server、SQL 資料庫 和 SQL 受管理執行個體。 SQL Server 移轉小幫手 自動化移轉的所有層面，包括移轉評估分析、架構和 SQL 語句轉換，以及數據遷移。
- Azure Synapse Spark 型解決方案是從開放原始碼連結庫建置的。 它可消除授權轉換工具的財務負擔。
- 使用 Azure 定價計算機來預估實作此解決方案的成本。
效能效益
效能效率是工作負載調整的能力，以符合使用者以有效率的方式滿足其需求。 如需詳細資訊，請參閱 效能效率要素概觀。
- 效能效率的主要要素包括效能管理、容量規劃、 延展性，以及選擇適當的效能模式。
- 您可以將 邏輯實例與主動-主動模式中的多個內部部署機器產生關聯，以相應放大自我裝載 IR 。
- Azure SQL 資料庫 可讓您動態調整資料庫。 在無伺服器層中，它可以自動調整計算資源。 彈性集區，允許資料庫共用集區中的資源，只能手動調整。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主體作者：
- Ashish Khandelwal |首席工程架構師經理
其他投稿人：
- 米克·阿爾伯特 |技術寫入器
- Nithish Aruldoss |工程架構師
若要查看非公用LinkedIn配置檔，請登入LinkedIn。
下一步
檢閱 Azure 資料庫移轉指南。 如需詳細資訊，請連絡 Azure 資料工程師 ing - 大型主機和 Midrange 現代化。
請參閱下列文章：