在 Azure 上執行貯存槽模擬軟體

Azure CycleCloud
Azure 金鑰保存庫
Azure 虛擬機器

貯存槽模擬使用資料密集的電腦模型來預測諸如地球表面下的石油、水和天然氣等複雜流體的流動。 此範例會在 Azure 高效能運算 (HPC) 基礎結構上設定貯存槽模擬軟體。 Azure 可讓您以最高的效能、擴充性和成本效益來執行此類工作負載。

架構

示範模擬架構的圖表。

下載這個架構的 Visio 檔案

工作流程

此圖提供範例中所用架構的概要說明。 工作流程如下︰

  1. 使用者可透過 SSH 登入前端節點,為計算資源準備模型。

  2. PBS Pro 19.1 會在前端節點上執行,並在計算節點上排程工作。

  3. OPM Flow 會在計算節點上執行。 計算 VM 會部署為虛擬機器擴展集,這是一組可調整以符合計算工作需求的相同 VM。

  4. OPM Flow 會將計算結果傳送至前端節點上的檔案共用。 進階磁碟會連接至前端節點,並設定為計算節點和視覺效果 VM 的 NFS 伺服器。

  5. 在標準 NV6 Windows VM 上執行的 OPM ResInsight 會顯示結果 3D 視覺效果。 使用者可透過 RDP 存取視覺效果 VM。

單元

用來實作此架構的重要技術:

實例詳細資料

此範例中的架構支援 OPM Flow,這是 Open Porous Media (OPM) 計畫提供的熱門開放原始碼石油和天然氣貯存槽模擬套件。 OPM Flow 軟體可在 Azure HPC 虛擬機器 (VM) 上執行,提供接近或優於目前內部部署基礎結構的效能。

使用者會連線至 Linux 前端節點 VM,以透過 PBS Pro 19.1 工作排程軟體將模型提交至 HPC 資源。 HPC 資源會執行 OPM Flow,並將計算結果傳送至檔案共用。 在此範例中,檔案共用為 4 TB 網路檔案系統 (NFS) 在前端節點 VM 上的空間。 視您的模型和輸入和輸出 (I/O) 需求而定,您可以使用其他儲存體選項。

執行 OPM ResInsight 的 Microsoft Azure VM,這是開放原始碼視覺效果工具,可存取檔案共用來 建立模型,並將 匯出結果視覺化。 使用者可透過遠端桌面通訊協定 (RDP) 連接到 VM,以查看視覺效果。

使用 Azure VM 可讓您省下高階視覺效果工作站的費用。 OPM 應用程式受益於 HPC 硬體,以及輸入和輸出檔案的共用儲存位置。

潛在使用案例

  • 進行地震資料的 3D 貯存槽模型和視覺效果。

  • 測試 INTERSECT:Schlumberger 公司的高解析度貯存槽模擬器。 您可以在 GitHub 上看到範例 INTERSECT 實作

  • Landmark-Halliburton 在 Azure 上使用類似的設定測試 Nexus。

考量

這些考慮會實作 Azure Well-Architected Framework 的要素,這是一組可用來改善工作負載品質的指引原則。 如需詳細資訊,請參閱 Microsoft Azure Well-Architected Framework

此範例使用 HB 系列的高效能 VM。 HB 系列針對記憶體頻寬驅動的應用程式優化,例如計算流體力學 (CFD),而 Standard_HB120rs_v2 VM 是系列中的最新版本。 若是以 Intel 為基礎的硬體,可選擇使用 Standard_HC44rs VM。

為了在 Azure 上測試此 OPM Flow 架構,GitHub 範例執行會安裝 Norne 案例,這是現實挪威海洋石油欄位的開放基準測試案例。 若要執行此測試案例,您必須:

  • 使用 Azure Key Vault 儲存金鑰和密碼,這是 GitHub 安裝指令碼的需求。

  • 在所有計算節點上安裝線性代數套件 (LAPACK) 程式庫。 GitHub 安裝指令碼包含此步驟。

  • 在您想要作為視覺效果接收端的任何電腦上,安裝 HP 遠端圖形軟體 (RGS)。 在此範例中,使用者會連線至視覺效果 VM 以執行 ResInsight,並查看 Norne 案例。

作業排程器

需要大量計算的工作負載,受益於可部署並管理 HPC 計算和儲存基礎結構的 HPC 協調流程軟體。 範例架構包含兩種部署計算的方式:azurehpc 架構或 Azure CycleCloud

Azure CycleCloud 是一項工具,用於建立、管理、操作及最佳化 Azure 中的 HPC 和 Big Compute 叢集。 您可以用其動態佈建 Azure HPC 叢集,並協調混合式和雲端工作流程的資料和作業。 Azure CycleCloud 也針對 Azure 上的 HPC 工作負載支援數個工作負載管理員,例如 Grid Engine、HPC Pack、HTCondor、LSF、PBS Pro、Slurm 和 Symphony。

網路

此範例工作負載會在不同的子網路中部署 VM。 如需額外的安全性,您可以為每個子網路定義網路安全性群組。 例如,您可以設定安全性規則,以允許或拒絕進出不同節點的網路流量。 如果您不需要此層級的安全性,就不需要針對此執行使用個別的子網路。

儲存體

視工作負載的規模而定,資料儲存和存取需求會有很大的差異。 Azure 支援數種方法來管理 HPC 應用程式的速度和容量。 azurehpc GitHub 存放庫包含範例 Azure HPC 指令碼。

以下是石油和天然氣產業中常見的方法。 請選擇最適合您獨特 I/O 和容量需求的解決方案。

  • 針對低級別的工作負載 (例如目前的範例),請考慮在前端節點上執行 NFS、使用具有大型暫時磁碟的儲存體優化 Lsv2 系列 VM,或使用 Azure 進階儲存體的 D 系列 VM (視您的需求而定)。 此解決方案適用於 500 核心或較少的工作負載,每秒最高可達 1.5 GB (GiB/秒) 的輸送量 ,以及最多 19 TB 的 RAM 和 100 TB 的儲存體。

  • 中型到大規模的讀取密集工作負載:請考慮使用 Avere vFXT for Azure (6 至 24 個節點)。 此解決方案適用於最多可達 50000 核心的工作負載、最多 2 GiB/秒的寫入和最多 14 GiB/秒的讀取輸送量、最多 192 TB 的快取,以及最多 2 PB 的檔案伺服器。

  • 平衡或寫入密集的中型工作負載:請考慮針對最多 4,000 個核心的工作負載使用Azure NetApp Files,輸送量最多為 6.5 GiB/秒、儲存體最多 100 TB/磁片區,並將檔案大小最大化為 12 TB。

  • 大規模工作負載:使用協調的平行檔案服務,例如 Lustre 或 BeeGFS。 這種方法最多適用於 50000 個核心,最高可達 50 GiB/秒的讀取/寫入速率,以及 500 TB 的儲存體。 若是更大型的叢集,裸機方法可能更符合成本效益。 例如,Cray ClusterStor 是受管理的 HPC 儲存體解決方案,可彈性地即時支援大型彈性叢集。

部署此案例

在 GitHub 上取得此 OPM Flow 架構的範例執行

後續步驟