Share via


SUSE Linux Enterprise Server 上具有 NFS 的 Azure VM 上的 SAP NetWeaver 高可用性,Azure 檔案儲存體

本文說明如何在 Azure 檔案儲存體 上使用 NFS 部署及設定 VM、安裝叢集架構,以及安裝 HA SAP NetWeaver 系統。 範例組態使用在 SUSE Linux Enterprise Server (SLES) 上執行的 VM。

針對 SLES for SAP Applications 15 的新實作,建議您在簡單的掛接設定中部署 SAP ASCS/ERS 的高可用性。 根據 SAP 中央服務目錄 的叢集控制檔系統,仍支援傳統 Pacemaker 設定。

必要條件

  • Azure 檔案儲存體 檔
  • SAP 附注 1928533,其具有:
    • 部署 SAP 軟體所支援的 Azure VM 大小清單。
    • Azure VM 大小的重要容量資訊。
    • 支援的 SAP 軟體和作業系統 (OS) 和資料庫組合。
    • Microsoft Azure 上 Windows 和 Linux 的必要 SAP 核心版本。
  • SAP 附註 2015553 列出 Azure 中 SAP 支援 SAP 軟體部署的必要條件。
  • SAP 附注 2205917 針對 SUSE Linux Enterprise Server for SAP Applications 建議的 OS 設定。
  • SAP 附注 2178632 有 Azure 中針對 SAP 報告的所有監視計量詳細資訊。
  • SAP 附注 2191498 Azure 中具有適用於 Linux 的必要 SAP 主機代理程式版本。
  • SAP 附注 2243692 有 Azure 中 Linux 上的 SAP 授權相關信息。
  • SAP 附注 1984787 具有 SUSE Linux Enterprise Server 12 的一般資訊。
  • SAP 附注 2578899 有 SUSE Linux Enterprise Server 15 的一般資訊
  • SAP 附注 1999351 有 Azure Enhanced Monitoring Extension for SAP 的其他疑難解答資訊。
  • SAP Community WIKI 具有適用於 Linux 的所有必要 SAP 附注。
  • Azure 虛擬機器 Linux 上的 SAP 規劃和實作。
  • 適用於Linux上SAP的 Azure 虛擬機器 部署。
  • 適用於Linux上SAP的 Azure 虛擬機器 DBMS 部署。
  • SUSE SAP HA 最佳做法指南。 本指南包含設定 Netweaver HA 和 SAP HANA 系統復寫內部部署所需的所有資訊。 使用這些指南作為一般基準。 它們提供更詳細的資訊。
  • SUSE 高可用性擴充功能版本資訊

概觀

若要部署 SAP NetWeaver 應用層,您需要環境中的共享目錄,例如 /sapmnt/SID/usr/sap/trans 。 此外,部署HA SAP系統時,您需要保護並讓和/usr/sap/SID/ASCS/sapmnt/SID高可用性文件系統。

現在您可以將這些文件系統放在 Azure 檔案儲存體 上的 NFS 上。 Azure 檔案儲存體 上的NFS是HA記憶體解決方案。 此解決方案提供同步區域備援記憶體 (ZRS),適用於跨 可用性區域 部署的SAP ASCS/ERS實例。 您仍然需要 Pacemaker 叢集來保護單一失敗點元件,例如 SAP Netweaver 中央服務(ASCS/SCS)。

範例組態和安裝命令會使用下列實例編號:

執行個體名稱 實例編號
ABAP SAP 中央服務 (ASCS) 00
ERS 01
主要應用程式伺服器 (PAS) 02
其他應用程式伺服器 (AAS) 03
SAP 系統識別碼 NW1

SAP NetWeaver High Availability with NFS on Azure Files

下圖顯示典型的 SAP Netweaver HA 架構。 “sapmnt” 和 “saptrans” 文件系統部署在 Azure 檔案儲存體 上的 NFS 共用上。 SAP 中央服務受到 Pacemaker 叢集的保護。 叢集 VM 位於 Azure 負載平衡器後方。 NFS 共用會透過私人端點掛接。

準備基礎結構

SAP 實例的資源代理程式包含在 SUSE Linux Enterprise Server for SAP Applications 中。 Azure Marketplace 提供適用於 SAP 應用程式 12 或 15 的 SUSE Linux Enterprise Server 映射。 您可以使用映像來部署新的 VM。

透過 Azure 入口網站 手動部署Linux VM

本檔假設您已部署資源群組、Azure 虛擬網絡 和子網。

使用 SLES for SAP Applications 映像部署虛擬機。 選擇 SAP 系統支援的適當 SLES 映像版本。 您可以在任一可用性選項中部署 VM - 虛擬機擴展集、可用性區域或可用性設定組。

設定 Azure 負載平衡器

在 VM 設定期間,您可以選擇在網路區段中建立或選取結束的負載平衡器。 請遵循下列步驟來設定標準負載平衡器,以設定SAP ASCS和SCS的高可用性設定。

請遵循建立負載平衡器指南,使用 Azure 入口網站 為高可用性 SAP 系統設定標準負載平衡器。 在設定負載平衡器期間,請考慮下列幾點。

  1. 前端IP組態: 建立兩個前端IP,一個用於ASCS,另一個用於ERS。 選取與您 ASCS/ERS 虛擬機相同的虛擬網路和子網。
  2. 後端集區: 建立後端集區,並新增 ASCS 和 ERS VM。
  3. 輸入規則: 建立兩個負載平衡規則,一個用於 ASCS,另一個用於 ERS。 針對這兩個負載平衡規則,請遵循相同的步驟。
    • 前端IP位址:選取前端IP
    • 後端集區:選取後端集區
    • 檢查「高可用性埠」
    • 通訊協定:TCP
    • 健康情況探查:使用下列詳細數據建立健康情況探查(適用於 ASCS 或 ERS)
      • 通訊協定:TCP
      • 埠:[例如:620<實例否。> 適用於 ASCS,621<實例否。> ERS]
      • 間隔:5
      • 探查臨界值:2
    • 閑置逾時(分鐘):30
    • 檢查 [啟用浮動 IP]

注意

健康情況探查組態屬性 numberOfProbes,否則在入口網站中稱為「狀況不良閾值」,則不會受到尊重。 因此,若要控制連續探查成功或失敗的數目,請將屬性 “probeThreshold” 設定為 2。 目前無法使用 Azure 入口網站 來設定此屬性,因此請使用 Azure CLIPowerShell 命令。

重要

負載平衡案例中的 NIC 次要IP組態不支援浮動IP。 如需詳細資訊,請參閱 Azure Load Balancer 限制。 如果您需要 VM 的其他 IP 位址,請部署第二個 NIC。

注意

當沒有公用IP位址的VM放置在內部(無公用IP位址)標準 Azure 負載平衡器的後端集區時,除非執行其他設定以允許路由傳送至公用端點,否則不會有輸出因特網連線能力。 如需如何達成輸出連線的詳細資訊,請參閱 SAP 高可用性案例中使用 Azure Standard Load Balancer 虛擬機器 的公用端點連線。

重要

  • 請勿在位於 Azure Load Balancer 後方的 Azure VM 上啟用 TCP 時間戳。 啟用 TCP 時間戳記會導致健康狀態探查失敗。 將 net.ipv4.tcp_timestamps 參數設定為 0。 如需詳細資訊,請參閱 Load Balancer健康情況探查。
  • 若要防止 saptune 將手動設定 net.ipv4.tcp_timestamps 的值 0 從 變更回 1,您應該將 saptune 版本更新為 3.1.1 或更高版本。 如需詳細資訊,請參閱 saptune 3.1.1 – 我需要更新嗎?

部署 Azure 檔案儲存體 記憶體帳戶和 NFS 共用

Azure 檔案儲存體 上的 NFS 會在 Azure 檔案儲存體 進階版 記憶體執行。 在 Azure 檔案儲存體 上設定 NFS 之前,請參閱如何建立 NFS 共用

Azure 區域內有兩個選項可供備援:

檢查您選取的 Azure 區域是否在具有適當備援的 Azure 檔案儲存體 上提供 NFS 4.1。 檢閱 Azure 區域在 進階版 Files 儲存體Azure 檔案儲存體 的可用性。 如果您的案例受益於 ZRS,請確認 Azure 區域中支援具有 ZRS 的檔案共用 進階版。

建議您透過 Azure 私人端點存取 Azure 儲存體 帳戶。 請務必在相同的 Azure VNet 或對等互連 Azure VNet 中,部署 Azure 檔案儲存體 記憶體帳戶端點和 VM,而您需要在其中掛接 NFS 共用。

  1. 部署名為sapafsnfs的檔案 儲存體 帳戶。 在此範例中,我們使用 ZRS。 如果您不熟悉此程式,請參閱建立 Azure 入口網站的記憶體帳戶
  2. 在 [ 基本] 索引標籤中 ,使用這些設定:
    1. 針對 儲存體 帳號名稱,輸入 sapafsnfs
    2. 針對 [效能],選取 [進階版]。
    3. 針對 [進階版 帳戶類型],選取 [檔案 儲存體]。
    4. 針對 [ 復寫],選取區域備援 (ZRS)。
  3. 選取 [下一步]。
  4. 在 [進階] 索引標籤中,取消選取 [需要 REST API 作業的安全傳輸]。 如果您未取消選取此選項,就無法將 NFS 共用掛接至 VM。 掛接作業將會逾時。
  5. 選取 [下一步]。
  6. 在 [ 網络] 區 段中,設定下列設定:
    1. 在 [網络連線能力] 下,針對 [連線 ivity 方法],選取 [私人端點]。
    2. 在 [私人端點] 底下,選取 [新增私人端點]。
  7. 在 [ 建立私人端點] 窗格中,選取您的 [訂用帳戶]、 [資源群組] 和 [ 位置]。 對於名稱,輸入 sapafsnfs_pe。 針對 儲存體 子資源,選取 [檔案]。 在 [網络] 底下,針對 [虛擬網络],選取要使用的 VNet 和子網。 同樣地,您可以使用 SAP VM 所在的 VNet 或對等互連的 VNet。 在 [私用 DNS 整合] 底下,接受 [是] 預設選項與私人 DNS 區域整合。 請務必選取您的 私用 DNS 區域。 選取 [確定]。
  8. 再次在 [ 網络] 索引 標籤上,選取 [ 下一步]。
  9. 在 [ 數據保護] 索引標籤上,保留所有預設設定。
  10. 選取 [ 檢閱 + 建立 ] 來驗證您的設定。
  11. 等候驗證完成。 在繼續之前修正任何問題。
  12. [檢閱 + 建立] 索引標籤中,選取 [建立]

接下來,在您所建立的記憶體帳戶中部署 NFS 共用。 在這裡範例中,有兩個 NFS 共用和 sapnw1saptrans

  1. 登入 Azure 入口網站

  2. 選取或搜尋 儲存體 帳戶

  3. [儲存體 帳戶] 頁面上,選取 [sapafsnfs]。

  4. 在 sapafsnfs 的資源功能表上,選取 [數據記憶體] 下的 [檔案分享]。

  5. 在 [ 檔案共享] 頁面上,選取 [ 檔案共享]。

    1. 針對 [ 名稱],輸入 sapnw1saptrans
    2. 選取適當的共用大小。 例如, 128 GB。 請考慮儲存在共用、IOP 和輸送量需求上的資料大小。 如需詳細資訊,請參閱 Azure 檔案共享目標
    3. 選取 [NFS ] 作為通訊協定。
    4. 選取 [無根壁球]。 否則,當您在 VM 上掛接共用時,看不到檔案擁有者或群組。

    重要

    上述共用大小只是一個範例。 請務必適當地調整共用的大小。 大小不僅取決於儲存在共享上的數據大小,也根據 IOPS 和輸送量的需求。 如需詳細資訊,請參閱 Azure 檔案共享目標

    不需要透過 NFS 掛接的 SAP 檔案系統也可以部署在 Azure 磁碟記憶體。 在這裡範例中,您可以在 Azure 磁碟記憶體上部署 /usr/sap/NW1/D02/usr/sap/NW1/D03

Azure 檔案儲存體 共用上的NFS重要考慮

當您在 Azure 檔案儲存體 上使用 NFS 規劃部署時,請考慮下列重點:

  • 最小共用大小為 100 GiB。 您只需支付 已布建共用的容量。
  • 根據您的容量需求,以及 IOPS 和輸送量需求,調整 NFS 共用的大小。 如需詳細資訊,請參閱 Azure 檔案共享目標
  • 測試工作負載以驗證您的重設大小,並確保它符合您的效能目標。 若要瞭解如何針對 Azure 檔案儲存體的效能問題進行疑難解答,請參閱針對 Azure 檔案共用效能進行疑難解答。
  • 針對 SAP J2EE 系統,不支援將 NFS 放在 /usr/sap/<SID>/J<nr> Azure 檔案儲存體 上。
  • 如果您的 SAP 系統有大量批次作業負載,您可能會有數百萬個作業記錄。 如果 SAP 批次作業記錄儲存在檔案系統中,請特別注意共用的大小 sapmnt 調整。 自 SAP_BASIS 7.52 起,批次作業記錄的預設行為會儲存在資料庫中。 如需詳細資訊,請參閱 資料庫中的作業記錄。
  • 為每個 SAP 系統部署個別 sapmnt 的共用。
  • 請勿將 sapmnt 共用用於任何其他活動,例如介面或 saptrans
  • 請勿將 saptrans 共用用於任何其他活動,例如介面或 sapmnt
  • 避免在單一記憶體帳戶中合併太多 SAP 系統的共用。 也有 儲存體 帳戶效能調整目標。 請小心不要超過記憶體帳戶的限制。
  • 一般而言,請勿在單一記憶體帳戶中合併超過5個SAP系統的共用。 此指導方針有助於避免超過記憶體帳戶限制並簡化效能分析。
  • 一般而言,請避免在相同的記憶體帳戶中混合共用,例如 sapmnt 非生產與生產 SAP 系統。
  • 建議您在 SLES 15 SP2 或更新版本上部署,以受益於 NFS 用戶端改善
  • 使用私人端點。 在不太可能發生區域性失敗的情況下,您的 NFS 工作階段會自動重新導向至狀況良好的區域。 您不需要在 VM 上重新掛接 NFS 共用。
  • 如果您要跨 可用性區域 部署 VM,請在支援 ZRS 的 Azure 區域中,搭配使用 儲存體 帳戶搭配 ZRS
  • Azure 檔案儲存體 目前不支援災害復原案例的自動跨區域複寫。

設定 (A)SCS

接下來,您將準備並安裝 SAP ASCS 和 ERS 實例。

建立 Pacemaker 叢集

請遵循在 Azure 中的 SUSE Linux Enterprise Server 上設定 Pacemaker 中的步驟,為 SAP (A)SCS 建立基本的 Pacemaker 叢集。

安裝

下列專案前面 加上 [A] - 適用於所有節點 [ 1] - 僅適用於節點 1 或 [2] - 僅適用於節點 2。

  1. [A] 安裝最新版本的 SUSE 連線 or

    sudo zypper install sap-suse-cluster-connector
    

    注意

    在主機名中使用破折號的已知問題已修正為套件 sap-suse-cluster-connector 3.1.1 版。 如果使用主機名中有虛線的叢集節點,請確定您至少使用套件 sap-suse-cluster-connector 3.1.1 版。 否則,您的叢集將無法運作。

    請確定您已安裝新版的 SAP SUSE 叢集連接器。 舊的稱為sap_suse_cluster_connector,新的稱為 sap-suse-cluster-connector

  2. [A] 更新 SAP 資源代理程式

    需要資源代理程式套件的修補程式,才能使用本文所述的新組態。 您可以使用下列命令來檢查修補程式是否已安裝

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    輸出應該類似

    <parameter name="IS_ERS" unique="0" required="0">;
    

    如果 grep 命令找不到 IS_ERS 參數,您必須安裝 SUSE 下載頁面上所列的修補程式

  3. [A] 設定主機名解析

    您可以使用 DNS 伺服器,或修改所有節點上的 /etc/hosts。 此範例示範如何使用 /etc/hosts 檔案。 在下列命令中取代IP位址和主機名

    sudo vi /etc/hosts
    

    將下列幾行插入 /etc/hosts。 變更IP位址和主機名以符合您的環境

     # IP address of cluster node 1
     10.90.90.7    sap-cl1
     # IP address of cluster node 2
     10.90.90.8     sap-cl2
     # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
     10.90.90.10   sapascs
     # IP address of the load balancer frontend configuration for SAP Netweaver ERS
     10.90.90.9    sapers
    
  4. [1] 在 NFS 共用上建立 SAP 目錄。
    暫時掛接 NFS 共用 sapnw1 其中一個 VM,並建立將用作巢狀裝入點的 SAP 目錄。

    # mount temporarily the volume
    sudo mkdir -p /saptmp
    sudo mount -t nfs sapnfs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
    # create the SAP directories
    sudo cd /saptmp
    sudo mkdir -p sapmntNW1
    sudo mkdir -p usrsapNW1ascs
    sudo mkdir -p usrsapNW1ers
    sudo mkdir -p usrsapNW1sys
    # unmount the volume and delete the temporary directory
    cd ..
    sudo umount /saptmp
    sudo rmdir /saptmp
    

準備 SAP NetWeaver 安裝

  1. [A] 建立共享目錄

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/NW1/SYS
    sudo mkdir -p /usr/sap/NW1/ASCS00
    sudo mkdir -p /usr/sap/NW1/ERS01
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/NW1/SYS
    sudo chattr +i /usr/sap/NW1/ASCS00
    sudo chattr +i /usr/sap/NW1/ERS01
    
  2. [A] 掛接不會由 Pacemaker 叢集控制的文件系統。

    vi /etc/fstab
    # Add the following lines to fstab, save and exit
    sapnfs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1sys/ /usr/sap/NW1/SYS  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    
    # Mount the file systems
    mount -a 
    
  3. [A] 設定 SWAP 檔案

    sudo vi /etc/waagent.conf
    
    # Check if property ResourceDisk.Format is already set to y and if not, set it
    ResourceDisk.Format=y
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    重新啟動代理程式以啟用變更

    sudo service waagent restart
    

安裝 SAP NetWeaver ASCS/ERS

  1. [1] 建立 ASCS 實例的虛擬IP資源和健康情況探查

    重要

    建議您使用屬於套件資源代理程式的 azure-lb 資源代理程式,並符合下列套件版本需求:

    • 針對 SLES 12 SP4/SP5,版本至少必須是 resource-agents-4.3.018.a7fb5035-3.30.1。
    • 針對 SLES 15 和更新版本,版本至少必須是 resource-agents-4.3.0184.6ee15eb2-4.13.1。
    sudo crm node standby sap-cl2
    sudo crm configure primitive fs_NW1_ASCS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1ascs' directory='/usr/sap/NW1/ASCS00' fstype='nfs' options='noresvport,vers=4,minorversion=1,sec=sys' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
      params ip=10.90.90.10 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
      meta resource-stickiness=3000
    

    請確定叢集狀態良好,且所有資源都已啟動。 資源執行所在的節點上並不重要。

    sudo crm_mon -r
    # Node sap-cl2: standby
    # Online: [ sap-cl1 ]
    #
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started sap-cl1
    # Resource Group: g-NW1_ASCS
    #  fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    
    
  2. [1] 安裝 SAP NetWeaver ASCS

    使用虛擬主機名,將 SAP NetWeaver ASCS 安裝為根目錄,以對應至 ASCS 負載平衡器前端設定的 IP 位址,例如 sapascs10.90.90.10,以及您用於探查負載平衡器的實例編號,例如 00。

    您可以使用 sapinst 參數SAPINST_REMOTE_ACCESS_USER來允許非根用戶連線到 sapinst。 您可以使用參數SAPINST_USE_HOSTNAME,使用虛擬主機名來安裝SAP。

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
    

    如果安裝無法在 /usr/sap/NW1/ASCS 00 中建立子資料夾,請嘗試設定 ASCS00 資料夾的擁有者和群組,然後再試一次。

    chown nw1adm /usr/sap/NW1/ASCS00
    chgrp sapsys /usr/sap/NW1/ASCS00
    
  3. [1] 建立 ERS 實例的虛擬IP資源和健康情況探查

    sudo crm node online sap-cl2
    sudo crm node standby sap-cl1
    sudo crm configure primitive fs_NW1_ERS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1ers' directory='/usr/sap/NW1/ERS01' fstype='nfs' options='noresvport,vers=4,minorversion=1,sec=sys' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ERS IPaddr2 \
      params ip=10.90.90.9 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS
    

    請確定叢集狀態良好,且所有資源都已啟動。 資源執行所在的節點上並不重要。

    sudo crm_mon -r
    
    # Node sap-cl1: standby
    # Online: [ sap-cl2 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started sap-cl2
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #  Resource Group: g-NW1_ERS
    #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started sap-cl2 
    #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2
    
  4. [2] 安裝 SAP NetWeaver ERS

    使用虛擬主機名,將 SAP NetWeaver ERS 安裝為根目錄,以對應至 ERS 之負載平衡器前端設定的 IP 位址,例如 sapers10.90.90.9 和 您用於探查負載平衡器的實例編號,例如 01

    您可以使用 sapinst 參數SAPINST_REMOTE_ACCESS_USER來允許非根用戶連線到 sapinst。 您可以使用參數SAPINST_USE_HOSTNAME,使用虛擬主機名來安裝SAP。

    <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    注意

    使用 SWPM SP 20 PL 05 或更高版本。 較低版本未正確設定許可權,安裝將會失敗。

    如果安裝無法在 /usr/sap/NW1/ERS01 中建立子資料夾,請嘗試設定 ERS01 資料夾的擁有者和群組,然後再試一次。

    chown nw1adm /usr/sap/NW1/ERS01
    chgrp sapsys /usr/sap/NW1/ERS01
    
  5. [1] 調整 ASCS/SCS 和 ERS 實例配置檔

    • ASCS/SCS 設定檔
    sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs
    
    # Change the restart command to a start command
    #Restart_Program_01 = local $(_EN) pf=$(_PF)
    Start_Program_01 = local $(_EN) pf=$(_PF)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # Add the keep alive parameter, if using ENSA1
    enque/encni/set_so_keepalive = true
    

    針對 ENSA1 和 ENSA2,請確定 keepalive OS 參數已設定為 SAP 附注 1410736中所述。

    • ERS 配置檔
    sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers
    
    # Change the restart command to a start command
    #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # remove Autostart from ERS profile
    # Autostart = 1
    
  6. [A] 設定保持運作

    SAP NetWeaver 應用程式伺服器與 ASCS/SCS 之間的通訊會透過軟體負載平衡器路由傳送。 負載平衡器在可設定的逾時之後中斷非使用中聯機。 若要避免這種情況,您必須在使用 ENSA1 時,在 SAP NetWeaver ASCS/SCS 設定檔中設定參數。 針對 ENSA1/ENSA2,變更所有 SAP 伺服器上的 Linux 系統 keepalive 設定。 如需詳細資訊,請參閱 SAP 附注1410736。

    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] 安裝之後設定 SAP 使用者

    # Add sidadm to the haclient group
    sudo usermod -aG haclient nw1adm
    
  8. [1] 將 ASCS 和 ERS SAP 服務新增至 sapservice 檔案

    將 ASCS 服務專案新增至第二個節點,並將 ERS 服務專案複製到第一個節點。

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
    sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
    
  9. [1] 建立 SAP 叢集資源

    視您執行 ENSA1 或 ENSA2 系統而定,選取個別索引標籤來定義資源。 SAP 在 SAP NetWeaver 7.52 中引進了 ENSA2 的支援,包括複寫。 從 ABAP Platform 1809 開始,預設會安裝 ENSA2。 如需 ENSA2 支援,請參閱 SAP 附注 2630416

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
      operations \$id=rsc_sap_NW1_ASCS00-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
      AUTOMATIC_RECOVER=false \
      meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
    
    sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
      operations \$id=rsc_sap_NW1_ERS01-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" AUTOMATIC_RECOVER=false IS_ERS=true \
      meta priority=1000
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false
    
    sudo crm_attribute --delete --name priority-fencing-delay
    
    sudo crm node online sap-cl1
    sudo crm configure property maintenance-mode="false"
    

如果您要從舊版升級並切換至加入佇列伺服器 2,請參閱 SAP 附注 2641019

請確定叢集狀態良好,且所有資源都已啟動。 資源執行所在的節點上並不重要。

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

SAP NetWeaver 應用程式伺服器準備

某些資料庫要求在應用程式伺服器上執行資料庫實例安裝。 準備應用程式伺服器虛擬機,以在這些情況下使用它們。

下列步驟假設您在與 ASCS/SCS 和 HANA 伺服器不同的伺服器上安裝應用程式伺服器。 否則,不需要下列某些步驟(例如設定主機名解析)。

下列專案前面加上 [ A] - 適用於 PAS 和 AAS、 [P] - 僅適用於 PAS 或 [S] - 僅適用於 AAS。

  1. [A] 設定作業系統

    縮減已變更的快取大小。 如需詳細資訊,請參閱 SLES 11/12 伺服器上具有大型 RAM 的低寫入效能。

    sudo vi /etc/sysctl.conf
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. [A] 設定主機名解析

    您可以使用 DNS 伺服器,或修改所有節點上的 /etc/hosts。 此範例示範如何使用 /etc/hosts 檔案。 在下列命令中取代IP位址和主機名

    sudo vi /etc/hosts
    

    將下列幾行插入 /etc/hosts。 變更IP位址和主機名以符合您的環境

    10.90.90.7    sap-cl1
    10.90.90.8    sap-cl2
    # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
    10.90.90.10   sapascs
    # IP address of the load balancer frontend configuration for SAP Netweaver ERS
    10.90.90.9    sapers
    10.90.90.12   sapa01
    10.90.90.13   sapa02
    
  3. [A] 建立 sapmnt 目錄

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    
  4. [A] 掛接文件系統

    vi /etc/fstab
    # Add the following lines to fstab, save and exit
    sapnfs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    
    # Mount the file systems
    mount -a 
    
  5. [A] 設定 SWAP 檔案

    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    重新啟動代理程式以啟用變更

    sudo service waagent restart
    

安裝資料庫

在此範例中,SAP NetWeaver 會安裝在 SAP HANA 上。 您可以使用每個支援的資料庫來進行此安裝。 如需如何在 Azure 中安裝 SAP HANA 的詳細資訊,請參閱 Azure 虛擬機器 (VM) 上的 SAP HANA 高可用性。 如需支援的資料庫清單,請參閱 SAP 附注1928533

使用對應至資料庫負載平衡器前端組態 IP 位址的虛擬主機名,將 SAP NetWeaver 資料庫實例安裝為根目錄。
您可以使用 sapinst 參數SAPINST_REMOTE_ACCESS_USER來允許非根用戶連線到 sapinst。

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

SAP NetWeaver 應用程式伺服器安裝

請遵循下列步驟來安裝 SAP 應用程式伺服器。

  1. [A] 準備應用程式伺服器遵循上述 SAP NetWeaver 應用程式伺服器準備一章中的步驟來準備應用程式伺服器。

  2. [A] 安裝 SAP NetWeaver 應用程式伺服器。
    安裝主要或其他 SAP NetWeaver 應用程式伺服器。

    您可以使用 sapinst 參數SAPINST_REMOTE_ACCESS_USER來允許非根用戶連線到 sapinst。

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
    
  3. [A] 更新 SAP HANA 安全存放區

    更新 SAP HANA 安全存放區,以指向 SAP HANA 系統復寫設定的虛擬名稱。

    執行下列命令以列出專案

    hdbuserstore List
    

    命令應該列出所有專案,而且看起來應該類似

    DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
    KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY
    
    KEY DEFAULT 
      ENV : 10.90.90.5:30313
      USER: SAPABAP1
      DATABASE: NW1
    

    在此範例中,預設進入點的IP位址會指向VM,而不是負載平衡器。 將進入變更為指向負載平衡器的虛擬主機名。 請務必使用相同的埠和資料庫名稱。 例如, 30313 範例輸出中的 和 NW1

    su - nw1adm
    hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
    

測試叢集設定

徹底測試 Pacemaker 叢集。 執行一般故障轉移測試

下一步