Red Hat Enterprise Linux for SAP Applications マルチ SID 上の Azure VM での SAP NetWeaver の高可用性ガイドHigh availability for SAP NetWeaver on Azure VMs on Red Hat Enterprise Linux for SAP applications multi-SID guide

この記事では、Red Hat Enterprise Linux for SAP Applications を使用して、Azure VM の 2 ノード クラスターに複数の SAP NetWeaver 高可用性システム (つまりマルチ SID) をデプロイする方法について説明します。This article describes how to deploy multiple SAP NetWeaver highly available systems(that is, multi-SID) in a two node cluster on Azure VMs with Red Hat Enterprise Linux for SAP applications.

この例の構成では (インストール コマンドなど)、3 つの SAP NetWeaver 7.50 システムを、1 つの 2 ノード高可用性クラスターにデプロイします。In the example configurations, installation commands etc. three SAP NetWeaver 7.50 systems are deployed in a single, two node high availability cluster. SAP システムの SID は次のとおりです。The SAP systems SIDs are:

  • NW1: ASCS インスタンス番号 00 および仮想ホスト名 msnw1ascs、ERS インスタンス番号 02 および仮想ホスト名 msnw1ersNW1: ASCS instance number 00 and virtual host name msnw1ascs; ERS instance number 02 and virtual host name msnw1ers.
  • NW2: ASCS インスタンス番号 10 および仮想ホスト名 msnw2ascs、ERS インスタンス番号 12 および仮想ホスト名 msnw2ersNW2: ASCS instance number 10 and virtual hostname msnw2ascs; ERS instance number 12 and virtual host name msnw2ers.
  • NW3: ASCS インスタンス番号 20 および仮想ホスト名 msnw3ascs、ERS インスタンス番号 22 および仮想ホスト名 msnw3ersNW3: ASCS instance number 20 and virtual hostname msnw3ascs; ERS instance number 22 and virtual host name msnw3ers.

この記事では、データベース層および SAP NFS 共有のデプロイについては説明しません。The article doesn't cover the database layer and the deployment of the SAP NFS shares. この記事の例では、NFS 共有に Azure NetApp Files のボリューム sapMSID を使用しますが、このボリュームは既にデプロイされているものとします。In the examples in this article, we are using Azure NetApp Files volume sapMSID for the NFS shares, assuming that the volume is already deployed. また、Azure NetApp Files ボリュームは NFSv3 プロトコルを使用してデプロイされており、SAP システム NW1、NW2、NW3 の ASCS および ERS インスタンスのクラスター リソース用に次のファイル パスが存在するものとします。We are also assuming, that the Azure NetApp Files volume is deployed with NFSv3 protocol and that the following file paths exist for the cluster resources for the ASCS and ERS instances of SAP systems NW1, NW2 and NW3:

  • ボリューム sapMSID (nfs://10.42.0.4/sapmntNW1)volume sapMSID (nfs://10.42.0.4/sapmntNW1)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW1ascs)volume sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW1sys)volume sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW1ers)volume sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • ボリューム sapMSID (nfs://10.42.0.4/sapmntNW2)volume sapMSID (nfs://10.42.0.4/sapmntNW2)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW2ascs)volume sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW2sys)volume sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW2ers)volume sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • ボリューム sapMSID (nfs://10.42.0.4/sapmntNW3)volume sapMSID (nfs://10.42.0.4/sapmntNW3)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW3ascs)volume sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW3sys)volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • ボリューム sapMSID (nfs://10.42.0.4/usrsapNW3ers)volume sapMSID (nfs://10.42.0.4/usrsapNW3ers)

始める前に、次の SAP のノートとホワイトペーパーを参照してください。Before you begin, refer to the following SAP Notes and papers first:

概要Overview

クラスターに参加している仮想マシンは、フェールオーバーが発生したときのために、すべてのリソースを実行できるサイズになっている必要があります。The virtual machines, that participate in the cluster must be sized to be able to run all resources, in case failover occurs. マルチ SID 高可用性クラスターでは、各 SAP SID は、相互に独立してフェールオーバーできます。Each SAP SID can fail over independent from each other in the multi-SID high availability cluster.

高可用性を実現するには、SAP NetWeaver に高可用性の共有が必要です。To achieve high availability, SAP NetWeaver requires highly available shares. このドキュメントでは、Azure NetApp Files の NFS ボリュームにデプロイされる SAP 共有の例を紹介します。In this documentation, we present the examples with the SAP shares deployed on Azure NetApp Files NFS volumes. また、複数の SAP システムで使用できる高可用性の GlusterFS クラスターで共有をホストすることもできます。It is also possible to host the shares on highly available GlusterFS cluster, which can be used by multiple SAP systems.

SAP NetWeaver の高可用性の概要

重要

Azure VM でゲスト オペレーティング システムとして Red Hat Linux を使用する SAP ASCS/ERS のマルチ SID クラスタリングのサポートでは、同じクラスター上の SAP SID は 5 個に制限されています。The support for multi-SID clustering of SAP ASCS/ERS with Red Hat Linux as guest operating system in Azure VMs is limited to five SAP SIDs on the same cluster. 新しい SID が追加されるたびに、複雑さが増します。Each new SID increases the complexity. SAP エンキュー レプリケーション サーバー 1 とエンキュー レプリケーション サーバー 2 を同じクラスター上に配置することは、サポートされていませんA mix of SAP Enqueue Replication Server 1 and Enqueue Replication Server 2 on the same cluster is not supported. マルチ SID クラスタリングとは、1 つの Pacemaker クラスター内での異なる SID を持つ複数の SAP ASCS/ERS インスタンスのインストールを指します。Multi-SID clustering describes the installation of multiple SAP ASCS/ERS instances with different SIDs in one Pacemaker cluster. 現在、マルチ SID クラスタリングは ASCS/ERS に対してのみサポートされています。Currently multi-SID clustering is only supported for ASCS/ERS.

ヒント

SAP ASCS/ERS のマルチ SID クラスタリングは、さらに複雑なソリューションです。The multi-SID clustering of SAP ASCS/ERS is a solution with higher complexity. 実装するのがいっそう複雑になります。It is more complex to implement. また、メンテナンス作業 (OS の修正プログラムの適用など) を行うときの管理労力も増加します。It also involves higher administrative effort, when executing maintenance activities (like OS patching). 実際の実装を始める前に、デプロイと、VM、NFS マウント、VIP、ロード バランサーの構成などの関連するすべてのコンポーネントを、時間をかけて慎重に計画してください。Before you start the actual implementation, take time to carefully plan out the deployment and all involved components like VMs, NFS mounts, VIPs, load balancer configurations and so on.

SAP NetWeaver ASCS、SAP NetWeaver SCS、SAP NetWeaver ERS では、仮想ホスト名と仮想 IP アドレスが使用されます。SAP NetWeaver ASCS, SAP NetWeaver SCS and SAP NetWeaver ERS use virtual hostname and virtual IP addresses. Azure では、仮想 IP アドレスを使用するためにロード バランサーが必要になります。On Azure, a load balancer is required to use a virtual IP address. Standard Load Balancer の使用をお勧めします。We recommend using Standard load balancer.

次の一覧では、3 つの SAP システムから成るこのマルチ SID クラスターの例に対する (A)SCS と ERS ロード バランサーの構成を示します。The following list shows the configuration of the (A)SCS and ERS load balancer for this multi-SID cluster example with three SAP systems. 各 SID の ASCS および ERS インスタンスごとに、個別のフロントエンド IP、正常性プローブ、負荷分散規則が必要になります。You will need separate frontend IP, health probes, and load-balancing rules for each ASCS and ERS instance for each of the SIDs. ASCS/ASCS クラスターの一部であるすべての VM を、単一 ILB の 1 つのバックエンド プールに割り当てます。Assign all VMs, that are part of the ASCS/ASCS cluster to one backend pool of a single ILB.

(A)SCS(A)SCS

  • フロントエンドの構成Frontend configuration

    • NW1 の IP アドレス: 10.3.1.50IP address for NW1: 10.3.1.50
    • NW2 の IP アドレス: 10.3.1.52IP address for NW2: 10.3.1.52
    • NW3 の IP アドレス: 10.3.1.54IP address for NW3: 10.3.1.54
  • プローブ ポートProbe Ports

    • ポート 620 <nr>。したがって、NW1、NW2、NW3 のプローブ ポートの場合は、620 00、620 10、620 20Port 620 <nr>, therefore for NW1, NW2, and NW3 probe ports 620 00, 620 10 and 620 20
  • 負荷分散規則 - インスタンス (つまり、NW1/ASCS、NW2/ASCS、NW3/ASCS) ごとに 1 つ作成します。Load-balancing rules - create one for each instance, that is, NW1/ASCS, NW2/ASCS and NW3/ASCS.

    • Standard Load Balancer を使用する場合は、 [HA ポート] を選択しますIf using Standard Load Balancer, select HA ports
    • Basic Load Balancer を使用する場合は、次のポートの負荷分散規則を作成しますIf using Basic Load Balancer, create Load balancing rules for the following ports
      • 32<nr> TCP32<nr> TCP
      • 36<nr> TCP36<nr> TCP
      • 39<nr> TCP39<nr> TCP
      • 81<nr> TCP81<nr> TCP
      • 5<nr>13 TCP5<nr>13 TCP
      • 5<nr>14 TCP5<nr>14 TCP
      • 5<nr>16 TCP5<nr>16 TCP

ERSERS

  • フロントエンドの構成Frontend configuration

    • NW1 の IP アドレス: 10.3.1.51IP address for NW1 10.3.1.51
    • NW2 の IP アドレス: 10.3.1.53IP address for NW2 10.3.1.53
    • NW3 の IP アドレス: 10.3.1.55IP address for NW3 10.3.1.55
  • プローブ ポートProbe Port

    • ポート 621 <nr>。したがって、NW1、NW2、N3 のプローブ ポートの場合は、621 02、621 12、621 22Port 621 <nr>, therefore for NW1, NW2, and N3 probe ports 621 02, 621 12 and 621 22
  • 負荷分散規則 - インスタンス (つまり、NW1/ERS、NW2/ERS、NW3/ERS) ごとに 1 つ作成します。Load-balancing rules - create one for each instance, that is, NW1/ERS, NW2/ERS and NW3/ERS.

    • Standard Load Balancer を使用する場合は、 [HA ポート] を選択しますIf using Standard Load Balancer, select HA ports
    • Basic Load Balancer を使用する場合は、次のポートの負荷分散規則を作成しますIf using Basic Load Balancer, create Load balancing rules for the following ports
      • 32<nr> TCP32<nr> TCP
      • 33<nr> TCP33<nr> TCP
      • 5<nr>13 TCP5<nr>13 TCP
      • 5<nr>14 TCP5<nr>14 TCP
      • 5<nr>16 TCP5<nr>16 TCP
  • バックエンドの構成Backend configuration

    • (A)SCS/ERS クラスターに含める必要のあるすべての仮想マシンのプライマリ ネットワーク インターフェイスに接続済みConnected to primary network interfaces of all virtual machines that should be part of the (A)SCS/ERS cluster

重要

フローティング IP は、負荷分散シナリオの NIC セカンダリ IP 構成ではサポートされていません。Floating IP is not supported on a NIC secondary IP configuration in load-balancing scenarios. 詳細については、Azure Load Balancer の制限事項に関する記事を参照してください。For details see Azure Load balancer Limitations. VM に追加の IP アドレスが必要な場合は、2 つ目の NIC をデプロイします。If you need additional IP address for the VM, deploy a second NIC.

注意

パブリック IP アドレスのない VM が、内部 (パブリック IP アドレスがない) Standard の Azure Load Balancer のバックエンド プール内に配置されている場合、パブリック エンドポイントへのルーティングを許可するように追加の構成が実行されない限り、送信インターネット接続はありません。When VMs without public IP addresses are placed in the backend pool of internal (no public IP address) Standard Azure load balancer, there will be no outbound internet connectivity, unless additional configuration is performed to allow routing to public end points. 送信接続を実現する方法の詳細については、「SAP の高可用性シナリオにおける Azure Standard Load Balancer を使用した Virtual Machines のパブリック エンドポイント接続」を参照してください。For details on how to achieve outbound connectivity see Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios.

重要

Azure Load Balancer の背後に配置された Azure VM では TCP タイムスタンプを有効にしないでください。Do not enable TCP timestamps on Azure VMs placed behind Azure Load Balancer. TCP タイムスタンプを有効にすると正常性プローブが失敗することになります。Enabling TCP timestamps will cause the health probes to fail. パラメーター net.ipv4.tcp_timestamps0 に設定します。Set parameter net.ipv4.tcp_timestamps to 0. 詳しくは、「Load Balancer の正常性プローブ」を参照してください。For details see Load Balancer health probes.

SAP 共有SAP shares

SAP NetWeaver では、転送、プロファイル ディレクトリなどに対する共有ストレージが必要です。SAP NetWeaver requires shared storage for the transport, profile directory, and so on. 高可用性の SAP システムの場合、高可用性の共有を使用することが重要です。For highly available SAP system, it is important to have highly available shares. SAP 共有のアーキテクチャを決定する必要があります。You will need to decide on the architecture for your SAP shares. 1 つの方法は、Azure NetApp Files NFS ボリュームに共有をデプロイすることです。One option is to deploy the shares on Azure NetApp Files NFS volumes. Azure NetApp Files には、SAP NFS 共有の高可用性が組み込まれています。With Azure NetApp Files, you will get built-in high availability for the SAP NFS shares.

もう 1 つの方法は、Red Hat Enterprise Linux for SAP NetWeaver における Azure VM での GlusterFS を構築して、複数の SAP システム間で共有できるようにすることです。Another option is to build GlusterFS on Azure VMs on Red Hat Enterprise Linux for SAP NetWeaver, which can be shared between multiple SAP systems.

最初の SAP システムをクラスターにデプロイするDeploy the first SAP system in the cluster

SAP 共有のアーキテクチャを決定したので、次に、対応するドキュメントに従って、クラスターに最初の SAP システムをデプロイします。Now that you have decided on the architecture for the SAP shares, deploy the first SAP system in the cluster, following the corresponding documentation.

上記のドキュメントには、必要なインフラストラクチャを準備する、クラスターを構築する、SAP アプリケーションを実行する OS を準備する手順が説明されています。The documents listed above will guide you through the steps to prepare the necessary infrastructure, build the cluster, prepare the OS for running the SAP application.

ヒント

最初のシステムをデプロイした後は、クラスターに別の SAP SID を追加する前に、クラスターのフェールオーバー機能を必ずテストします。Always test the fail over functionality of the cluster, after the first system is deployed, before adding the additional SAP SIDs to the cluster. それにより、クラスターに他の SAP システムを追加して複雑さが増す前に、クラスターの機能が動作することがわかります。That way you will know that the cluster functionality works, before adding the complexity of additional SAP systems to the cluster.

クラスターに他の SAP システムをデプロイするDeploy additional SAP systems in the cluster

この例では、システム NW1 がクラスターに既にデプロイされているものとします。In this example, we assume that system NW1 was already deployed in the cluster. クラスターに SAP システム NW2NW3 をデプロイする方法を示します。We will show how to deploy in the cluster SAP systems NW2 and NW3.

次の各手順の先頭には、 [A] - 全ノードが該当、 [1] - ノード 1 のみ該当、 [2] - ノード 2 のみ該当、のいずれかが付いています。The following items are prefixed with either [A] - applicable to all nodes, [1] - only applicable to node 1 or [2] - only applicable to node 2.

前提条件Prerequisites

重要

手順に従ってクラスターに追加の SAP システムをデプロイする前に、手順に従ってクラスターに最初の SAP システムをデプロイします。最初のシステムをデプロイするときにのみ必要な手順があります。Before following the instructions to deploy additional SAP systems in the cluster, follow the instructions to deploy the first SAP system in the cluster, as there are steps which are only necessary during the first system deployment.

このドキュメントでは次のことを前提としています。This documentation assumes that:

  • Pacemaker クラスターが既に構成され、実行されています。The Pacemaker cluster is already configured and running.
  • 少なくとも 1 つの SAP システム (ASCS/ERS インスタンス) が既にデプロイされており、クラスターで実行されています。At least one SAP system (ASCS / ERS instance) is already deployed and is running in the cluster.
  • クラスターのフェールオーバー機能のテストが完了しています。The cluster failover functionality has been tested.
  • すべての SAP システムの NFS 共有がデプロイされています。The NFS shares for all SAP systems are deployed.

SAP NetWeaver のインストールを準備するPrepare for SAP NetWeaver Installation

  1. Azure portal 経由での手動による Azure Load Balancer のデプロイ」の手順に従って、新しくデプロイされたシステム (つまり、NW2NW3) の構成を、既存の Azure Load Balancer に追加します。Add configuration for the newly deployed system (that is, NW2, NW3) to the existing Azure Load Balancer, following the instructions Deploy Azure Load Balancer manually via Azure portal. 構成の IP アドレス、正常性プローブ ポート、負荷分散規則を調整します。Adjust the IP addresses, health probe ports, load-balancing rules for your configuration.

  2. [A] 追加の SAP システムの名前解決を設定します。[A] Setup name resolution for the additional SAP systems. DNS サーバーを使用するか、すべてのノードで /etc/hosts を変更することができます。You can either use DNS server or modify /etc/hosts on all nodes. この例では、/etc/hosts ファイルを使用する方法を示します。This example shows how to use the /etc/hosts file. IP アドレスとホスト名を環境に合わせて調整します。Adapt the IP addresses and the host names to your environment.

    sudo vi /etc/hosts
    # IP address of the load balancer frontend configuration for NW2 ASCS
    10.3.1.52 msnw2ascs
    # IP address of the load balancer frontend configuration for NW3 ASCS
    10.3.1.54 msnw3ascs
    # IP address of the load balancer frontend configuration for NW2 ERS
    10.3.1.53 msnw2ers
    # IP address of the load balancer frontend configuration for NW3 ERS
    10.3.1.55 msnw3ers
    
  3. [A] クラスターにデプロイする追加の SAP システム NW2 および NW3 用の共有ディレクトリを作成します。[A] Create the shared directories for the additional NW2 and NW3 SAP systems that you are deploying to the cluster.

    sudo mkdir -p /sapmnt/NW2
    sudo mkdir -p /usr/sap/NW2/SYS
    sudo mkdir -p /usr/sap/NW2/ASCS10
    sudo mkdir -p /usr/sap/NW2/ERS12
    sudo mkdir -p /sapmnt/NW3
    sudo mkdir -p /usr/sap/NW3/SYS
    sudo mkdir -p /usr/sap/NW3/ASCS20
    sudo mkdir -p /usr/sap/NW3/ERS22
    
    
    sudo chattr +i /sapmnt/NW2
    sudo chattr +i /usr/sap/NW2/SYS
    sudo chattr +i /usr/sap/NW2/ASCS10
    sudo chattr +i /usr/sap/NW2/ERS12
    sudo chattr +i /sapmnt/NW3
    sudo chattr +i /usr/sap/NW3/SYS
    sudo chattr +i /usr/sap/NW3/ASCS20
    sudo chattr +i /usr/sap/NW3/ERS22
    
  4. [A] クラスターにデプロイする追加の SAP システム用に /sapmnt/SID および /usr/sap/SID/SYS ファイル システムのマウント エントリを追加します。[A] Add the mount entries for the /sapmnt/SID and /usr/sap/SID/SYS file systems for the additional SAP systems that you are deploying to the cluster. この例では、NW2NW3 です。In this example NW2 and NW3.

    クラスターにデプロイする追加の SAP システム用のファイル システムで、ファイル /etc/fstab を更新します。Update file /etc/fstab with the file systems for the additional SAP systems that you are deploying to the cluster.

    • Azure NetApp Files を使用する場合は、こちらの手順に従ってくださいIf using Azure NetApp Files, follow the instructions here
    • GlusterFS クラスターを使用する場合は、こちらの手順に従ってくださいIf using GlusterFS cluster, follow the instructions here

ASCS/ERS をインストールするInstall ASCS / ERS

  1. クラスターにデプロイする追加の SAP システムの ASCS インスタンス用に、仮想 IP と正常性プローブのクラスター リソースを作成します。Create the virtual IP and health probe cluster resources for the ASCS instances of the additional SAP systems you are deploying to the cluster. 以下の例は、Azure NetApp Files ボリューム上の NFS に NFSv3 プロトコルを使用している NW2 および NW3 ASCS を示しています。The example shown here is for NW2 and NW3 ASCS, using NFS on Azure NetApp Files volumes with NFSv3 protocol.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
    directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_ASCS
    
    sudo pcs resource create vip_NW2_ASCS IPaddr2 \
    ip=10.3.1.52 cidr_netmask=24 \
     --group g-NW2_ASCS
    
    sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
     --group g-NW2_ASCS
    
    sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
    directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
    --group g-NW3_ASCS
    
    sudo pcs resource create vip_NW3_ASCS IPaddr2 \
    ip=10.3.1.54 cidr_netmask=24 \
    --group g-NW3_ASCS
    
    sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
    --group g-NW3_ASCS
    

    クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。Make sure the cluster status is ok and that all resources are started. リソースがどのノードで実行されているかは重要ではありません。It is not important on which node the resources are running.

  2. [1] SAP NetWeaver ASCS をインストールします[1] Install SAP NetWeaver ASCS

    root として SAP NetWeaver ASCS をインストールします。そのとき、ASCS に対するロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。Install SAP NetWeaver ASCS as root, using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ASCS. たとえば、システム NW2 の場合、仮想ホスト名は msnw2ascs10.3.1.52、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 10) になります。For example, for system NW2, the virtual hostname is msnw2ascs, 10.3.1.52 and the instance number that you used for the probe of the load balancer, for example 10. システム NW3 の場合、仮想ホスト名は msnw3ascs10.3.1.54、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 20) になります。For system NW3, the virtual hostname is msnw3ascs, 10.3.1.54 and the instance number that you used for the probe of the load balancer, for example 20. SAP SID ごとに ASCS をインストールしたクラスター ノードを書き留めておきます。Note down on which cluster node you installed ASCS for each SAP SID.

    sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst. 仮想ホスト名を使用して SAP をインストールするには、パラメーター SAPINST_USE_HOSTNAME を使用します。You can use parameter SAPINST_USE_HOSTNAME to install SAP, using virtual host name.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    インストールで /usr/sap/SID/ASCS Instance# へのサブフォルダーの作成が失敗する場合は、所有者を sid adm に設定し、グループを ASCS Instance# の sapsys に設定して、もう一度試してください。If the installation fails to create a subfolder in /usr/sap/SID/ASCS Instance#, try setting the owner to sid adm and group to sapsys of the ASCS Instance# and retry.

  3. [1] クラスターにデプロイする追加の SAP システムの ERS インスタンス用に、仮想 IP と正常性プローブのクラスター リソースを作成します。[1] Create a virtual IP and health-probe cluster resources for the ERS instance of the additional SAP system you are deploying to the cluster. 以下の例は、Azure NetApp Files ボリューム上の NFS に NFSv3 プロトコルを使用している NW2 および NW3 ERS を示しています。The example shown here is for NW2 and NW3 ERS, using NFS on Azure NetApp Files volumes with NFSv3 protocol.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
    directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_AERS
    
    sudo pcs resource create vip_NW2_AERS IPaddr2 \
    ip=10.3.1.53 cidr_netmask=24 \
     --group g-NW2_AERS
    
    sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
     --group g-NW2_AERS
    
    sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
    directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW3_AERS
    
    sudo pcs resource create vip_NW3_AERS IPaddr2 \
    ip=10.3.1.55 cidr_netmask=24 \
     --group g-NW3_AERS
    
    sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
     --group g-NW3_AERS
    

    クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。Make sure the cluster status is ok and that all resources are started.

    次に、新しく作成した ERS グループのリソースが、同じ SAP システムの ASCS インスタンスをインストールしたクラスター ノードとは逆のクラスター ノードで実行されていることを確認します。Next, make sure that the resources of the newly created ERS group, are running on the cluster node, opposite to the cluster node where the ASCS instance for the same SAP system was installed. たとえば、NW2 ASCS が rhelmsscl1 にインストールされている場合は、NW2 ERS グループが rhelmsscl2 で実行されていることを確認します。For example, if NW2 ASCS was installed on rhelmsscl1, then make sure the NW2 ERS group is running on rhelmsscl2. グループ内のいずれかのクラスター リソースに対して次のコマンドを実行して、NW2 ERS グループを rhelmsscl2 に移行できます。You can migrate the NW2 ERS group to rhelmsscl2 by running the following command for one of the cluster resources in the group:

      pcs resource move fs_NW2_AERS rhelmsscl2
    
  4. [2] SAP NetWeaver ERS をインストールします[2] Install SAP NetWeaver ERS

    root として SAP NetWeaver ERS を他のノードにインストールします。そのとき、ERS に対するロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。Install SAP NetWeaver ERS as root on the other node, using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ERS. たとえば、システム NW2 の場合、仮想ホスト名は msnw2ers10.3.1.53、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 12) になります。For example for system NW2, the virtual host name will be msnw2ers, 10.3.1.53 and the instance number that you used for the probe of the load balancer, for example 12. システム NW3 の場合は、仮想ホスト名は msnw3ers10.3.1.55、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 22) になります。For system NW3, the virtual host name msnw3ers, 10.3.1.55 and the instance number that you used for the probe of the load balancer, for example 22.

    sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst. 仮想ホスト名を使用して SAP をインストールするには、パラメーター SAPINST_USE_HOSTNAME を使用します。You can use parameter SAPINST_USE_HOSTNAME to install SAP, using virtual host name.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    注意

    SWPM SP 20 PL 05 以降を使用します。Use SWPM SP 20 PL 05 or higher. これより下位のバージョンではアクセス許可が正しく設定されないため、インストールが失敗します。Lower versions do not set the permissions correctly and the installation will fail.

    インストールで /usr/sap/NW2/ERS Instance# へのサブフォルダーの作成が失敗する場合は、所有者を sid adm に設定し、グループを ERS Instance# フォルダーの sapsys に設定して、もう一度試してください。If the installation fails to create a subfolder in /usr/sap/NW2/ERS Instance#, try setting the owner to sid adm and the group to sapsys of the ERS Instance# folder and retry.

    新しくデプロイした SAP システムの ERS グループを別のクラスター ノードに移行する必要があった場合は、ERS グループに対する場所の制約を忘れずに削除してください。If it was necessary for you to migrate the ERS group of the newly deployed SAP system to a different cluster node, don't forget to remove the location constraint for the ERS group. 制約を削除するには、次のコマンドを実行します (この例は、SAP システム NW2NW3 に対するものです)。You can remove the constraint by running the following command (the example is given for SAP systems NW2 and NW3). 必ず、ERS クラスター グループを移動するコマンドで使用したのと同じリソースの一時的な制約を削除してください。Make sure to remove the temporary constraints for the same resource you used in the command to move the ERS cluster group.

      pcs resource clear fs_NW2_AERS
      pcs resource clear fs_NW3_AERS
    
  5. [1] 新しくインストールした SAP システムの ASCS/SCS および ERS インスタンスのプロファイルを調整します。[1] Adapt the ASCS/SCS and ERS instance profiles for the newly installed SAP system(s). NW2 の例を次に示します。The example shown below is for NW2. クラスターに追加したすべての SAP インスタンスの ASCS/SCS および ERS のプロファイルを調整する必要があります。You will need to adapt the ASCS/SCS and ERS profiles for all SAP instances added to the cluster.

    • ASCS/SCS プロファイルASCS/SCS profile

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      ENSA1 と ENSA2 の両方について、keepalive OS パラメーターが SAP ノート 1410736 の説明に従って設定されていることを確認します。For both ENSA1 and ENSA2, make sure that the keepalive OS parameters are set as described in SAP note 1410736.

    • ERS プロファイルERS profile

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] /usr/sap/sapservices ファイルを更新します[A] Update the /usr/sap/sapservices file

    sapinit スタートアップ スクリプトによってインスタンスが開始されないようにするには、Pacemaker によって管理されているすべてのインスタンスを /usr/sap/sapservices ファイルからコメント アウトする必要があります。To prevent the start of the instances by the sapinit startup script, all instances managed by Pacemaker must be commented out from /usr/sap/sapservices file. 次に示す例は、SAP システム NW2NW3 に対するものです。The example shown below is for SAP systems NW2 and NW3.

     # On the node where ASCS was installed, comment out the line for the ASCS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
    
     # On the node where ERS was installed, comment out the line for the ERS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
    
  7. [1] 新しくインストールした SAP システム用の SAP クラスター リソースを作成します。[1] Create the SAP cluster resources for the newly installed SAP system.

    エンキュー サーバー 1 アーキテクチャ (ENSA1) を使用する場合は、次のように、SAP systems NW2NW3 のリソースを定義します。If using enqueue server 1 architecture (ENSA1), define the resources for SAP systems NW2 and NW3 as follows:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
    sudo pcs constraint order g-NW2_ASCS then g-NW2_AERS kind=Optional symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
    sudo pcs constraint order g-NW3_ASCS then g-NW3_AERS kind=Optional symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    SAP では、SAP NW 7.52 の時点で、レプリケーションを含むエンキュー サーバー 2 のサポートが導入されました。SAP introduced support for enqueue server 2, including replication, as of SAP NW 7.52. ABAP Platform 1809 以降では、エンキュー サーバー 2 が既定でインストールされます。Starting with ABAP Platform 1809, enqueue server 2 is installed by default. エンキュー サーバー 2 のサポートについては、SAP Note 2630416 を参照してください。See SAP note 2630416 for enqueue server 2 support. エンキュー サーバー 2 アーキテクチャ (ENSA2) を使用する場合は、次のように、SAP systems NW2NW3 のリソースを定義します。If using enqueue server 2 architecture (ENSA2), define the resources for SAP systems NW2 and NW3 as follows:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint order g-NW2_ASCS then g-NW2_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint order g-NW3_ASCS then g-NW3_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    以前のバージョンからアップグレードし、エンキュー サーバー 2 に切り替えている場合は、SAP Note 2641019 を参照してください。If you are upgrading from an older version and switching to enqueue server 2, see SAP note 2641019.

    注意

    上記のタイムアウト構成はほんの一例であり、特定の SAP 設定では調整する必要がある場合があります。The timeouts in the above configuration are just examples and may need to be adapted to the specific SAP setup.

    クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。Make sure that the cluster status is ok and that all resources are started. リソースがどのノードで実行されているかは重要ではありません。It is not important on which node the resources are running. 次の例では、SAP システム NW2NW3 をクラスターに追加した後の、クラスター リソースの状態を示します。The following example shows the cluster resources status, after SAP systems NW2 and NW3 were added to the cluster.

     sudo pcs status
    
    Online: [ rhelmsscl1 rhelmsscl2 ]
    
    Full list of resources:
    
    rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
    Resource Group: g-NW1_ASCS
        fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW1_AERS
        fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
        vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
        nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
        rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    Resource Group: g-NW2_ASCS
        fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW2_AERS
        fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_ASCS
        fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_AERS
        fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    
  8. [A] ASCS および ERS に対するファイアウォール規則を両方のノード上に追加します。[A] Add firewall rules for ASCS and ERS on both nodes. 次の例は、SAP システム NW2NW3 の両方に対するファイアウォール規則を示しています。The example below shows the firewall rules for both SAP systems NW2 and NW3.

     # NW2 - ASCS
     sudo firewall-cmd --zone=public --add-port=62010/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62010/tcp
     sudo firewall-cmd --zone=public --add-port=3210/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3210/tcp
     sudo firewall-cmd --zone=public --add-port=3610/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3610/tcp
     sudo firewall-cmd --zone=public --add-port=3910/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3910/tcp
     sudo firewall-cmd --zone=public --add-port=8110/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8110/tcp
     sudo firewall-cmd --zone=public --add-port=51013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51013/tcp
     sudo firewall-cmd --zone=public --add-port=51014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51014/tcp
     sudo firewall-cmd --zone=public --add-port=51016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51016/tcp
     # NW2 - ERS
     sudo firewall-cmd --zone=public --add-port=62112/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62112/tcp
     sudo firewall-cmd --zone=public --add-port=3212/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3212/tcp
     sudo firewall-cmd --zone=public --add-port=3312/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3312/tcp
     sudo firewall-cmd --zone=public --add-port=51213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51213/tcp
     sudo firewall-cmd --zone=public --add-port=51214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51214/tcp
     sudo firewall-cmd --zone=public --add-port=51216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51216/tcp
     # NW3 - ASCS
     sudo firewall-cmd --zone=public --add-port=62020/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62020/tcp
     sudo firewall-cmd --zone=public --add-port=3220/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3220/tcp
     sudo firewall-cmd --zone=public --add-port=3620/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3620/tcp
     sudo firewall-cmd --zone=public --add-port=3920/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3920/tcp
     sudo firewall-cmd --zone=public --add-port=8120/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8120/tcp
     sudo firewall-cmd --zone=public --add-port=52013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52013/tcp
     sudo firewall-cmd --zone=public --add-port=52014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52014/tcp
     sudo firewall-cmd --zone=public --add-port=52016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52016/tcp
     # NW3 - ERS
     sudo firewall-cmd --zone=public --add-port=62122/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62122/tcp
     sudo firewall-cmd --zone=public --add-port=3222/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3222/tcp
     sudo firewall-cmd --zone=public --add-port=3322/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3322/tcp
     sudo firewall-cmd --zone=public --add-port=52213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52213/tcp
     sudo firewall-cmd --zone=public --add-port=52214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52214/tcp
     sudo firewall-cmd --zone=public --add-port=52216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52216/tcp
    

SAP のインストールを続けるProceed with the SAP installation

次のようにして、SAP のインストールを完了します。Complete your SAP installation by:

マルチ SID クラスターのセットアップをテストするTest the multi-SID cluster setup

次のテストは、Red Hat のベスト プラクティス ガイドに記載されているテスト ケースのサブセットです。The following tests are a subset of the test cases in the best practices guides of Red Hat. 作業を容易にするためにここに含めてあります。They are included for your convenience. クラスター テストの完全な一覧については、次のドキュメントを参照してください。For the full list of cluster tests, reference the following documentation:

常に Red Hat のベスト プラクティス ガイドを読み、追加されている可能性があるすべての追加テストを実行してください。Always read the Red Hat best practices guides and perform all additional tests that might have been added.
示されているテストは、3 つの SAP システムがインストールされた、2 ノードのマルチ SID クラスターでのものです。The tests that are presented are in a two node, multi-SID cluster with three SAP systems installed.

  1. ASCS インスタンスを手動で移行します。Manually migrate the ASCS instance. この例では、SAP システム NW3 の ASCS インスタンスの移行を示します。The example shows migrating the ASCS instance for SAP system NW3.

    テスト開始前のリソースの状態:Resource state before starting the test:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    次のコマンドを root として実行して、NW3 ASCS インスタンスを移行します。Run the following commands as root to migrate the NW3 ASCS instance.

     pcs resource move rsc_sap_NW3_ASCS200
     # Clear temporary migration constraints
     pcs resource clear rsc_sap_NW3_ASCS20
    
     # Remove failed actions for the ERS that occurred as part of the migration
     pcs resource cleanup rsc_sap_NW3_ERS22
    

    テスト後のリソースの状態:Resource state after the test:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    
  2. ノードのクラッシュをシミュレートするSimulate node crash

    テスト開始前のリソースの状態:Resource state before starting the test:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    

    少なくとも 1 つの ASCS インスタンスが実行されているノードで、次のコマンドを root として実行します。Run the following command as root on a node, where at least one ASCS instance is running. この例では、NW1、NW2、NW3 の ASCS インスタンスが実行されている rhelmsscl1 でコマンドを実行しました。In this example, we executed the command on rhelmsscl1, where the ASCS instances for NW1, NW2 and NW3 are running.

    echo c > /proc/sysrq-trigger
    

    テストの後、クラッシュしたノードが再び開始された後の状態は、次のようになります。The status after the test, and after the node, that was crashed has started again, should look like this.

     Full list of resources:
    
     rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    失敗したリソースに関するメッセージがある場合は、失敗したリソースの状態をクリーンアップします。If there are messages for failed resources, clean the status of the failed resources. 次に例を示します。For example:

    pcs resource cleanup rsc_sap_NW1_ERS02
    

次のステップNext steps