SAP アプリケーション用の Azure NetApp Files を使用した Red Hat Enterprise Linux 上の SAP NetWeaver 用の Azure Virtual Machines の高可用性Azure Virtual Machines high availability for SAP NetWeaver on Red Hat Enterprise Linux with Azure NetApp Files for SAP applications

• 01/11/2021
• • r
  • o

この記事では、Azure NetApp Files を使用して、仮想マシンのデプロイと構成、クラスター フレームワークのインストール、および高可用性 SAP NetWeaver 7.50 システムのインストールを行う方法について説明します。This article describes how to deploy the virtual machines, configure the virtual machines, install the cluster framework, and install a highly available SAP NetWeaver 7.50 system, using Azure NetApp Files. この例の構成やインストール コマンドなどでは、ASCS インスタンスの番号は 00、ERS インスタンスの番号は 01、プライマリ アプリケーション インスタンス (PAS) の番号は 02、アプリケーション インスタンス (AAS) の番号は 03 です。In the example configurations, installation commands etc. ASCS instance is number 00, the ERS instance is number 01, Primary Application instance (PAS) is 02 and the Application instance (AAS) is 03. SAP システム ID QAS が使用されます。SAP System ID QAS is used.

データベース レイヤーについては、詳しくは説明していません。The database layer isn't covered in detail in this article.

はじめに、次の SAP Note およびガイドを確認してくださいRead the following SAP Notes and papers first:

• Azure NetApp Files のドキュメントAzure NetApp Files documentation

• SAP Note 1928533: 次の情報が含まれています。SAP Note 1928533, which has:

  • SAP ソフトウェアのデプロイでサポートされる Azure VM サイズの一覧List of Azure VM sizes that are supported for the deployment of SAP software
  • Azure VM サイズの容量に関する重要な情報Important capacity information for Azure VM sizes
  • サポートされる SAP ソフトウェア、およびオペレーティング システム (OS) とデータベースの組み合わせSupported SAP software, and operating system (OS) and database combinations
  • Microsoft Azure 上の Windows と Linux に必要な SAP カーネル バージョンRequired SAP kernel version for Windows and Linux on Microsoft Azure

• SAP Note 2015553: SAP でサポートされる Azure 上の SAP ソフトウェア デプロイの前提条件が記載されています。SAP Note 2015553 lists prerequisites for SAP-supported SAP software deployments in Azure.

• SAP Note 2002167 では、Red Hat Enterprise Linux 用の OS 設定が推奨されていますSAP Note 2002167 has recommended OS settings for Red Hat Enterprise Linux

• SAP Note 2009879 には、Red Hat Enterprise Linux 用の SAP HANA ガイドラインが記載されていますSAP Note 2009879 has SAP HANA Guidelines for Red Hat Enterprise Linux

• SAP Note 2178632: Azure 上の SAP について報告されるすべての監視メトリックに関する詳細情報が記載されています。SAP Note 2178632 has detailed information about all monitoring metrics reported for SAP in Azure.

• SAP Note 2191498: Azure 上の Linux に必要な SAP Host Agent のバージョンが記載されています。SAP Note 2191498 has the required SAP Host Agent version for Linux in Azure.

• SAP Note 2243692: Azure 上の Linux で動作する SAP のライセンスに関する情報が記載されています。SAP Note 2243692 has information about SAP licensing on Linux in Azure.

• SAP Note 1999351: Azure Enhanced Monitoring Extension for SAP に関するその他のトラブルシューティング情報が記載されています。SAP Note 1999351 has additional troubleshooting information for the Azure Enhanced Monitoring Extension for SAP.

• SAP Community WIKI: Linux に必要なすべての SAP Note を参照できます。SAP Community WIKI has all required SAP Notes for Linux.

• Linux 上の SAP のための Azure Virtual Machines の計画と実装Azure Virtual Machines planning and implementation for SAP on Linux

• Linux 上の SAP のための Azure Virtual Machines のデプロイAzure Virtual Machines deployment for SAP on Linux

• Linux 上の SAP のための Azure Virtual Machines DBMS のデプロイAzure Virtual Machines DBMS deployment for SAP on Linux

• Pacemaker クラスターでの SAP NetweaverSAP Netweaver in pacemaker cluster

• 一般的な RHEL ドキュメントGeneral RHEL documentation

  • 高可用性アドオンの概要High Availability Add-On Overview
  • 高可用性アドオンの管理High Availability Add-On Administration
  • 高可用性アドオンの参照High Availability Add-On Reference
  • RHEL 7.5 内でスタンドアロン リソースを使用して SAP Netweaver のために ASCS/ERS を構成するConfiguring ASCS/ERS for SAP Netweaver with standalone resources in RHEL 7.5
  • RHEL 上の Pacemaker で SAP S/4HANA ASCS/ERS と Standalone Enqueue Server 2 (ENSA2) を構成するConfigure SAP S/4HANA ASCS/ERS with Standalone Enqueue Server 2 (ENSA2) in Pacemaker on RHEL

• Azure 固有の RHEL ドキュメント:Azure-specific RHEL documentation:

  • RHEL 高可用性クラスターに関するポリシーをサポート - クラスター メンバーとしての Microsoft Azure Virtual MachinesSupport Policies for RHEL High Availability Clusters - Microsoft Azure Virtual Machines as Cluster Members
  • Microsoft Azure 上で Red Hat Enterprise Linux 7.4 (およびそれ以降) の高可用性クラスターをインストールして構成するInstalling and Configuring a Red Hat Enterprise Linux 7.4 (and later) High-Availability Cluster on Microsoft Azure

• Azure NetApp Files を使用した Microsoft Azure 上の NetApp SAP アプリケーションNetApp SAP Applications on Microsoft Azure using Azure NetApp Files

概要Overview

SAP Netweaver セントラル サービスの高可用性 (HA) を実現するには、共有ストレージが必要です。High availability(HA) for SAP Netweaver central services requires shared storage. 従来、Red Hat Linux 上でこれを実現するには、高可用性 GlusterFS クラスターを別途構築する必要がありました。To achieve that on Red Hat Linux so far it was necessary to build separate highly available GlusterFS cluster.

現在は、Azure NetApp Files 上にデプロイした共有ストレージを使用して、SAP Netweaver HA を実現できるようになりました。Now it is possible to achieve SAP Netweaver HA by using shared storage, deployed on Azure NetApp Files. Azure NetApp Files を共有ストレージに使用すると、追加の GlusterFS クラスターは必要なくなります。Using Azure NetApp Files for the shared storage eliminates the need for additional GlusterFS cluster. SAP Netweaver セントラル サービス (ASCS/SCS) の HA を実現するには、依然として Pacemaker が必要です。Pacemaker is still needed for HA of the SAP Netweaver central services(ASCS/SCS).

SAP NetWeaver ASCS、SAP NetWeaver SCS、SAP NetWeaver ERS、SAP HANA データベースでは、仮想ホスト名と仮想 IP アドレスが使用されます。SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, and the SAP HANA database use virtual hostname and virtual IP addresses. Azure では、仮想 IP アドレスを使用するためにロード バランサーが必要になります。On Azure, a load balancer is required to use a virtual IP address. Standard Load Balancer の使用をお勧めします。We recommend using Standard load balancer. (A)SCS と ERS に別々のフロントエンド IP を使用したロード バランサーの構成を次に示します。The following list shows the configuration of the load balancer with separate front-end IPs for (A)SCS and ERS.

(A)SCS(A)SCS

• フロントエンドの構成Frontend configuration
  • IP アドレス 192.168.14.9IP address 192.168.14.9
• プローブ ポートProbe Port
  • ポート 620<nr>Port 620<nr>
• 負荷分散規則Load-balancing rules
  • Standard Load Balancer を使用する場合は、 [HA ポート] を選択しますIf using Standard Load Balancer, select HA ports
  • 32<nr> TCP32<nr> TCP
  • 36<nr> TCP36<nr> TCP
  • 39<nr> TCP39<nr> TCP
  • 81<nr> TCP81<nr> TCP
  • 5<nr>13 TCP5<nr>13 TCP
  • 5<nr>14 TCP5<nr>14 TCP
  • 5<nr>16 TCP5<nr>16 TCP

ERSERS

• フロントエンドの構成Frontend configuration

  • IP アドレス 192.168.14.10IP address 192.168.14.10

• プローブ ポートProbe Port

  • ポート 621<nr>Port 621<nr>

• 負荷分散規則Load-balancing rules

  • Standard Load Balancer を使用する場合は、 [HA ポート] を選択しますIf using Standard Load Balancer, select HA ports
  • 32<nr> TCP32<nr> TCP
  • 33<nr> TCP33<nr> TCP
  • 5<nr>13 TCP5<nr>13 TCP
  • 5<nr>14 TCP5<nr>14 TCP
  • 5<nr>16 TCP5<nr>16 TCP

• バックエンドの構成Backend configuration

  • (A)SCS/ERS クラスターに含める必要のあるすべての仮想マシンのプライマリ ネットワーク インターフェイスに接続済みConnected to primary network interfaces of all virtual machines that should be part of the (A)SCS/ERS cluster

Azure NetApp Files インフラストラクチャの設定Setting up the Azure NetApp Files infrastructure

SAP NetWeaver では、転送とプロファイル ディレクトリ用の共有ストレージが必要です。SAP NetWeaver requires shared storage for the transport and profile directory. Azure NetApp Files インフラストラクチャの設定を続行する前に、「Azure NetApp Files のドキュメント」の内容をよく理解しておいてください。Before proceeding with the setup for Azure NetApp files infrastructure, familiarize yourself with the Azure NetApp Files documentation. 選択した Azure リージョンで、Azure NetApp Files が利用できるかどうかを確認します。Check if your selected Azure region offers Azure NetApp Files. Azure リージョン別に Azure NetApp Files が利用可能かどうかを確認するには、Azure リージョン別の Azure NetApp Files の利用可能性に関するページを参照してください。The following link shows the availability of Azure NetApp Files by Azure region: Azure NetApp Files Availability by Azure Region.

Azure NetApp Files はいくつかの Azure リージョンで利用できます。Azure NetApp files are available in several Azure regions. Azure NetApp Files をデプロイする前に、「Azure NetApp Files に登録する」の手順に従って、Azure NetApp Files へのオンボードを要求してください。Before deploying Azure NetApp Files, request onboarding to Azure NetApp Files, following the Register for Azure NetApp files instructions.

Azure NetApp Files リソースのデプロイDeploy Azure NetApp Files resources

以下の手順では、Azure Virtual Network が既にインストールされていることを前提としています。The steps assume that you have already deployed Azure Virtual Network. Azure NetApp Files のリソースと、そのリソースがマウントされる VM は、同じ Azure Virtual Network 内またはピアリングされた Azure Virtual Network 内にデプロイする必要があります。The Azure NetApp Files resources and the VMs, where the Azure NetApp Files resources will be mounted must be deployed in the same Azure Virtual Network or in peered Azure Virtual Networks.

1. まだそのようになっていない場合は、Azure NetApp Files へのオンボードを要求してください。If you haven't done that already, request onboarding to Azure NetApp Files.

2. NetApp アカウントの作成手順に関するページに従って、選択した Azure リージョン内で NetApp アカウントを作成します。Create the NetApp account in the selected Azure region, following the instructions to create NetApp Account.

3. Azure NetApp Files の容量プールの設定手順に関するページに従って、Azure NetApp Files の容量プールを設定します。Set up Azure NetApp Files capacity pool, following the instructions on how to set up Azure NetApp Files capacity pool.
   この記事で示されている SAP Netweaver アーキテクチャでは、1 つの Azure NetApp Files の容量プール、Premium SKU が使用されています。The SAP Netweaver architecture presented in this article uses single Azure NetApp Files capacity pool, Premium SKU. Azure 上の SAP Netweaver アプリケーション ワークロード用には、Azure NetApp Files Premium SKU をお勧めします。We recommend Azure NetApp Files Premium SKU for SAP Netweaver application workload on Azure.

4. Azure NetApp Files へのサブネットの委任手順に関するページの説明に従って、サブネットを Azure NetApp Files に委任します。Delegate a subnet to Azure NetApp files as described in the instructions Delegate a subnet to Azure NetApp Files.

5. Azure NetApp Files 用のボリュームの作成手順に関するページに従って、Azure NetApp Files のボリュームをデプロイします。Deploy Azure NetApp Files volumes, following the instructions to create a volume for Azure NetApp Files. 指定された Azure NetApp Files のサブネット内にボリュームをデプロイします。Deploy the volumes in the designated Azure NetApp Files subnet. Azure NetApp ボリュームの IP アドレスは、自動的に割り当てられます。The IP addresses of the Azure NetApp volumes are assigned automatically. Azure NetApp Files のリソースと Azure VM は、同じ Azure Virtual Network 内またはピアリングされた Azure Virtual Network 内に配置する必要があることに注意してください。Keep in mind that the Azure NetApp Files resources and the Azure VMs must be in the same Azure Virtual Network or in peered Azure Virtual Networks. この例では、sapQAS と transSAP という、2 つの Azure NetApp Files ボリュームを使用します。In this example we use two Azure NetApp Files volumes: sapQAS and transSAP. 対応するマウント ポイントにマウントされるファイル パスは、/usrsapqas/sapmntQAS、/usrsapqas/usrsapQASsys のようになります。The file paths that are mounted to the corresponding mount points are /usrsapqas/sapmntQAS, /usrsapqas/usrsapQASsys, etc.

   1. ボリューム sapQAS (nfs://192.168.24.5/usrsapqas/sapmntQAS)volume sapQAS (nfs://192.168.24.5/usrsapqas/sapmntQAS)
   2. ボリューム sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASascs)volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASascs)
   3. ボリューム sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASsys)volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASsys)
   4. ボリューム sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASers)volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASers)
   5. ボリューム transSAP (nfs://192.168.24.4/transSAP)volume transSAP (nfs://192.168.24.4/transSAP)
   6. ボリューム sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASpas)volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASpas)
   7. ボリューム sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASaas)volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASaas)

この例では、すべての SAP Netweaver ファイル システム用に Azure NetApp Files を使用して、Azure NetApp Files の使用方法を説明しました。In this example, we used Azure NetApp Files for all SAP Netweaver file systems to demonstrate how Azure NetApp Files can be used. NFS 経由でマウントする必要がない SAP ファイル システムを Azure ディスク ストレージとしてデプロイすることもできます。The SAP file systems that don't need to be mounted via NFS can also be deployed as Azure disk storage . この例の場合、a-e は、Azure NetApp Files 上に配置する必要があります。f-g (/usr/sap/QAS/D02、/usr/sap/QAS/D03) は、Azure ディスク ストレージとしてデプロイできます。In this example a-e must be on Azure NetApp Files and f-g (that is, /usr/sap/QAS/D02, /usr/sap/QAS/D03) could be deployed as Azure disk storage.

重要な考慮事項Important considerations

SUSE High Availability アーキテクチャ上で SAP Netweaver 用に Azure NetApp Files を検討するときは、以下の重要な考慮事項に注意してください。When considering Azure NetApp Files for the SAP Netweaver on SUSE High Availability architecture, be aware of the following important considerations:

• 最小容量プールは 4 TiB です。The minimum capacity pool is 4 TiB. 容量プールのサイズは、1 TiB 単位で増やすことができます。The capacity pool size can be increased in 1 TiB increments.
• 最小ボリュームは 100 GiB です。The minimum volume is 100 GiB
• Azure NetApp Files と、Azure NetApp Files のボリュームがマウントされるすべての仮想マシンは、同じ Azure 仮想ネットワーク内、または同じリージョン内のピアリングされた仮想ネットワーク内に存在する必要があります。Azure NetApp Files and all virtual machines, where Azure NetApp Files volumes will be mounted, must be in the same Azure Virtual Network or in peered virtual networks in the same region. 同じリージョン内の VNET ピアリング経由での Azure NetApp Files のアクセスが、サポートされるようになっています。Azure NetApp Files access over VNET peering in the same region is supported now. グローバル ピアリング経由での Azure NetApp Files のアクセスは、まだサポートされていません。Azure NetApp access over global peering is not yet supported.
• 選択した仮想ネットワークには、Azure NetApp Files に委任されているサブネットがある必要があります。The selected virtual network must have a subnet, delegated to Azure NetApp Files.
• Azure NetApp Files のエクスポート ポリシーでは、ユーザーが制御できるのは、許可されたクライアント、アクセスの種類 (読み取りおよび書き込み、読み取り専用など) です。Azure NetApp Files offers export policy: you can control the allowed clients, the access type (Read&Write, Read Only, etc.).
• Azure NetApp Files 機能は、ゾーンにはまだ対応していません。Azure NetApp Files feature isn't zone aware yet. 現在、Azure NetApp Files 機能は、Azure リージョン内のすべての可用性ゾーンにはデプロイされていません。Currently Azure NetApp Files feature isn't deployed in all Availability zones in an Azure region. Azure リージョンによっては、待ち時間が発生する可能性があることに注意してください。Be aware of the potential latency implications in some Azure regions.
• Azure NetApp Files ボリュームは、NFSv3 または NFSv4.1 ボリュームとしてデプロイできます。Azure NetApp Files volumes can be deployed as NFSv3 or NFSv4.1 volumes. SAP アプリケーション層 (ASCS/ERS、SAP アプリケーション サーバー) では、両方のプロトコルがサポートされています。Both protocols are supported for the SAP application layer (ASCS/ERS, SAP application servers).

(A)SCS のセットアップSetting up (A)SCS

この例では、リソースは Azure portal を使用して手動でデプロイされています。In this example, the resources were deployed manually via the Azure portal.

Azure Portal を使用した手動による Linux のデプロイDeploy Linux manually via Azure portal

最初に Azure NetApp Files ボリュームを作成する必要があります。First you need to create the Azure NetApp Files volumes. VM をデプロイします。Deploy the VMs. その後、ロード バランサーを作成し、バックエンド プール内の仮想マシンを使用します。Afterwards, you create a load balancer and use the virtual machines in the backend pool.

1. ロード バランサー (内部、標準) を作成します。Create load balancer (internal, standard):
   1. フロントエンド IP アドレスを作成しますCreate the frontend IP addresses
      1. ASCS の IP アドレス 192.168.14.9IP address 192.168.14.9 for the ASCS
         1. ロード バランサーを開き、[フロントエンド IP プール] を選択して [追加] をクリックしますOpen the load balancer, select frontend IP pool, and click Add
         2. 新規のフロントエンド IP プールの名前を入力します (例: frontend.QAS.ASCS)Enter the name of the new frontend IP pool (for example frontend.QAS.ASCS)
         3. [割り当て] を [静的] に設定し、IP アドレスを入力します (例: 192.168.14.9)Set the Assignment to Static and enter the IP address (for example 192.168.14.9)
         4. [OK] をクリックしますClick OK
      2. ASCS ERS の IP アドレス 192.168.14.10IP address 192.168.14.10 for the ASCS ERS
         • 上記の "a" 以下の手順を繰り返して、ERS の IP アドレスを作成します (例: 192.168.14.10 および frontend.QAS.ERS)Repeat the steps above under "a" to create an IP address for the ERS (for example 192.168.14.10 and frontend.QAS.ERS)
   2. バックエンド プールの作成Create the backend pool
      1. ロード バランサーを開き、[バックエンド プール] を選択して [追加] をクリックしますOpen the load balancer, select backend pools, and click Add
      2. 新規のバックエンド プールの名前を入力します (例: backend.QAS)Enter the name of the new backend pool (for example backend.QAS)
      3. [仮想マシンの追加] をクリックします。Click Add a virtual machine.
      4. 仮想マシンを選択します。Select Virtual machine.
      5. (A)SCS クラスターの仮想マシンとその IP アドレスを選択します。Select the virtual machines of the (A)SCS cluster and their IP addresses.
      6. [追加] をクリックします。Click Add
   3. 正常性プローブを作成しますCreate the health probes
      1. ASCS のポート 620 00Port 620 00 for ASCS
         1. ロード バランサーを開き、[正常性プローブ] を選択して [追加] をクリックしますOpen the load balancer, select health probes, and click Add
         2. 新しい正常性プローブの名前を入力します (例: health.QAS.ASCS)Enter the name of the new health probe (for example health.QAS.ASCS)
         3. プロトコルに TCP、ポートに 620 00 を選択し、[間隔] は 5、[異常] のしきい値は 2 のままにしておきますSelect TCP as protocol, port 620 00, keep Interval 5 and Unhealthy threshold 2
         4. [OK] をクリックしますClick OK
      2. ASCS ERS のポート 621 01Port 621 01 for ASCS ERS
         • 上記の "c" 以下の手順を繰り返して、ERS の正常性プローブを作成します (例: 621 01 および health.QAS.ERS)Repeat the steps above under "c" to create a health probe for the ERS (for example 621 01 and health.QAS.ERS)
   4. 負荷分散規則Load-balancing rules
      1. ASCS の負荷分散規則Load-balancing rules for ASCS
         1. ロード バランサーを開き、負荷分散規則を選択して [追加] をクリックしますOpen the load balancer, select Load-balancing rules, and click Add
         2. 新しいロード バランサー規則の名前を入力します (例: lb.QAS.ASCS)Enter the name of the new load balancer rule (for example lb.QAS.ASCS)
         3. 前に作成した ASCS 用のフロントエンド IP アドレス、バックエンド プール、および正常性プローブを選択します (例: frontend.QAS.ASCS、backend.QAS、health.QAS.ASCS)Select the frontend IP address for ASCS, backend pool, and health probe you created earlier (for example frontend.QAS.ASCS, backend.QAS and health.QAS.ASCS)
         4. [HA ポート] を選択しますSelect HA ports
         5. アイドル タイムアウトを 30 分に増やしますIncrease idle timeout to 30 minutes
         6. Floating IP を有効にしますMake sure to enable Floating IP
         7. [OK] をクリックしますClick OK
         • 上記の手順を繰り返して、ERS の負荷分散規則を作成します (例: lb.QAS.ERS)Repeat the steps above to create load balancing rules for ERS (for example lb.QAS.ERS)
2. または、シナリオに基本的なロード バランサー (内部) が必要な場合は、次の手順に従ってください。Alternatively, if your scenario requires basic load balancer (internal), follow these steps:

   1. フロントエンド IP アドレスを作成しますCreate the frontend IP addresses

      1. ASCS の IP アドレス 192.168.14.9IP address 192.168.14.9 for the ASCS
         1. ロード バランサーを開き、[フロントエンド IP プール] を選択して [追加] をクリックしますOpen the load balancer, select frontend IP pool, and click Add
         2. 新規のフロントエンド IP プールの名前を入力します (例: frontend.QAS.ASCS)Enter the name of the new frontend IP pool (for example frontend.QAS.ASCS)
         3. [割り当て] を [静的] に設定し、IP アドレスを入力します (例: 192.168.14.9)Set the Assignment to Static and enter the IP address (for example 192.168.14.9)
         4. [OK] をクリックしますClick OK
      2. ASCS ERS の IP アドレス 192.168.14.10IP address 192.168.14.10 for the ASCS ERS
         • 上記の "a" 以下の手順を繰り返して、ERS の IP アドレスを作成します (例: 192.168.14.10 および frontend.QAS.ERS)Repeat the steps above under "a" to create an IP address for the ERS (for example 192.168.14.10 and frontend.QAS.ERS)

   2. バックエンド プールの作成Create the backend pool

      1. ロード バランサーを開き、[バックエンド プール] を選択して [追加] をクリックしますOpen the load balancer, select backend pools, and click Add
      2. 新規のバックエンド プールの名前を入力します (例: backend.QAS)Enter the name of the new backend pool (for example backend.QAS)
      3. [仮想マシンの追加] をクリックします。Click Add a virtual machine.
      4. 前に作成した ASCS 用の可用性セットを選択しますSelect the Availability Set you created earlier for ASCS
      5. (A)SCS クラスターの仮想マシンを選択しますSelect the virtual machines of the (A)SCS cluster
      6. [OK] をクリックしますClick OK

   3. 正常性プローブを作成しますCreate the health probes

      1. ASCS のポート 620 00Port 620 00 for ASCS
         1. ロード バランサーを開き、[正常性プローブ] を選択して [追加] をクリックしますOpen the load balancer, select health probes, and click Add
         2. 新しい正常性プローブの名前を入力します (例: health.QAS.ASCS)Enter the name of the new health probe (for example health.QAS.ASCS)
         3. プロトコルに TCP、ポートに 620 00 を選択し、[間隔] は 5、[異常] のしきい値は 2 のままにしておきますSelect TCP as protocol, port 620 00, keep Interval 5 and Unhealthy threshold 2
         4. [OK] をクリックしますClick OK
      2. ASCS ERS のポート 621 01Port 621 01 for ASCS ERS
         • 上記の "c" 以下の手順を繰り返して、ERS の正常性プローブを作成します (例: 621 01 および health.QAS.ERS)Repeat the steps above under "c" to create a health probe for the ERS (for example 621 01 and health.QAS.ERS)

   4. 負荷分散規則Load-balancing rules

      1. ASCS の 32 00 TCP32 00 TCP for ASCS
         1. ロード バランサーを開き、負荷分散規則を選択して [追加] をクリックしますOpen the load balancer, select Load-balancing rules, and click Add
         2. 新しいロード バランサー規則の名前を入力します (例: lb.QAS.ASCS.3200)Enter the name of the new load balancer rule (for example lb.QAS.ASCS.3200)
         3. 前に作成した ASCS 用のフロントエンド IP アドレス、バックエンド プール、および正常性プローブを選択します (例: frontend.QAS.ASCS)Select the frontend IP address for ASCS, backend pool, and health probe you created earlier (for example frontend.QAS.ASCS)
         4. プロトコルは TCP のままにし、ポートに「3200」を入力しますKeep protocol TCP, enter port 3200
         5. アイドル タイムアウトを 30 分に増やしますIncrease idle timeout to 30 minutes
         6. Floating IP を有効にしますMake sure to enable Floating IP
         7. [OK] をクリックしますClick OK
      2. ASCS の追加のポートAdditional ports for the ASCS
         • ASCS のポート 36 00、39 00、81 00、5 00 13、5 00 14、5 00 16 と TCP に対して上記の手順を繰り返しますRepeat the steps above under "d" for ports 36 00, 39 00, 81 00, 5 00 13, 5 00 14, 5 00 16 and TCP for the ASCS
      3. ASCS ERS の追加のポートAdditional ports for the ASCS ERS
         • ASCS ERS のポート 32 01、33 01、5 01 13、5 01 14、5 01 16 と TCP に対して上記の "d" 以下の手順を繰り返しますRepeat the steps above under "d" for ports 32 01, 33 01, 5 01 13, 5 01 14, 5 01 16 and TCP for the ASCS ERS

      重要

      フローティング IP は、負荷分散シナリオの NIC セカンダリ IP 構成ではサポートされていません。Floating IP is not supported on a NIC secondary IP configuration in load-balancing scenarios. 詳細については、Azure Load Balancer の制限事項に関する記事を参照してください。For details see Azure Load balancer Limitations. VM に追加の IP アドレスが必要な場合は、2 つ目の NIC をデプロイします。If you need additional IP address for the VM, deploy a second NIC.

      注意

      パブリック IP アドレスのない VM が、内部 (パブリック IP アドレスがない) Standard の Azure Load Balancer のバックエンド プール内に配置されている場合、パブリック エンドポイントへのルーティングを許可するように追加の構成が実行されない限り、送信インターネット接続はありません。When VMs without public IP addresses are placed in the backend pool of internal (no public IP address) Standard Azure load balancer, there will be no outbound internet connectivity, unless additional configuration is performed to allow routing to public end points. 送信接続を実現する方法の詳細については、「SAP の高可用性シナリオにおける Azure Standard Load Balancer を使用した Virtual Machines のパブリック エンドポイント接続」を参照してください。For details on how to achieve outbound connectivity see Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios.

      重要

      Azure Load Balancer の背後に配置された Azure VM では TCP タイムスタンプを有効にしないでください。Do not enable TCP timestamps on Azure VMs placed behind Azure Load Balancer. TCP タイムスタンプを有効にすると正常性プローブが失敗することになります。Enabling TCP timestamps will cause the health probes to fail. パラメーター net.ipv4.tcp_timestamps は 0 に設定します。Set parameter net.ipv4.tcp_timestamps to 0. 詳しくは、「Load Balancer の正常性プローブ」を参照してください。For details see Load Balancer health probes.

ID マッピングを無効にする (NFSv 4.1 を使用する場合)Disable ID mapping (if using NFSv4.1)

このセクションの手順は、NFSv4.1 プロトコルで Azure NetApp Files ボリュームを使用している場合にのみ適用されます。The instructions in this section are only applicable, if using Azure NetApp Files volumes with NFSv4.1 protocol. Azure NetApp Files NFSv4.1 ボリュームがマウントされるすべての VM で構成を実行します。Perform the configuration on all VMs, where Azure NetApp Files NFSv4.1 volumes will be mounted.

1. NFS ドメイン設定を確認します。Verify the NFS domain setting. ドメインが既定の Azure NetApp Files ドメイン (つまり、 defaultv4iddomain.com ) として構成され、マッピングが nobody に設定されていることを確認します。Make sure that the domain is configured as the default Azure NetApp Files domain, i.e. defaultv4iddomain.com and the mapping is set to nobody.

   重要

   Azure NetApp Files の既定のドメイン構成 ( defaultv4iddomain.com ) と一致するように、VM 上の /etc/idmapd.conf に NFS ドメインを設定していることを確認します。Make sure to set the NFS domain in /etc/idmapd.conf on the VM to match the default domain configuration on Azure NetApp Files: defaultv4iddomain.com. NFS クライアント (つまり、VM) と NFS サーバー (つまり、Azure NetApp 構成) のドメイン構成が一致しない場合、VM にマウントされている Azure NetApp ボリューム上のファイルのアクセス許可は nobody と表示されます。If there's a mismatch between the domain configuration on the NFS client (i.e. the VM) and the NFS server, i.e. the Azure NetApp configuration, then the permissions for files on Azure NetApp volumes that are mounted on the VMs will be displayed as nobody.

   
    sudo cat /etc/idmapd.conf
    # Example
    [General]
    Domain = defaultv4iddomain.com
    [Mapping]
    Nobody-User = nobody
    Nobody-Group = nobody
    

2. [A] nfs4_disable_idmapping を確認します。[A] Verify nfs4_disable_idmapping. これは、Y に設定されている必要があります。nfs4_disable_idmapping が配置されるディレクトリ構造を作成するには、mount コマンドを実行します。It should be set to Y. To create the directory structure where nfs4_disable_idmapping is located, execute the mount command. アクセスがカーネル/ドライバー用に予約されるため、/sys/modules の下に手動でディレクトリを作成することはできなくなります。You won't be able to manually create the directory under /sys/modules, because access is reserved for the kernel / drivers.

   
    # Check nfs4_disable_idmapping 
    cat /sys/module/nfs/parameters/nfs4_disable_idmapping
    # If you need to set nfs4_disable_idmapping to Y
    mkdir /mnt/tmp
    mount 192.168.24.5:/sapQAS
    umount  /mnt/tmp
    echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
    # Make the configuration permanent
    echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
    

   nfs4_disable_idmapping パラメーターを変更する方法については、「 https://access.redhat.com/solutions/1749883 」を参照してください。For more details on how to change nfs4_disable_idmapping parameter see https://access.redhat.com/solutions/1749883.

Pacemaker クラスターの作成Create Pacemaker cluster

「Setting up Pacemaker on Red Hat Enterprise Linux in Azure」 (Azure で Red Hat Enterprise Linux に Pacemaker を設定する) に記載の手順に従って、この (A)SCS サーバーに対して基本的な Pacemaker クラスターを作成します。Follow the steps in Setting up Pacemaker on Red Hat Enterprise Linux in Azure to create a basic Pacemaker cluster for this (A)SCS server.

SAP NetWeaver のインストールの準備Prepare for SAP NetWeaver installation

次の各手順の先頭には、 [A] - 全ノードが該当、 [1] - ノード 1 のみ該当、 [2] - ノード 2 のみ該当、のいずれかが付いています。The following items are prefixed with either [A] - applicable to all nodes, [1] - only applicable to node 1 or [2] - only applicable to node 2.

1. [A] ホスト名解決を設定します[A] Setup host name resolution

   DNS サーバーを使用するか、すべてのノードの /etc/hosts を変更します。You can either use a DNS server or modify the /etc/hosts on all nodes. この例では、/etc/hosts ファイルを使用する方法を示しています。This example shows how to use the /etc/hosts file. 次のコマンドの IP アドレスとホスト名を置き換えますReplace the IP address and the hostname in the following commands

   sudo vi /etc/hosts
   

   次の行を /etc/hosts に挿入します。Insert the following lines to /etc/hosts. お使いの環境に合わせて IP アドレスとホスト名を変更しますChange the IP address and hostname to match your environment

   # IP address of cluster node 1
   192.168.14.5    anftstsapcl1
   # IP address of cluster node 2
   192.168.14.6     anftstsapcl2
   # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
   192.168.14.9    anftstsapvh
   # IP address of the load balancer frontend configuration for SAP Netweaver ERS
   192.168.14.10    anftstsapers
   

2. [1] Azure NetApp Files ボリュームに SAP ディレクトリを作成します。[1] Create SAP directories in the Azure NetApp Files volume.
   いずれかの VM で Azure NetApp Files ボリュームを一時的にマウントし、SAP ディレクトリ (ファイル パス) を作成します。Mount temporarily the Azure NetApp Files volume on one of the VMs and create the SAP directories(file paths).

    # mount temporarily the volume
    sudo mkdir -p /saptmp
    # If using NFSv3
    sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=3,tcp 192.168.24.5:/sapQAS /saptmp
    # If using NFSv4.1
    sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys,tcp 192.168.24.5:/sapQAS /saptmp
    # create the SAP directories
    sudo cd /saptmp
    sudo mkdir -p sapmntQAS
    sudo mkdir -p usrsapQASascs
    sudo mkdir -p usrsapQASers
    sudo mkdir -p usrsapQASsys
    sudo mkdir -p usrsapQASpas
    sudo mkdir -p usrsapQASaas
    # unmount the volume and delete the temporary directory
    sudo cd ..
    sudo umount /saptmp
    sudo rmdir /saptmp
   

3. [A] 共有ディレクトリを作成します[A] Create the shared directories

   sudo mkdir -p /sapmnt/QAS
   sudo mkdir -p /usr/sap/trans
   sudo mkdir -p /usr/sap/QAS/SYS
   sudo mkdir -p /usr/sap/QAS/ASCS00
   sudo mkdir -p /usr/sap/QAS/ERS01
   
   sudo chattr +i /sapmnt/QAS
   sudo chattr +i /usr/sap/trans
   sudo chattr +i /usr/sap/QAS/SYS
   sudo chattr +i /usr/sap/QAS/ASCS00
   sudo chattr +i /usr/sap/QAS/ERS01
   

4. [A] NFS クライアントとその他の要件をインストールします[A] Install NFS client and other requirements

   sudo yum -y install nfs-utils resource-agents resource-agents-sap
   

5. [A] resource-agents-sap のバージョンを確認します[A] Check version of resource-agents-sap

   インストールされている resource-agents-sap パッケージのバージョンが、3.9.5-124.el7 以上であることを確認しますMake sure that the version of the installed resource-agents-sap package is at least 3.9.5-124.el7

   sudo yum info resource-agents-sap
   
   # Loaded plugins: langpacks, product-id, search-disabled-repos
   # Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
   # Installed Packages
   # Name        : resource-agents-sap
   # Arch        : x86_64
   # Version     : 3.9.5
   # Release     : 124.el7
   # Size        : 100 k
   # Repo        : installed
   # From repo   : rhel-sap-for-rhel-7-server-rpms
   # Summary     : SAP cluster resource agents and connector script
   # URL         : https://github.com/ClusterLabs/resource-agents
   # License     : GPLv2+
   # Description : The SAP resource agents and connector script interface with
   #          : Pacemaker to allow SAP instances to be managed in a cluster
   #          : environment.
   

6. [A] マウント エントリを追加します[A] Add mount entries

   NFSv3 を使用する場合:If using NFSv3:

   sudo vi /etc/fstab
   
   # Add the following lines to fstab, save and exit
    192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,vers=3
    192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,vers=3
    192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,vers=3
   

   NFSv 4.1 を使用する場合:If using NFSv4.1:

   sudo vi /etc/fstab
   
   # Add the following lines to fstab, save and exit
    192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
    192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
    192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
   

   注意

   ボリュームをマウントするときは、Azure NetApp Files ボリュームの NFS プロトコルバージョンと一致していることを確認してください。Make sure to match the NFS protocol version of the Azure NetApp Files volumes, when mounting the volumes. Azure NetApp Files ボリュームが NFSv3 ボリュームとして作成されている場合は、対応する NFSv3 構成を使用します。If the Azure NetApp Files volumes are created as NFSv3 volumes, use the corresponding NFSv3 configuration. Azure NetApp Files ボリュームが NFSv4.1 ボリュームとして作成されている場合は、手順に従って ID マッピングを無効にし、対応する NFSv4.1 構成を使用してください。If the Azure NetApp Files volumes are created as NFSv4.1 volumes, follow the instructions to disable ID mapping and make sure to use the corresponding NFSv4.1 configuration. この例では、Azure NetApp Files ボリュームが NFSv3 ボリュームとして作成されています。In this example the Azure NetApp Files volumes were created as NFSv3 volumes.

   新しい共有をマウントしますMount the new shares

   sudo mount -a  
   

7. [A] スワップ ファイルを構成します[A] Configure SWAP file

   sudo vi /etc/waagent.conf
   
   # Set the property ResourceDisk.EnableSwap to y
   # Create and use swapfile on resource disk.
   ResourceDisk.EnableSwap=y
   
   # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
   # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
   # Size of the swapfile.
   ResourceDisk.SwapSizeMB=2000
   

   エージェントを再起動して変更をアクティブにしますRestart the Agent to activate the change

   sudo service waagent restart
   

8. [A] RHEL 構成[A] RHEL configuration

   SAP Note 2002167 内の説明に従って RHEL を構成しますConfigure RHEL as described in SAP Note 2002167

SAP NetWeaver ASCS/ERS のインストールInstalling SAP NetWeaver ASCS/ERS

1. [1] ASCS インスタンス用の仮想 IP リソースと正常性プローブを作成します[1] Create a virtual IP resource and health-probe for the ASCS instance

   sudo pcs node standby anftstsapcl2
   # If using NFSv3
   sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
     directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe \
     op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-QAS_ASCS
   
   # If using NFSv4.1
   sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
     directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe options='sec=sys,vers=4.1' \
     op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-QAS_ASCS
   
   sudo pcs resource create vip_QAS_ASCS IPaddr2 \
     ip=192.168.14.9 cidr_netmask=24 \
     --group g-QAS_ASCS
   
   sudo pcs resource create nc_QAS_ASCS azure-lb port=62000 \
     --group g-QAS_ASCS
   

   クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。Make sure that the cluster status is ok and that all resources are started. リソースがどのノードで実行されているかは重要ではありません。It is not important on which node the resources are running.

   sudo pcs status
   
   # Node anftstsapcl2: standby
   # Online: [ anftstsapcl1 ]
   #
   # Full list of resources:
   #
   # rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
   #  Resource Group: g-QAS_ASCS
   #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
   #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
   #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
   

2. [1] SAP NetWeaver ASCS をインストールします[1] Install SAP NetWeaver ASCS

   root として SAP NetWeaver ASCS を最初のノードにインストールします。その際、ASCS のロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名 (たとえば、anftstsapvh、192.168.14.9) と、ロード バランサーのプローブに使用したインスタンス番号 (たとえば、00) を使用します。Install SAP NetWeaver ASCS as root on the first node using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ASCS, for example anftstsapvh, 192.168.14.9 and the instance number that you used for the probe of the load balancer, for example 00.

   sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst.

   # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
   sudo firewall-cmd --zone=public  --add-port=4237/tcp
   
   sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
   

   インストールで /usr/sap/QAS/ASCS 00 へのサブフォルダーの作成に失敗する場合は、ASCS 00 フォルダーの所有者とグループを設定し、もう一度試してください。If the installation fails to create a subfolder in /usr/sap/QAS/ASCS 00, try setting the owner and group of the ASCS 00 folder and retry.

   sudo chown qasadm /usr/sap/QAS/ASCS00
   sudo chgrp sapsys /usr/sap/QAS/ASCS00
   

3. [1] ERS インスタンス用の仮想 IP リソースと正常性プローブを作成します[1] Create a virtual IP resource and health-probe for the ERS instance

   sudo pcs node unstandby anftstsapcl2
   sudo pcs node standby anftstsapcl1
   
   # If using NFSv3
   sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
     directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe \
     op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
    --group g-QAS_AERS
   
   # If using NFSv4.1
   sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
     directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe options='sec=sys,vers=4.1' \
     op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
    --group g-QAS_AERS
   
   sudo pcs resource create vip_QAS_AERS IPaddr2 \
     ip=192.168.14.10 cidr_netmask=24 \
    --group g-QAS_AERS
   
   sudo pcs resource create nc_QAS_AERS azure-lb port=62101 \
    --group g-QAS_AERS
   

   クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。Make sure that the cluster status is ok and that all resources are started. リソースがどのノードで実行されているかは重要ではありません。It is not important on which node the resources are running.

   sudo pcs status
   
   # Node anftstsapcl1: standby
   # Online: [ anftstsapcl2 ]
   #
   # Full list of resources:
   #
   # rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
   #  Resource Group: g-QAS_ASCS
   #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
   #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2<
   #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
   #  Resource Group: g-QAS_AERS
   #      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
   #      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
   #      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
   

4. [2] SAP NetWeaver ERS をインストールします[2] Install SAP NetWeaver ERS

   root として SAP NetWeaver ERS を 2 番目のノードにインストールします。その際、ERS のロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名 (たとえば、anftstsapers、192.168.14.10) と、ロード バランサーのプローブに使用したインスタンス番号 (たとえば、01) を使用します。Install SAP NetWeaver ERS as root on the second node using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ERS, for example anftstsapers, 192.168.14.10 and the instance number that you used for the probe of the load balancer, for example 01.

   sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst.

   # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
   sudo firewall-cmd --zone=public  --add-port=4237/tcp
   
   sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
   

   インストールで /usr/sap/QAS/ERS 01 へのサブフォルダーの作成に失敗する場合は、ERS 01 フォルダーの所有者とグループを設定し、もう一度試してください。If the installation fails to create a subfolder in /usr/sap/QAS/ERS 01, try setting the owner and group of the ERS 01 folder and retry.

   sudo chown qaadm /usr/sap/QAS/ERS01
   sudo chgrp sapsys /usr/sap/QAS/ERS01
   

5. [1] ASCS/SCS および ERS インスタンス プロファイルを適用します[1] Adapt the ASCS/SCS and ERS instance profiles

   • ASCS/SCS プロファイルASCS/SCS profile

   sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh
   
   # Change the restart command to a start command
   #Restart_Program_01 = local $(_EN) pf=$(_PF)
   Start_Program_01 = local $(_EN) pf=$(_PF)
   
   # Add the keep alive parameter, if using ENSA1
   enque/encni/set_so_keepalive = true
   

   ENSA1 と ENSA2 の両方について、keepalive OS パラメーターが SAP ノート 1410736 の説明に従って設定されていることを確認します。For both ENSA1 and ENSA2, make sure that the keepalive OS parameters are set as described in SAP note 1410736.

   • ERS プロファイルERS profile

   sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers
   
   # Change the restart command to a start command
   #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   
   # remove Autostart from ERS profile
   # Autostart = 1
   

6. [A] キープ アライブを構成します[A] Configure Keep Alive

   SAP NetWeaver アプリケーション サーバーと ASCS/SCS の間の通信は、ソフトウェア ロード バランサーを介してルーティングされます。The communication between the SAP NetWeaver application server and the ASCS/SCS is routed through a software load balancer. ロード バランサーは、構成可能なタイムアウト後に非アクティブな接続を切断します。The load balancer disconnects inactive connections after a configurable timeout. これを防止するには、SAP NetWeaver ASCS/SCS プロファイル内にパラメーターを設定し (ENSA1 を使用している場合)、ENSA1/ENSA2 の両方について、すべての SAP サーバーで Linux システムの keepalive 設定を変更する必要があります。To prevent this, you need to set a parameter in the SAP NetWeaver ASCS/SCS profile, if using ENSA1, and change the Linux system keepalive settings on all SAP servers for both ENSA1/ENSA2. 詳細については、SAP Note 1410736 を参照してください。Read SAP Note 1410736 for more information.

   # Change the Linux system configuration
   sudo sysctl net.ipv4.tcp_keepalive_time=300
   

7. [A] /usr/sap/sapservices ファイルを更新します[A] Update the /usr/sap/sapservices file

   Sapinit スタートアップ スクリプトによってインスタンスが開始されるのを防ぐために、Pacemaker によって管理されているすべてのインスタンスを /usr/sap/sapservices ファイルからコメント アウトする必要があります。To prevent the start of the instances by the sapinit startup script, all instances managed by Pacemaker must be commented out from /usr/sap/sapservices file. SAP HANA インスタンスが HANA SR と一緒に使用されている場合は、SAP HANA インスタンスをコメント アウトしないでください。Do not comment out the SAP HANA instance if it will be used with HANA SR.

   sudo vi /usr/sap/sapservices
   
   # On the node where you installed the ASCS, comment out the following line
   # LD_LIBRARY_PATH=/usr/sap/QAS/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ASCS00/exe/sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh -D -u qasadm
   
   # On the node where you installed the ERS, comment out the following line
   # LD_LIBRARY_PATH=/usr/sap/QAS/ERS01/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ERS01/exe/sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers -D -u qasadm
   

8. [1] SAP クラスター リソースを作成します[1] Create the SAP cluster resources

   エンキュー サーバー 1 のアーキテクチャ (ENSA1) を使用する場合は、次のようにリソースを定義します。If using enqueue server 1 architecture (ENSA1), define the resources as follows:

   sudo pcs property set maintenance-mode=true
   
    sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
    InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
    --group g-QAS_ASCS
   
    sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
    InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
    --group g-QAS_AERS
   
    sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
    sudo pcs constraint location rsc_sap_QAS_ASCS00 rule score=2000 runs_ers_QAS eq 1
    sudo pcs constraint order g-QAS_ASCS then g-QAS_AERS kind=Optional symmetrical=false
   
    sudo pcs node unstandby anftstsapcl1
    sudo pcs property set maintenance-mode=false
   

   SAP では、SAP NW 7.52 の時点で、レプリケーションを含むエンキュー サーバー 2 のサポートが導入されました。SAP introduced support for enqueue server 2, including replication, as of SAP NW 7.52. ABAP Platform 1809 以降では、エンキュー サーバー 2 が既定でインストールされます。Starting with ABAP Platform 1809, enqueue server 2 is installed by default. エンキュー サーバー 2 のサポートについては、SAP Note 2630416 を参照してください。See SAP note 2630416 for enqueue server 2 support. エンキュー サーバー 2 アーキテクチャ (ENSA2) を使用する場合は、resource-agents-sap-4.1.1-12.el7.x86_64 以降のリソース エージェントをインストールし、リソースを次のように定義します。If using enqueue server 2 architecture (ENSA2), install resource agent resource-agents-sap-4.1.1-12.el7.x86_64 or newer and define the resources as follows:

   sudo pcs property set maintenance-mode=true
   
   sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
   InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
   AUTOMATIC_RECOVER=false \
   meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
   op monitor interval=20 on-fail=restart timeout=60 \
   op start interval=0 timeout=600 op stop interval=0 timeout=600 \
   --group g-QAS_ASCS
   
   sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
   InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
   AUTOMATIC_RECOVER=false IS_ERS=true \
   op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
   --group g-QAS_AERS
   
   sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
   sudo pcs constraint order g-QAS_ASCS then g-QAS_AERS kind=Optional symmetrical=false
   sudo pcs constraint order start g-QAS_ASCS then stop g-QAS_AERS symmetrical=false
   
   sudo pcs node unstandby anftstsapcl1
   sudo pcs property set maintenance-mode=false
   

   以前のバージョンからアップグレードし、エンキュー サーバー 2 に切り替えている場合は、SAP Note 2641322 を参照してください。If you are upgrading from an older version and switching to enqueue server 2, see SAP note 2641322.

   注意

   上記のタイムアウト構成はほんの一例であり、特定の SAP 設定では調整する必要がある場合があります。The timeouts in the above configuration are just examples and may need to be adapted to the specific SAP setup.

   クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。Make sure that the cluster status is ok and that all resources are started. リソースがどのノードで実行されているかは重要ではありません。It is not important on which node the resources are running.

   sudo pcs status
   
   # Online: [ anftstsapcl1 anftstsapcl2 ]
   #
   # Full list of resources:
   #
   # rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
   #  Resource Group: g-QAS_ASCS
   #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
   #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
   #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
   #      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   #  Resource Group: g-QAS_AERS
   #      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
   #      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
   #      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
   #      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   

9. [A] ASCS および ERS に対するファイアウォール規則を両方のノード上に追加します ASCS および ERS に対するファイアウォール規則を両方のノード上に追加します。[A] Add firewall rules for ASCS and ERS on both nodes Add the firewall rules for ASCS and ERS on both nodes.

   # Probe Port of ASCS
   sudo firewall-cmd --zone=public --add-port=62000/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=62000/tcp
   sudo firewall-cmd --zone=public --add-port=3200/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=3200/tcp
   sudo firewall-cmd --zone=public --add-port=3600/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=3600/tcp
   sudo firewall-cmd --zone=public --add-port=3900/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=3900/tcp
   sudo firewall-cmd --zone=public --add-port=8100/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=8100/tcp
   sudo firewall-cmd --zone=public --add-port=50013/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=50013/tcp
   sudo firewall-cmd --zone=public --add-port=50014/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=50014/tcp
   sudo firewall-cmd --zone=public --add-port=50016/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=50016/tcp
   # Probe Port of ERS
   sudo firewall-cmd --zone=public --add-port=62101/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=62101/tcp
   sudo firewall-cmd --zone=public --add-port=3201/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=3201/tcp
   sudo firewall-cmd --zone=public --add-port=3301/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=3301/tcp
   sudo firewall-cmd --zone=public --add-port=50113/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=50113/tcp
   sudo firewall-cmd --zone=public --add-port=50114/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=50114/tcp
   sudo firewall-cmd --zone=public --add-port=50116/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=50116/tcp
   

SAP NetWeaver アプリケーション サーバーの準備SAP NetWeaver application server preparation

一部のデータベースでは、データベース インスタンスのインストールがアプリケーション サーバーで実行される必要があります。Some databases require that the database instance installation is executed on an application server. このような場合に使用できるようにアプリケーション サーバー仮想マシンを準備します。Prepare the application server virtual machines to be able to use them in these cases.

次の手順では、ASCS/SCS および HANA サーバーとは別のサーバーにアプリケーション サーバーをインストールすることを前提としています。The steps bellow assume that you install the application server on a server different from the ASCS/SCS and HANA servers. それ以外の場合、以下の手順の一部 (ホスト名解決の構成など) は必要ありません。Otherwise some of the steps below (like configuring host name resolution) are not needed.

次の各手順の先頭には、 [A] - PAS と AAS の両方が該当、 [P] - PAS のみ該当、 [S] - ノード AAS のみ該当、のいずれかが付いています。The following items are prefixed with either [A] - applicable to both PAS and AAS, [P] - only applicable to PAS or [S] - only applicable to AAS.

1. [A] ホスト名解決を設定します DNS サーバーを使用するか、すべてのノードの /etc/hosts を変更します。[A] Setup host name resolution You can either use a DNS server or modify the /etc/hosts on all nodes. この例では、/etc/hosts ファイルを使用する方法を示しています。This example shows how to use the /etc/hosts file. 次のコマンドの IP アドレスとホスト名を置き換えます。Replace the IP address and the hostname in the following commands:

   sudo vi /etc/hosts
   

   次の行を /etc/hosts に挿入します。Insert the following lines to /etc/hosts. お使いの環境に合わせて IP アドレスとホスト名を変更します。Change the IP address and hostname to match your environment.

   # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
   192.168.14.9 anftstsapvh
   # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
   192.168.14.10 anftstsapers
   192.168.14.7 anftstsapa01
   192.168.14.8 anftstsapa02
   

2. [A] sapmnt ディレクトリを作成します sapmnt ディレクトリを作成します。[A] Create the sapmnt directory Create the sapmnt directory.

   sudo mkdir -p /sapmnt/QAS
   sudo mkdir -p /usr/sap/trans
   
   sudo chattr +i /sapmnt/QAS
   sudo chattr +i /usr/sap/trans
   

3. [A] NFS クライアントとその他の要件をインストールします[A] Install NFS client and other requirements

   sudo yum -y install nfs-utils uuidd
   

4. [A] マウント エントリを追加します[A] Add mount entries
   NFSv3 を使用する場合:If using NFSv3:

   sudo vi /etc/fstab
   
   # Add the following lines to fstab, save and exit
   192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,vers=3
   192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,vers=3
   

   NFSv 4.1 を使用する場合:If using NFSv4.1:

   sudo vi /etc/fstab
   
   # Add the following lines to fstab, save and exit
   192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
   192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
   

   新しい共有をマウントしますMount the new shares

   sudo mount -a
   

5. [P] PAS ディレクトリを作成してマウントします[P] Create and mount the PAS directory
   NFSv3 を使用する場合:If using NFSv3:

   sudo mkdir -p /usr/sap/QAS/D02
   sudo chattr +i /usr/sap/QAS/D02
   
   sudo vi /etc/fstab
   # Add the following line to fstab
   92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,vers=3
   
   # Mount
   sudo mount -a
   

   NFSv 4.1 を使用する場合:If using NFSv4.1:

   sudo mkdir -p /usr/sap/QAS/D02
   sudo chattr +i /usr/sap/QAS/D02
   
   sudo vi /etc/fstab
   # Add the following line to fstab
   92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
   
   # Mount
   sudo mount -a
   

6. [S] AAS ディレクトリを作成してマウントします[S] Create and mount the AAS directory
   NFSv3 を使用する場合:If using NFSv3:

   sudo mkdir -p /usr/sap/QAS/D03
   sudo chattr +i /usr/sap/QAS/D03
   
   sudo vi /etc/fstab
   # Add the following line to fstab
   92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,vers=3
   
   # Mount
   sudo mount -a
   

   NFSv 4.1 を使用する場合:If using NFSv4.1:

   sudo mkdir -p /usr/sap/QAS/D03
   sudo chattr +i /usr/sap/QAS/D03
   
   sudo vi /etc/fstab
   # Add the following line to fstab
   92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys
   
   # Mount
   sudo mount -a
   

7. [A] スワップ ファイルを構成します[A] Configure SWAP file

   sudo vi /etc/waagent.conf
   
   # Set the property ResourceDisk.EnableSwap to y
   # Create and use swapfile on resource disk.
   ResourceDisk.EnableSwap=y
   
   # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
   # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
   # Size of the swapfile.
   ResourceDisk.SwapSizeMB=2000
   

   エージェントを再起動して変更をアクティブにしますRestart the Agent to activate the change

   sudo service waagent restart
   

データベースのインストールInstall database

この例では、SAP HANA に SAP NetWeaver がインストールされます。In this example, SAP NetWeaver is installed on SAP HANA. このインストールではサポートされているすべてのデータベースを使用できます。You can use every supported database for this installation. Azure への SAP HANA のインストール方法の詳細については、「High availability of SAP HANA on Azure VMs on Red Hat Enterprise Linux. For a list of supported databases, see SAP Note 1928533」 (Red Hat Enterprise Linux 上の Azure VM での SAP HANA の高可用性) をご覧ください。For more information on how to install SAP HANA in Azure, see High availability of SAP HANA on Azure VMs on Red Hat Enterprise Linux. For a list of supported databases, see SAP Note 1928533.

1. SAP データベース インスタンスのインストールを実行しますRun the SAP database instance installation

   root として SAP NetWeaver データベース インスタンスをインストールします。その際、データベースのロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。Install the SAP NetWeaver database instance as root using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the database.

   sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst.

   sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
   

SAP NetWeaver アプリケーション サーバーのインストールSAP NetWeaver application server installation

次の手順に従って、SAP アプリケーション サーバーをインストールします。Follow these steps to install an SAP application server.

1. アプリケーション サーバーを準備しますPrepare application server

   前述の「SAP NetWeaver アプリケーション サーバーの準備」の章の手順に従って、アプリケーション サーバーを準備します。Follow the steps in the chapter SAP NetWeaver application server preparation above to prepare the application server.

2. SAP NetWeaver アプリケーション サーバーをインストールしますInstall SAP NetWeaver application server

   プライマリまたは追加の SAP NetWeaver アプリケーション サーバーをインストールします。Install a primary or additional SAP NetWeaver applications server.

   sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst.

   sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
   

3. SAP HANA Secure Store を更新しますUpdate SAP HANA secure store

   SAP HANA システム レプリケーション セットアップの仮想名を指すように SAP HANA Secure Store を更新します。Update the SAP HANA secure store to point to the virtual name of the SAP HANA System Replication setup.

   次のコマンドを実行して、エントリを <sapsid>adm として一覧表示しますRun the following command to list the entries as <sapsid>adm

   hdbuserstore List
   

   これにより、次のようにすべてのエントリが一覧表示されますThis should list all entries and should look similar to

   DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
   KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY
   
   KEY DEFAULT
     ENV : 192.168.14.4:30313
     USER: SAPABAP1
     DATABASE: QAS
   

   出力には、既定のエントリの IP アドレスがロード バランサーの IP アドレスではなく仮想マシンを指していることが示されます。The output shows that the IP address of the default entry is pointing to the virtual machine and not to the load balancer's IP address. このエントリは、ロード バランサーの仮想ホスト名を指すように変更する必要があります。This entry needs to be changed to point to the virtual hostname of the load balancer. 同じポート (上の出力内の 30313) とデータベース名 (上の出力内の QAS) を必ず使用してください。Make sure to use the same port (30313 in the output above) and database name (QAS in the output above)!

   su - qasadm
   hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>
   

クラスターの設定をテストするTest the cluster setup

1. ASCS インスタンスを手動で移行するManually migrate the ASCS instance

   テスト開始前のリソースの状態:Resource state before starting the test:

    rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

   次のコマンドを root として実行して、ASCS インスタンスを移行します。Run the following commands as root to migrate the ASCS instance.

   [root@anftstsapcl1 ~]# pcs resource move rsc_sap_QAS_ASCS00
   
   [root@anftstsapcl1 ~]# pcs resource clear rsc_sap_QAS_ASCS00
   
   # Remove failed actions for the ERS that occurred as part of the migration
   [root@anftstsapcl1 ~]# pcs resource cleanup rsc_sap_QAS_ERS01
   

   テスト後のリソースの状態:Resource state after the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   

2. ノードのクラッシュをシミュレートするSimulate node crash

   テスト開始前のリソースの状態:Resource state before starting the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   

   ASCS インスタンスが実行されているノードで、次のコマンドを root として実行します。Run the following command as root on the node where the ASCS instance is running

   [root@anftstsapcl2 ~]# echo b > /proc/sysrq-trigger
   

   ノードの起動後の状態は、再び次のようになります。The status after the node is started again should look like this.

   Online: [ anftstsapcl1 anftstsapcl2 ]
   
   Full list of resources:
   
   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   
   Failed Actions:
   * rsc_sap_QAS_ERS01_monitor_11000 on anftstsapcl1 'not running' (7): call=45, status=complete, exitreason='',
   

   次のコマンドを実行して、失敗したリソースを取り除きます。Use the following command to clean the failed resources.

   [root@anftstsapcl1 ~]# pcs resource cleanup rsc_sap_QAS_ERS01
   

   テスト後のリソースの状態:Resource state after the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

3. メッセージ サーバー プロセスを強制終了するKill message server process

   テスト開始前のリソースの状態:Resource state before starting the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

   次のコマンドを root として実行して、メッセージ サーバーのプロセスを特定し、強制終了します。Run the following commands as root to identify the process of the message server and kill it.

   [root@anftstsapcl1 ~]# pgrep -f ms.sapQAS | xargs kill -9
   

   メッセージ サーバーは、1 回だけ強制終了しても、sapstart によって再起動されます。If you only kill the message server once, it will be restarted by sapstart. 強制終了を複数回実行すると、Pacemaker は最終的に ASCS インスタンスを他のノードに移動します。If you kill it often enough, Pacemaker will eventually move the ASCS instance to the other node. テスト後に、次のコマンドを root として実行して、ASCS と ERS インスタンスのリソースの状態をクリーンアップします。Run the following commands as root to clean up the resource state of the ASCS and ERS instance after the test.

   [root@anftstsapcl1 ~]# pcs resource cleanup rsc_sap_QAS_ASCS00
   [root@anftstsapcl1 ~]# pcs resource cleanup rsc_sap_QAS_ERS01
   

   テスト後のリソースの状態:Resource state after the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   

4. エンキュー サーバー プロセスを強制終了するKill enqueue server process

   テスト開始前のリソースの状態:Resource state before starting the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   

   ASCS インスタンスが実行されているノードで、次のコマンドを root として実行して、エンキュー サーバーを強制終了します。Run the following commands as root on the node where the ASCS instance is running to kill the enqueue server.

   #If using ENSA1
   [root@anftstsapcl2 ~]# pgrep -f en.sapQAS | xargs kill -9
   #If using ENSA2
   [root@anftstsapcl2 ~]# pgrep -f enq.sapQAS | xargs kill -9
   

   ASCS インスタンスがすぐに他のノードにフェールオーバーします。The ASCS instance should immediately fail over to the other node. ASCS インスタンスの開始後に、ERS インスタンスもフェールオーバーします。The ERS instance should also fail over after the ASCS instance is started. テスト後に、次のコマンドを root として実行して、ASCS と ERS インスタンスのリソースの状態をクリーンアップします。Run the following commands as root to clean up the resource state of the ASCS and ERS instance after the test.

   [root@anftstsapcl2 ~]# pcs resource cleanup rsc_sap_QAS_ASCS00
   [root@anftstsapcl2 ~]# pcs resource cleanup rsc_sap_QAS_ERS01
   

   テスト後のリソースの状態:Resource state after the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

5. エンキュー レプリケーション サーバー プロセスを強制終了するKill enqueue replication server process

   テスト開始前のリソースの状態:Resource state before starting the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

   ERS インスタンスが実行されているノードで、次のコマンドを root として実行して、エンキュー レプリケーション サーバー プロセスを強制終了します。Run the following command as root on the node where the ERS instance is running to kill the enqueue replication server process.

   #If using ENSA1
   [root@anftstsapcl2 ~]# pgrep -f er.sapQAS | xargs kill -9
   #If using ENSA2
   [root@anftstsapcl2 ~]# pgrep -f enqr.sapQAS | xargs kill -9
   

   このコマンドを 1 回だけ実行しても、プロセスは sapstart によって再起動されます。If you only run the command once, sapstart will restart the process. 複数回実行すれば、sapstart によるプロセスの再起動はなくなり、リソースは停止状態になります。If you run it often enough, sapstart will not restart the process and the resource will be in a stopped state. テスト後に、次のコマンドを root として実行して、ERS インスタンスのリソースの状態をクリーンアップします。Run the following commands as root to clean up the resource state of the ERS instance after the test.

   [root@anftstsapcl2 ~]# pcs resource cleanup rsc_sap_QAS_ERS01
   

   テスト後のリソースの状態:Resource state after the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

6. エンキュー sapstartsrv プロセスを強制終了するKill enqueue sapstartsrv process

   テスト開始前のリソースの状態:Resource state before starting the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

   ASCS が実行されているノードで、次のコマンドを root として実行します。Run the following commands as root on the node where the ASCS is running.

   [root@anftstsapcl1 ~]# pgrep -fl ASCS00.*sapstartsrv
   # 59545 sapstartsrv
   
   [root@anftstsapcl1 ~]# kill -9 59545
   

   sapstartsrv プロセスは、監視の一環として Pacemaker リソース エージェントによって常に再起動される必要があります。The sapstartsrv process should always be restarted by the Pacemaker resource agent as part of the monitoring. テスト後のリソースの状態:Resource state after the test:

   rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
    Resource Group: g-QAS_ASCS
        fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
        nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
        vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
        rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    Resource Group: g-QAS_AERS
        fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
        nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
        vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
        rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

次のステップNext steps

• RHEL for SAP アプリケーション マルチ SID 上の Azure VM での SAP NW の HA ガイドHA for SAP NW on Azure VMs on RHEL for SAP applications multi-SID guide
• SAP のための Azure Virtual Machines の計画と実装Azure Virtual Machines planning and implementation for SAP
• SAP のための Azure Virtual Machines のデプロイAzure Virtual Machines deployment for SAP
• SAP のための Azure Virtual Machines DBMS のデプロイAzure Virtual Machines DBMS deployment for SAP
• SAP HANA on Azure (L インスタンス) の高可用性を確保し、ディザスター リカバリーを計画する方法を確認するには、「Azure での SAP HANA (L インスタンス) の高可用性とディザスター リカバリー」を参照してください。To learn how to establish high availability and plan for disaster recovery of SAP HANA on Azure (large instances), see SAP HANA (large instances) high availability and disaster recovery on Azure.
• Azure VM 上の SAP HANA の高可用性を確保し、ディザスター リカバリーを計画する方法を確認するには、「Azure Virtual Machines (VM) 上の SAP HANA の高可用性」を参照してください。To learn how to establish high availability and plan for disaster recovery of SAP HANA on Azure VMs, see High Availability of SAP HANA on Azure Virtual Machines (VMs)