Red Hat Enterprise Linux で Azure NetApp Files を使用した SAP HANA スケールアップの高可用性High availability of SAP HANA Scale-up with Azure NetApp Files on Red Hat Enterprise Linux

この記事では、HANA ファイル システムが Azure NetApp Files (ANF) を使用して NFS 経由でマウントされている場合に、SAP HANA システム レプリケーションをスケールアップ デプロイで構成する方法について説明します。This article describes how to configure SAP HANA System Replication in Scale-up deployment, when the HANA file systems are mounted via NFS, using Azure NetApp Files (ANF). サンプルの構成およびインストール コマンドでは、インスタンス番号として 03、HANA システム ID として HN1 が使用されています。In the example configurations and installation commands, instance number 03, and HANA System ID HN1 are used. SAP HANA レプリケーション は、1 つのプライマリ ノードと、少なくとも 1 つのセカンダリ ノードで構成されています。SAP HANA Replication consists of one primary node and at least one secondary node.

このドキュメントの各手順に付いているプレフィックスとその意味は次のとおりです。When steps in this document are marked with the following prefixes, the meaning is as follows:

  • [A] :この手順はすべてのノードに適用されます[A]: The step applies to all nodes
  • [1] :この手順は node1 にのみ適用されます[1]: The step applies to node1 only
  • [2] :この手順は node2 にのみ適用されます[2]: The step applies to node2 only

はじめに、次の SAP Note およびガイドを確認してくださいRead the following SAP Notes and papers first:

概要Overview

従来、スケールアップ環境では、SAP HANA のすべてのファイル システムはローカル ストレージからマウントされていました。Traditionally in scale-up environment all file systems for SAP HANA are mounted from local storage. Red Hat Enterprise Linux での SAP HANA システム レプリケーションの高可用性のセットアップは、RHEL での SAP HANA システムレプリケーションのセットアップに関するガイドで公開されています。Setting up High Availability of SAP HANA System Replication on Red Hat Enterprise Linux is published in guide Set up SAP HANA System Replication on RHEL

Azure NetApp Files NFS 共有でスケールアップ システムの SAP HANA 高可用性を実現するには、1 つのノードで ANF 上の NFS 共有へのアクセスが失われたときに HANA リソースが回復するために、追加のリソース構成がクラスターに必要です。In order to achieve SAP HANA High Availability of scale-up system on Azure NetApp Files NFS shares, we need some additional resource configuration in the cluster, in order for HANA resources to recover, when one node loses access to the NFS shares on ANF. クラスターは NFS マウントを管理して、リソースの正常性を監視できるようにします。The cluster manages the NFS mounts, allowing it to monitor the health of the resources. ファイル システム マウントと SAP HANA リソース間の依存関係が適用されます。The dependencies between the file system mounts and the SAP HANA resources are enforced.

ANF での SAP HANA HA スケールアップ

SAP HANA ファイル システムは、各ノードで Azure NetApp Files を使用して NFS 共有にマウントされます。SAP HANA filesystems are mounted on NFS shares using Azure NetApp Files on each node. ファイル システム /hana/data、/hana/log、/hana/shared は各ノードに固有です。File systems /hana/data, /hana/log, and /hana/shared are unique to each node.

node1 にマウント (hanadb1)Mounted on node1 (hanadb1)

  • /hana/data の 10.32.2.4:/hanadb1-data-mnt0000110.32.2.4:/hanadb1-data-mnt00001 on /hana/data
  • /hana/log の 10.32.2.4:/hanadb1-log-mnt0000110.32.2.4:/hanadb1-log-mnt00001 on /hana/log
  • /hana/shared の 10.32.2.4:/hanadb1-shared-mnt0000110.32.2.4:/hanadb1-shared-mnt00001 on /hana/shared

node2 にマウント (hanadb2)Mounted on node2 (hanadb2)

  • /hana/data の 10.32.2.4:/hanadb2-data-mnt0000110.32.2.4:/hanadb2-data-mnt00001 on /hana/data
  • /hana/log の 10.32.2.4:/hanadb2-log-mnt0000110.32.2.4:/hanadb2-log-mnt00001 on /hana/log
  • /hana/shared の 10.32.2.4:/hanadb2-shared-mnt0000110.32.2.4:/hanadb2-shared-mnt00001 on /hana/shared

注意

/hana/shared、/hana/data、/hana/log の各ファイル システムは 2 つのノード間で共有されません。File systems /hana/shared, /hana/data and /hana/log are not shared between the two nodes. 各クラスター ノードには、独自の独立したファイル システムがあります。Each cluster node has its own, separate file systems.

SAP HANA システム レプリケーションの構成では、専用の仮想ホスト名と仮想 IP アドレスが使用されます。The SAP HANA System Replication configuration uses a dedicated virtual hostname and virtual IP addresses. Azure では、仮想 IP アドレスを使用するためにロード バランサーが必要になります。On Azure, a load balancer is required to use a virtual IP address. ロード バランサーの構成を次に示します。The following list shows the configuration of the load balancer:

  • フロントエンド構成:IP アドレス 10.32.0.10 (hn1-db)Front-end configuration: IP address 10.32.0.10 for hn1-db
  • バックエンド構成:HANA システム レプリケーションに含める必要のあるすべての仮想マシンのプライマリ ネットワーク インターフェイスに接続済みBack-end configuration: Connected to primary network interfaces of all virtual machines that should be part of HANA System Replication
  • プローブ ポート:ポート 62503Probe Port: Port 62503
  • 負荷分散規則:30313 TCP、30315 TCP、30317 TCP、30340 TCP、30341 TCP、30342 TCP (基本的な Azure ロード バランサーを使用している場合)Load-balancing rules: 30313 TCP, 30315 TCP, 30317 TCP, 30340 TCP, 30341 TCP, 30342 TCP (if using Basic Azure Load balancer)

Azure NetApp Files インフラストラクチャの設定Set up the Azure NetApp File infrastructure

Azure NetApp Files インフラストラクチャの設定を続行する前に、Azure NetApp Files のドキュメントの内容をよく理解しておいてください。Before you proceed with the set up for Azure NetApp Files infrastructure, familiarize yourself with the Azure NetApp Files documentation.

Azure NetApp Files はいくつかの Azure リージョンで利用できます。Azure NetApp Files is available in several Azure regions. 選択した Azure リージョンで Azure NetApp Files が提供されているかどうかを確認してください。Check to see whether your selected Azure region offers Azure NetApp Files.

Azure リージョン別に Azure NetApp Files を利用できるかどうかについては、NetApp Files を利用できる Azure リージョンに関するページをご覧ください。For information about the availability of Azure NetApp Files by Azure region, see Azure NetApp Files Availability by Azure Region.

Azure NetApp Files をデプロイする前に、「Azure NetApp Files に登録する」の手順に従って、Azure NetApp Files へのオンボードを要求してください。Before you deploy Azure NetApp Files, request onboarding to Azure NetApp Files by going to Register for Azure NetApp Files instructions.

Azure NetApp Files リソースのデプロイDeploy Azure NetApp Files resources

以下の手順では、お使いの Azure 仮想ネットワークが既にデプロイされていることを前提としています。The following instructions assume that you've already deployed your Azure virtual network. Azure NetApp Files のリソースと、そのリソースがマウントされる VM は、同じ Azure 仮想ネットワーク内またはピアリングされた Azure 仮想ネットワーク内にデプロイする必要があります。The Azure NetApp Files resources and VMs, where the Azure NetApp Files resources will be mounted, must be deployed in the same Azure virtual network or in peered Azure virtual networks.

  1. リソースをまだデプロイしていない場合は、Azure NetApp Files へのオンボードを要求してください。If you haven't already deployed the resources, request onboarding to Azure NetApp Files.

  2. NetApp アカウントを作成する」の手順に従って、選択した Azure リージョンに NetApp アカウントを作成します。Create a NetApp account in your selected Azure region by following the instructions in Create a NetApp account.

  3. Azure NetApp Files の容量プールの設定に関するページの手順に従って、Azure NetApp Files の容量プールを設定します。Set up an Azure NetApp Files capacity pool by following the instructions in Set up an Azure NetApp Files capacity pool.

    この記事で示されている HANA アーキテクチャでは、"Ultra サービス" レベルで 1 つの Azure NetApp Files 容量プールが使用されています。The HANA architecture presented in this article uses a single Azure NetApp Files capacity pool at the Ultra Service level. Azure 上の HANA ワークロードの場合、Azure NetApp Files の Ultra または Premium サービス レベルを使用することをお勧めします。For HANA workloads on Azure, we recommend using an Azure NetApp Files Ultra or Premium service Level.

  4. サブネットを Azure NetApp Files に委任する」の手順に従って、サブネットを Azure NetApp Files に委任します。Delegate a subnet to Azure NetApp Files, as described in the instructions in Delegate a subnet to Azure NetApp Files.

  5. Azure NetApp Files の NFS ボリュームを作成する」の手順に従って、Azure NetApp Files のボリュームをデプロイします。Deploy Azure NetApp Files volumes by following the instructions in Create an NFS volume for Azure NetApp Files.

    ボリュームをデプロイするときは、NFSv4.1 バージョンを必ず選択してください。As you are deploying the volumes, be sure to select the NFSv4.1 version. 指定された Azure NetApp Files のサブネット内にボリュームをデプロイします。Deploy the volumes in the designated Azure NetApp Files subnet. Azure NetApp ボリュームの IP アドレスは、自動的に割り当てられます。The IP addresses of the Azure NetApp volumes are assigned automatically.

    Azure NetApp Files のリソースと Azure VM は、同じ Azure 仮想ネットワーク内またはピアリングされた Azure 仮想ネットワーク内に配置する必要があることに注意してください。Keep in mind that the Azure NetApp Files resources and the Azure VMs must be in the same Azure virtual network or in peered Azure virtual networks. たとえば、hanadb1-data-mnt00001、hanadb1-log-mnt00001 などはボリューム名で、nfs://10.32.2.4/hanadb1-data-mnt00001、nfs://10.32.2.4/hanadb1-log-mnt00001 などは Azure NetApp Files ボリュームのファイル パスです。For example, hanadb1-data-mnt00001, hanadb1-log-mnt00001, and so on, are the volume names and nfs://10.32.2.4/hanadb1-data-mnt00001, nfs://10.32.2.4/hanadb1-log-mnt00001, and so on, are the file paths for the Azure NetApp Files volumes.

    hanadb1 では次のとおりです。On hanadb1

    • ボリューム hanadb1-data-mnt00001 (nfs://10.32.2.4:/hanadb1-data-mnt00001)Volume hanadb1-data-mnt00001 (nfs://10.32.2.4:/hanadb1-data-mnt00001)
    • ボリューム hanadb1-log-mnt00001 (nfs://10.32.2.4:/hanadb1-log-mnt00001)Volume hanadb1-log-mnt00001 (nfs://10.32.2.4:/hanadb1-log-mnt00001)
    • ボリューム hanadb1-shared-mnt00001 (nfs://10.32.2.4:/hanadb1-shared-mnt00001)Volume hanadb1-shared-mnt00001 (nfs://10.32.2.4:/hanadb1-shared-mnt00001)

    hanadb2 では次のとおりです。On hanadb2

    • ボリューム hanadb2-data-mnt00001 (nfs://10.32.2.4:/hanadb2-data-mnt00001)Volume hanadb2-data-mnt00001 (nfs://10.32.2.4:/hanadb2-data-mnt00001)
    • ボリューム hanadb2-log-mnt00001 (nfs://10.32.2.4:/hanadb2-log-mnt00001)Volume hanadb2-log-mnt00001 (nfs://10.32.2.4:/hanadb2-log-mnt00001)
    • ボリューム hanadb2-shared-mnt00001 (nfs://10.32.2.4:/hanadb2-shared-mnt00001)Volume hanadb2-shared-mnt00001 (nfs://10.32.2.4:/hanadb2-shared-mnt00001)

重要な考慮事項Important considerations

SAP HANA スケールアップ システム用の Azure NetApp Files を作成するときは、次の考慮事項に注意してください。As you are creating your Azure NetApp Files for SAP HANA Scale-up systems, be aware of the following consideration:

  • 最小容量のプールは 4 テビバイト (TiB) です。The minimum capacity pool is 4 tebibytes (TiB).
  • 最小ボリューム サイズは 100 ギビバイト (GiB) です。The minimum volume size is 100 gibibytes (GiB).
  • Azure NetApp Files と、Azure NetApp Files のボリュームがマウントされるすべての仮想マシンは、同じ Azure 仮想ネットワーク内、または同じリージョン内のピアリングされた仮想ネットワーク内に存在する必要があります。Azure NetApp Files and all virtual machines where the Azure NetApp Files volumes will be mounted must be in the same Azure virtual network or in peered virtual networks in the same region.
  • 選択した仮想ネットワークには、Azure NetApp Files に委任されているサブネットがある必要があります。The selected virtual network must have a subnet that is delegated to Azure NetApp Files.
  • Azure NetApp Files ボリュームのスループットは、「Azure NetApp Files のサービス レベル」に記載されているように、ボリューム クォータとサービス レベルの機能です。The throughput of an Azure NetApp Files volume is a function of the volume quota and service level, as documented in Service level for Azure NetApp Files. HANA Azure NetApp ボリュームのサイズを設定するときは、そのスループットが HANA システム要件を満たしていることを確認してください。When you are sizing the HANA Azure NetApp volumes, make sure that the resulting throughput meets the HANA system requirements.
  • Azure NetApp Files のエクスポート ポリシーでは、ユーザーが制御できるのは、許可されたクライアントと、アクセスの種類 (読み取りと書き込み、読み取り専用など) です。With the Azure NetApp Files export policy, you can control the allowed clients, the access type (read-write, read only, and so on).
  • Azure NetApp Files 機能は、ゾーンにはまだ対応していません。The Azure NetApp Files feature is not zone-aware yet. 現在、その機能は、Azure リージョン内のすべての可用性ゾーンにはデプロイされていません。Currently, the feature is not deployed in all availability zones in an Azure region. Azure リージョンによっては、待ち時間が発生する可能性があることに注意してください。Be aware of the potential latency implications in some Azure regions.

重要

SAP HANA ワークロードにとって、待ち時間の短縮は重要です。For SAP HANA workloads, low latency is critical. Microsoft の担当者と協力して、仮想マシンと Azure NetApp Files ボリュームが確実に近接してデプロイされるようにします。Work with your Microsoft representative to ensure that the virtual machines and the Azure NetApp Files volumes are deployed in proximity.

Azure NetApp Files での HANA データベースのサイズ指定Sizing of HANA database on Azure NetApp Files

Azure NetApp Files ボリュームのスループットは、「Azure NetApp Files のサービス レベル」に記載されているように、ボリューム サイズとサービス レベルの機能です。The throughput of an Azure NetApp Files volume is a function of the volume size and service level, as documented in Service level for Azure NetApp Files.

Azure で SAP 用のインフラストラクチャを設計するときは、SAP による最小ストレージ要件に注意する必要があります。これは、最小スループット特性につながります。As you design the infrastructure for SAP in Azure, be aware of some minimum storage requirements by SAP, which translate into minimum throughput characteristics:

  • /hana/log での読み取り/書き込みは、1 MB の I/O サイズで、毎秒 250 メガバイト (MB/秒)。Read-write on /hana/log of 250 megabytes per second (MB/s) with 1-MB I/O sizes.
  • /hana/data での読み取りアクティビティは、16 MB および 64 MB の I/O サイズで、400 MB/秒以上。Read activity of at least 400 MB/s for /hana/data for 16-MB and 64-MB I/O sizes.
  • /hana/data での書き込みアクティビティは、16 MB および 64 MB の I/O サイズで、250 MB/秒以上。Write activity of at least 250 MB/s for /hana/data with 16-MB and 64-MB I/O sizes.

ボリューム クォータの 1 TiB あたりの Azure NetApp Files スループットの上限は次のとおりです。The Azure NetApp Files throughput limits per 1 TiB of volume quota are:

  • Premium Storage 層 - 64 MiB/秒Premium Storage tier - 64 MiB/s.
  • Ultra Storage 層 - 128 MiB/秒Ultra Storage tier - 128 MiB/s.

/hana/data と /hana/log に対する SAP の最小スループット要件、および /hana/shared のガイドラインを満たすため、推奨されるサイズは次のようになります。To meet the SAP minimum throughput requirements for /hana/data and /hana/log, and the guidelines for /hana/shared, the recommended sizes would be:

ボリュームVolume Premium Storage 層のサイズSize of Premium Storage Tier Ultra Storage 層のサイズSize of Ultra Storage Tier サポートされる NFS プロトコルSupported NFS Protocol
hana/log/hana/log 4 TiB4 TiB 2 TiB2 TiB v4.1v4.1
/hana/data/hana/data 6.3 TiB6.3 TiB 3.2 TiB3.2 TiB v4.1v4.1
/hana/shared/hana/shared 1 x RAM1 x RAM 1 x RAM1 x RAM v3 または v4.1v3 or v4.1

注意

ここで説明されている Azure NetApp Files のサイズ設定の推奨事項は、SAP がインフラストラクチャ プロバイダーに対して推奨している最小要件を満たすことを目標としています。The Azure NetApp Files sizing recommendations stated here are targeted to meet the minimum requirements that SAP recommends for their infrastructure providers. 実際の顧客のデプロイとワークロードのシナリオでは、これらのサイズでは十分ではない場合があります。In real customer deployments and workload scenarios, these sizes may not be sufficient. これらの推奨事項は開始点として利用し、ご自分の固有のワークロードの要件に合わせて調整してください。Use these recommendations as a starting point and adapt, based on the requirements of your specific workload.

ヒント

Azure NetApp Files ボリュームは、ボリュームを "マウント解除" したり、仮想マシンを停止したり、SAP HANA を停止したりする必要なく、動的にサイズ変更することができます。You can resize Azure NetApp Files volumes dynamically, without having to unmount the volumes, stop the virtual machines, or stop SAP HANA. この方法により、アプリケーションの予想されるスループット要求と予期しないスループット要求の両方を柔軟に満たすことができます。This approach allows flexibility to meet both the expected and unforeseen throughput demands of your application.

注意

この記事で /hana/shared をマウントするすべてのコマンドは、NFSv4.1 の /hana/shared ボリュームに対して示されています。All commands to mount /hana/shared in this article are presented for NFSv4.1 /hana/shared volumes. /hana/shared ボリュームを NFSv3 ボリュームとしてデプロイした場合は、必ず /hana/shared のマウント コマンドを NFSv3 用に調整してください。If you deployed the /hana/shared volumes as NFSv3 volumes, don't forget to adjust the mount commands for /hana/shared for NFSv3.

Azure portal を使用した Linux 仮想マシンのデプロイDeploy Linux virtual machine via Azure portal

最初に Azure NetApp Files ボリュームを作成する必要があります。First you need to create the Azure NetApp Files volumes. その後、次の手順を行います。Then do the following steps:

  1. リソース グループを作成します。Create a resource group.
  2. 仮想ネットワークを作成します。Create a virtual network.
  3. 可用性セットを作成します。Create an availability set. 更新ドメインの最大数を設定します。Set the max update domain.
  4. ロード バランサー (内部) を作成します。Create a load balancer (internal). Standard Load Balancer をお勧めします。We recommend standard load balancer. 手順 2 で作成した仮想ネットワークを選択します。Select the virtual network created in step 2.
  5. 仮想マシン 1 (hanadb1) を作成します。Create Virtual Machine 1 (hanadb1).
  6. 仮想マシン 2 (hanadb2) を作成します。Create Virtual Machine 2 (hanadb2).
  7. 仮想マシンの作成中は、すべてのマウント ポイントが Azure NetApp Files の NFS 共有にあるため、ディスクは追加しません。While creating virtual machine, we will not be adding any disk as all our mount points will be on NFS shares from Azure NetApp Files.

重要

フローティング IP は、負荷分散シナリオの NIC セカンダリ IP 構成ではサポートされていません。Floating IP is not supported on a NIC secondary IP configuration in load-balancing scenarios. 詳細については、Azure Load Balancer の制限事項に関する記事を参照してください。For details see Azure Load balancer Limitations. VM に追加の IP アドレスが必要な場合は、2 つ目の NIC をデプロイします。If you need additional IP address for the VM, deploy a second NIC.

注意

パブリック IP アドレスのない VM が、内部 (パブリック IP アドレスがない) Standard の Azure Load Balancer のバックエンド プール内に配置されている場合、パブリック エンドポイントへのルーティングを許可するように追加の構成が実行されない限り、送信インターネット接続はありません。When VMs without public IP addresses are placed in the backend pool of internal (no public IP address) Standard Azure load balancer, there will be no outbound internet connectivity, unless additional configuration is performed to allow routing to public end points. 送信接続を実現する方法の詳細については、「SAP の高可用性シナリオにおける Azure Standard Load Balancer を使用した Virtual Machines のパブリック エンドポイント接続」を参照してください。For details on how to achieve outbound connectivity see Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios.

  1. Standard Load Balancer を使用している場合は、次の構成手順に従います。If using standard load balancer, follow these configuration steps:

    1. まず、フロントエンド IP プールを作成します。First, create a front-end IP pool:
      1. ロード バランサーを開き、 [frontend IP pool](フロントエンド IP プール) を選択して [Add](追加) を選択しますOpen the load balancer, select frontend IP pool, and select Add.
      2. 新規のフロントエンド IP プールの名前を入力します (例: hana-frontend)。Enter the name of the new front-end IP pool (for example, hana-frontend).
      3. [割り当て][静的] に設定し、IP アドレスを入力します (例: 10.32.0.10)。Set the Assignment to Static and enter the IP address (for example, 10.32.0.10).
      4. [OK] を選択します。Select OK.
      5. 新しいフロントエンド IP プールが作成されたら、プールの IP アドレスを書き留めます。After the new front-end IP pool is created, note the pool IP address.
    2. 次に、バックエンド プールを作成します。Next, create a back-end pool:
      1. ロードバランサーを開き、 [backend pools](バックエンド プール) を選択し、 [Add](追加) を選択します。Open the load balancer, select backend pools, and select Add.
      2. 新しいバックエンド プールの名前を入力します (例: hana-backend)。Enter the name of the new back-end pool (for example, hana-backend).
      3. [Add a virtual machine](仮想マシンの追加) を選択します。Select Add a virtual machine.
      4. ** 仮想マシン**を選択します。Select ** Virtual machine**.
      5. SAP HANA クラスターの仮想マシンとその IP アドレスを選択します。Select the virtual machines of the SAP HANA cluster and their IP addresses.
      6. [追加] を選択します。Select Add.
    3. 次に、正常性プローブを作成します。Next, create a health probe:
      1. ロード バランサーを開き、 [health probes](正常性プローブ) を選択して [Add](追加) を選択します。Open the load balancer, select health probes, and select Add.
      2. 新しい正常性プローブの名前を入力します (例: hana-hp)。Enter the name of the new health probe (for example, hana-hp).
      3. プロトコルとして [TCP] を選択し、ポート 625 03 を選択します。Select TCP as the protocol and port 625 03. [Interval](間隔) の値を 5 に設定し、 [Unhealthy threshold](異常しきい値) の値を 2 に設定します。Keep the Interval value set to 5, and the Unhealthy threshold value set to 2.
      4. [OK] を選択します。Select OK.
    4. 次に、負荷分散規則を作成します。Next, create the load-balancing rules:
      1. ロード バランサーを開き、 [load balancing rules](負荷分散規則) を選択して [Add](追加) を選択します。Open the load balancer, select load balancing rules, and select Add.
      2. 新しいロード バランサー規則の名前を入力します (例: hana-lb)。Enter the name of the new load balancer rule (for example, hana-lb).
      3. 前の手順で作成したフロントエンド IP アドレス、バックエンド プール、正常性プローブを選択します (例: hana-frontendhana-backendhana-hp)。Select the front-end IP address, the back-end pool, and the health probe that you created earlier (for example, hana-frontend, hana-backend and hana-hp).
      4. [HA ポート] を選択します。Select HA Ports.
      5. [idle timeout](アイドル タイムアウト) を 30 分に増やしますIncrease the idle timeout to 30 minutes.
      6. Floating IP を有効にしますMake sure to enable Floating IP.
      7. [OK] を選択します。Select OK.
  2. または、Basic Load Balancer を使用するシナリオの場合は、次の構成手順に従います。Alternatively, if your scenario dictates using basic load balancer, follow these configuration steps:

    1. ロードバランサーを構成します。Configure the load balancer. まず、フロントエンド IP プールを作成します。First, create a front-end IP pool:
      1. ロード バランサーを開き、 [frontend IP pool](フロントエンド IP プール) を選択して [Add](追加) を選択しますOpen the load balancer, select frontend IP pool, and select Add.
      2. 新規のフロントエンド IP プールの名前を入力します (例: hana-frontend)。Enter the name of the new front-end IP pool (for example, hana-frontend).
      3. [割り当て][静的] に設定し、IP アドレスを入力します (例: 10.32.0.10)。Set the Assignment to Static and enter the IP address (for example, 10.32.0.10).
      4. [OK] を選択します。Select OK.
      5. 新しいフロントエンド IP プールが作成されたら、プールの IP アドレスを書き留めます。After the new front-end IP pool is created, note the pool IP address.
    2. 次に、バックエンド プールを作成します。Next, create a back-end pool:
      1. ロードバランサーを開き、 [backend pools](バックエンド プール) を選択し、 [Add](追加) を選択します。Open the load balancer, select backend pools, and select Add.
      2. 新しいバックエンド プールの名前を入力します (例: hana-backend)。Enter the name of the new back-end pool (for example, hana-backend).
      3. [Add a virtual machine](仮想マシンの追加) を選択します。Select Add a virtual machine.
      4. 手順 3 で作成した可用性セットを選択します。Select the availability set created in step 3.
      5. SAP HANA クラスターの仮想マシンを選択します。Select the virtual machines of the SAP HANA cluster.
      6. [OK] を選択します。Select OK.
    3. 次に、正常性プローブを作成します。Next, create a health probe:
      1. ロード バランサーを開き、 [health probes](正常性プローブ) を選択して [Add](追加) を選択します。Open the load balancer, select health probes, and select Add.
      2. 新しい正常性プローブの名前を入力します (例: hana-hp)。Enter the name of the new health probe (for example, hana-hp).
      3. プロトコルとして [TCP] を選択し、ポート 625 03 を選択します。Select TCP as the protocol and port 625 03. [Interval](間隔) の値を 5 に設定し、 [Unhealthy threshold](異常しきい値) の値を 2 に設定します。Keep the Interval value set to 5, and the Unhealthy threshold value set to 2.
      4. [OK] を選択します。Select OK.
    4. SAP HANA 1.0 の場合は、負荷分散規則を作成します。For SAP HANA 1.0, create the load-balancing rules:
      1. ロード バランサーを開き、 [load balancing rules](負荷分散規則) を選択して [Add](追加) を選択します。Open the load balancer, select load balancing rules, and select Add.
      2. 新しいロード バランサー規則の名前を入力します (例: hana-lb-3 03 15)。Enter the name of the new load balancer rule (for example, hana-lb-3 03 15).
      3. 前の手順で作成したフロントエンド IP アドレス、バックエンド プール、正常性プローブを選択します (例: hana-frontend)。Select the front-end IP address, the back-end pool, and the health probe that you created earlier (for example, hana-frontend).
      4. [Protocol](プロトコル)[TCP] に設定し、ポート 3 03 15 を入力します。Keep the Protocol set to TCP, and enter port 3 03 15.
      5. [idle timeout](アイドル タイムアウト) を 30 分に増やしますIncrease the idle timeout to 30 minutes.
      6. Floating IP を有効にしますMake sure to enable Floating IP.
      7. [OK] を選択します。Select OK.
      8. ポート 3 03 17 について、これらの手順を繰り返します。Repeat these steps for port 3 03 17.
    5. SAP HANA 2.0 の場合は、システム データベースの負荷分散規則を作成します。For SAP HANA 2.0, create the load-balancing rules for the system database:
      1. ロード バランサーを開き、 [load balancing rules](負荷分散規則) を選択して [Add](追加) を選択します。Open the load balancer, select load balancing rules, and select Add.
      2. 新しいロード バランサー規則の名前を入力します (例: hana-lb-3 03 13)。Enter the name of the new load balancer rule (for example, hana-lb-3 03 13).
      3. 前の手順で作成したフロントエンド IP アドレス、バックエンド プール、正常性プローブを選択します (例: hana-frontend)。Select the front-end IP address, the back-end pool, and the health probe that you created earlier (for example, hana-frontend).
      4. [Protocol](プロトコル)[TCP] に設定し、ポート 3 03 13 を入力します。Keep the Protocol set to TCP, and enter port 3 03 13.
      5. [idle timeout](アイドル タイムアウト) を 30 分に増やしますIncrease the idle timeout to 30 minutes.
      6. Floating IP を有効にしますMake sure to enable Floating IP.
      7. [OK] を選択します。Select OK.
      8. ポート 3 03 14 について、これらの手順を繰り返します。Repeat these steps for port 3 03 14.
    6. SAP HANA 2.0 の場合は、まずテナント データベースの負荷分散規則を作成します。For SAP HANA 2.0, first create the load-balancing rules for the tenant database:
      1. ロード バランサーを開き、 [load balancing rules](負荷分散規則) を選択して [Add](追加) を選択します。Open the load balancer, select load balancing rules, and select Add.
      2. 新しいロード バランサー規則の名前を入力します (例: hana-lb-3 03 40)。Enter the name of the new load balancer rule (for example, hana-lb-3 03 40).
      3. 前の手順で作成したフロントエンド IP アドレス、バックエンド プール、正常性プローブを選択します (例: hana-frontend)。Select the frontend IP address, backend pool, and health probe you created earlier (for example, hana-frontend).
      4. [Protocol](プロトコル)[TCP] に設定し、ポート 3 03 40 を入力します。Keep the Protocol set to TCP, and enter port 3 03 40.
      5. [idle timeout](アイドル タイムアウト) を 30 分に増やしますIncrease the idle timeout to 30 minutes.
      6. Floating IP を有効にしますMake sure to enable Floating IP.
      7. [OK] を選択します。Select OK.
      8. ポート 3 03 41 と 3 03 42 について、これらの手順を繰り返します。Repeat these steps for ports 3 03 41 and 3 03 42.

SAP HANA に必要なポートについて詳しくは、SAP HANA テナント データベース ガイドのテナント データベースへの接続に関する章または SAP Note 2388694 を参照してください。For more information about the required ports for SAP HANA, read the chapter Connections to Tenant Databases in the SAP HANA Tenant Databases guide or SAP Note 2388694.

重要

Azure Load Balancer の背後に配置された Azure VM では TCP タイムスタンプを有効にしないでください。Do not enable TCP timestamps on Azure VMs placed behind Azure Load Balancer. TCP タイムスタンプを有効にすると正常性プローブが失敗することになります。Enabling TCP timestamps will cause the health probes to fail. パラメーター net.ipv4.tcp_timestamps0 に設定します。Set parameter net.ipv4.tcp_timestamps to 0. 詳しくは、「Load Balancer の正常性プローブ」を参照してください。For details see Load Balancer health probes. SAP Note 2382421 も参照してください。See also SAP note 2382421.

Azure NetApp Files ボリュームのマウントMount the Azure NetApp Files volume

  1. [A] HANA データベース ボリュームのマウント ポイントを作成します。[A] Create mount points for the HANA database volumes.

    mkdir -p /hana/data
    mkdir -p /hana/log
    mkdir -p /hana/shared
    
  2. [A] NFS ドメイン設定を確認します。[A] Verify the NFS domain setting. ドメインが既定の Azure NetApp Files ドメイン (つまり、defaultv4iddomain.com) として構成され、マッピングが nobody に設定されていることを確認します。Make sure that the domain is configured as the default Azure NetApp Files domain, i.e. defaultv4iddomain.com and the mapping is set to nobody.

    sudo cat /etc/idmapd.conf
    # Example
    [General]
    Domain = defaultv4iddomain.com
    [Mapping]
    Nobody-User = nobody
    Nobody-Group = nobody
    

    重要

    Azure NetApp Files の既定のドメイン構成 (defaultv4iddomain.com) と一致するように、VM 上の /etc/idmapd.conf に NFS ドメインを設定していることを確認します。Make sure to set the NFS domain in /etc/idmapd.conf on the VM to match the default domain configuration on Azure NetApp Files: defaultv4iddomain.com. NFS クライアント (つまり、VM) と NFS サーバー (つまり、Azure NetApp 構成) のドメイン構成が一致しない場合、VM にマウントされている Azure NetApp ボリューム上のファイルのアクセス許可は nobody と表示されます。If there's a mismatch between the domain configuration on the NFS client (i.e. the VM) and the NFS server, i.e. the Azure NetApp configuration, then the permissions for files on Azure NetApp volumes that are mounted on the VMs will be displayed as nobody.

  3. [1] node1 (hanadb1) にノード固有のボリュームをマウントします[1] Mount the node-specific volumes on node1 (hanadb1)

    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.32.2.4:/hanadb1-shared-mnt00001 /hana/shared
    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.32.2.4:/hanadb1-log-mnt00001 /hana/log
    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.32.2.4:/hanadb1-data-mnt00001 /hana/data
    
  4. [2] node2 (hanadb2) にノード固有のボリュームをマウントします[2] Mount the node-specific volumes on node2 (hanadb2)

    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.32.2.4:/hanadb2-shared-mnt00001 /hana/shared
    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.32.2.4:/hanadb2-log-mnt00001 /hana/log
    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.32.2.4:/hanadb2-data-mnt00001 /hana/data
    
  5. [A] すべての HANA ボリュームが NFS プロトコル バージョン NFSv4 でマウントされていることを確認します。[A] Verify that all HANA volumes are mounted with NFS protocol version NFSv4.

    sudo nfsstat -m
    
    # Verify that flag vers is set to 4.1 
    # Example from hanadb1
    
    /hana/log from 10.32.2.4:/hanadb1-log-mnt00001
    Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.32.0.4,local_lock=none,addr=10.32.2.4
    /hana/data from 10.32.2.4:/hanadb1-data-mnt00001
    Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.32.0.4,local_lock=none,addr=10.32.2.4
    /hana/shared from 10.32.2.4:/hanadb1-shared-mnt00001
    Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.32.0.4,local_lock=none,addr=10.32.2.4
    
  6. [A] nfs4_disable_idmapping を確認します。[A] Verify nfs4_disable_idmapping. これは、Y に設定されている必要があります。nfs4_disable_idmapping が配置されるディレクトリ構造を作成するには、mount コマンドを実行します。It should be set to Y. To create the directory structure where nfs4_disable_idmapping is located, execute the mount command. アクセスがカーネル/ドライバー用に予約されるため、/sys/modules の下に手動でディレクトリを作成することはできなくなります。You won't be able to manually create the directory under /sys/modules, because access is reserved for the kernel / drivers.

    # Check nfs4_disable_idmapping 
    cat /sys/module/nfs/parameters/nfs4_disable_idmapping
    
    # If you need to set nfs4_disable_idmapping to Y
    echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
    
    # Make the configuration permanent
    echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
    

    nfs_disable_idmapping パラメーターを変更する方法については、https://access.redhat.com/solutions/1749883 を参照してください。For more details on how to change nfs_disable_idmapping parameter, see https://access.redhat.com/solutions/1749883.

SAP HANA のインストールSAP HANA installation

  1. [A] すべてのホストにホスト名解決を設定します。[A] Set up host name resolution for all hosts.

    DNS サーバーを使用するか、すべてのノードの /etc/hosts ファイルを変更することができます。You can either use a DNS server or modify the /etc/hosts file on all nodes. この例では、/etc/hosts ファイルを使用する方法を示しています。This example shows you how to use the /etc/hosts file. 次のコマンドの IP アドレスとホスト名を置き換えます。Replace the IP address and the hostname in the following commands:

    sudo vi /etc/hosts
    # Insert the following lines in the /etc/hosts file. Change the IP address and hostname to match your environment  
    10.32.0.4   hanadb1
    10.32.0.5   hanadb2
    
  2. [A] HANA 構成のための RHEL[A] RHEL for HANA Configuration

    RHEL のバージョンに応じて、次の SAP Note で説明されているように RHEL を構成します。Configure RHEL as described in below SAP Note based on your RHEL version

  3. [A] SAP HANA をインストールします[A] Install the SAP HANA

    HANA 2.0 SPS 01 から、MDC が既定のオプションです。Started with HANA 2.0 SPS 01, MDC is the default option. HANA システムをインストールすると、SYSTEMDB と、同じ SID を持つテナントが一緒に作成されます。When you install HANA system, SYSTEMDB and a tenant with same SID will be created together. 既定のテナントを使用しない場合もあります。In some case you do not want the default tenant. インストール時に初期テナントを作成しない場合、SAP Note 2629711 の指示に従うことができます。In case, if you don’t want to create initial tenant along with the installation you can follow SAP Note 2629711

    HANA DVD から hdblcm プログラムを実行します。Run the hdblcm program from the HANA DVD. プロンプトで次の値を入力します。Enter the following values at the prompt:
    Choose installation (インストールの選択):「1」を入力します (インストールの場合)Choose installation: Enter 1 (for install)
    Select additional components for installation (追加でインストールするコンポーネントの選択):1 を入力します。Select additional components for installation: Enter 1.
    Enter Installation Path (インストール パスの入力) [/hana/shared]: Enter キーを押して既定値をそのまま使用しますEnter Installation Path [/hana/shared]: press Enter to accept the default
    Enter Local Host Name (ローカル ホスト名の入力) [..]:Enter キーを押して既定値をそのまま使用しますEnter Local Host Name [..]: Press Enter to accept the default
    Do you want to add additional hosts to the system? (システムに別のホストを追加しますか?)Do you want to add additional hosts to the system? (y/n) [n]: n(y/n) [n]: n
    Enter SAP HANA System ID (SAP HANA のシステム ID を入力):「HN1」を入力します。Enter SAP HANA System ID: Enter HN1.
    Enter Instance Number [00] (インスタンス番号 (00) の入力):「03」を入力しますEnter Instance Number [00]: Enter 03
    Select Database Mode / Enter Index (データベース モードの選択/インデックスを入力) [1]: Enter キーを押して既定値をそのまま使用しますSelect Database Mode / Enter Index [1]: press Enter to accept the default
    Select System Usage / Enter Index (システム用途の選択/インデックスを入力) [4]: 「4」を入力します (カスタム)Select System Usage / Enter Index [4]: enter 4 (for custom)
    Enter Location of Data Volumes (データ ボリュームの場所を入力) [/hana/data]: Enter キーを押して既定値をそのまま使用しますEnter Location of Data Volumes [/hana/data]: press Enter to accept the default
    Enter Location of Log Volumes (ログ ボリュームの場所を入力) [/hana/log]: Enter キーを押して既定値をそのまま使用しますEnter Location of Log Volumes [/hana/log]: press Enter to accept the default
    Restrict maximum memory allocation? (メモリの最大割り当てを制限しますか?)Restrict maximum memory allocation? [n]: Enter キーを押して既定値をそのまま使用します
    Enter Certificate Host Name For Host '...' (ホスト '...' の証明書ホスト名を入力) [...]: Enter キーを押して既定値をそのまま使用しますEnter Certificate Host Name For Host '...' [...]: press Enter to accept the default
    Enter SAP Host Agent User (sapadm) Password (SAP ホスト エージェントのユーザー (sapadm) パスワードを入力):ホスト エージェントのユーザー パスワードを入力しますEnter SAP Host Agent User (sapadm) Password: Enter the host agent user password
    Confirm SAP Host Agent User (sapadm) Password (SAP ホスト エージェントのユーザー (sapadm) パスワードを確認):確認用にホスト エージェントのユーザー パスワードを再入力しますConfirm SAP Host Agent User (sapadm) Password: Enter the host agent user password again to confirm
    Enter System Administrator (hn1adm) Password(システム管理者 (hn1adm) のパスワードを入力):システム管理者のパスワードを入力しますEnter System Administrator (hn1adm) Password: Enter the system administrator password
    Confirm System Administrator (hn1adm) Password (システム管理者 (hn1adm) のパスワードを確認):確認用にシステム管理者のパスワードを再入力しますConfirm System Administrator (hn1adm) Password: Enter the system administrator password again to confirm
    Enter System Administrator Home Directory (システム管理者のホーム ディレクトリを入力) [/usr/sap/HN1/home]: Enter キーを押して既定値をそのまま使用しますEnter System Administrator Home Directory [/usr/sap/HN1/home]: press Enter to accept the default
    Enter System Administrator Login Shell (システム管理者のログイン シェルを入力) [/bin/sh]: Enter キーを押して既定値をそのまま使用しますEnter System Administrator Login Shell [/bin/sh]: press Enter to accept the default
    Enter System Administrator User ID (システム管理者のユーザー ID を入力) [1001]: Enter キーを押して既定値をそのまま使用しますEnter System Administrator User ID [1001]: press Enter to accept the default
    Enter ID of User Group (sapsys) (ユーザー グループ (sapsys) のID を入力) [79]: Enter キーを押して既定値をそのまま使用しますEnter ID of User Group (sapsys) [79]: press Enter to accept the default
    Enter Database User (SYSTEM) Password (データベース ユーザー (SYSTEM) のパスワードを入力):データベース ユーザーのパスワードを入力しますEnter Database User (SYSTEM) Password: Enter the database user password
    Confirm Database User (SYSTEM) Password (データベース ユーザー (SYSTEM) のパスワードを確認):確認用にデータベース ユーザーのパスワードを再入力しますConfirm Database User (SYSTEM) Password: Enter the database user password again to confirm
    Restart system after machine reboot? (コンピューターの再起動後にシステムを再起動しますか?)Restart system after machine reboot? [n]: Enter キーを押して既定値をそのまま使用します
    Do you want to continue? (続行してもよろしいですか?)Do you want to continue? (y/n):概要を確認します。(y/n): Validate the summary. y」と入力して続行しますEnter y to continue

  4. [A] SAP Host Agent をアップグレードします[A] Upgrade SAP Host Agent

    SAP Software Center から最新の SAP Host Agent アーカイブをダウンロードし、次のコマンドを実行してエージェントをアップグレードします。Download the latest SAP Host Agent archive from the SAP Software Center and run the following command to upgrade the agent. アーカイブのパスを置き換えて、ダウンロードしたファイルを示すようにします。Replace the path to the archive to point to the file that you downloaded:

    sudo /usr/sap/hostctrl/exe/saphostexec -upgrade -archive <path to SAP Host Agent SAR>
    
  5. [A] ファイアウォールを構成します[A] Configure firewall

    Azure ロード バランサーのプローブ ポート用にファイアウォール規則を作成します。Create the firewall rule for the Azure load balancer probe port.

    sudo firewall-cmd --zone=public --add-port=62503/tcp
    sudo firewall-cmd --zone=public --add-port=62503/tcp –permanent
    

SAP HANA システム レプリケーションの構成Configure SAP HANA system replication

SAP HANA システム レプリケーションのセットアップの手順に従って、SAP HANA システム レプリケーションを構成します。Follow the steps in Set up SAP HANA System Replication to configure SAP HANA System Replication.

クラスター構成Cluster configuration

このセクションでは、Azure NetApp Files を使用して NFS 共有に SAP HANA をインストールしている場合に、クラスターをシームレスに運用するために必要な手順について説明します。This section describes necessary steps required for cluster to operate seamlessly when SAP HANA is installed on NFS shares using Azure NetApp Files.

Pacemaker クラスターの作成Create a Pacemaker cluster

Azure の Red Hat Enterprise Linux に Pacemaker をセットアップする」の手順に従って、この HANA サーバーに対して基本的な Pacemaker クラスターを作成します。Follow the steps in Setting up Pacemaker on Red Hat Enterprise Linux in Azure to create a basic Pacemaker cluster for this HANA server.

Filesystem リソースの構成Configure filesystem resources

この例では、各クラスター ノードに独自の HANA NFS ファイル システム /hana/shared、/hana/data、および /hana/log があります。In this example each cluster node has its own HANA NFS filesystems /hana/shared, /hana/data, and /hana/log.

  1. [1] クラスターをメンテナンス モードにします。[1] Put the cluster in maintenance mode.

    pcs property set maintenance-mode=true
    
  2. [1] hanadb1 マウント用の Filesystem リソースを作成します。[1] Create the Filesystem resources for the hanadb1 mounts.

    pcs resource create hana_data1 ocf:heartbeat:Filesystem device=10.32.2.4:/hanadb1-data-mnt00001 directory=/hana/data fstype=nfs options=rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 --group hanadb1_nfs
    pcs resource create hana_log1 ocf:heartbeat:Filesystem device=10.32.2.4:/hanadb1-log-mnt00001 directory=/hana/log fstype=nfs options=rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 --group hanadb1_nfs
    pcs resource create hana_shared1 ocf:heartbeat:Filesystem device=10.32.2.4:/hanadb1-shared-mnt00001 directory=/hana/shared fstype=nfs options=rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 --group hanadb1_nfs
    
  3. [2] hanadb2 マウント用の Filesystem リソースを作成します。[2] Create the Filesystem resources for the hanadb2 mounts.

    pcs resource create hana_data2 ocf:heartbeat:Filesystem device=10.32.2.4:/hanadb2-data-mnt00001 directory=/hana/data fstype=nfs options=rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 --group hanadb2_nfs
    pcs resource create hana_log2 ocf:heartbeat:Filesystem device=10.32.2.4:/hanadb2-log-mnt00001 directory=/hana/log fstype=nfs options=rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 --group hanadb2_nfs
    pcs resource create hana_shared2 ocf:heartbeat:Filesystem device=10.32.2.4:/hanadb2-shared-mnt00001 directory=/hana/shared fstype=nfs options=rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 --group hanadb2_nfs
    

    監視ごとにファイル システムの読み取り/書き込みテストを実行するよう、OCF_CHECK_LEVEL=20 属性が監視操作に追加されます。OCF_CHECK_LEVEL=20 attribute is added to the monitor operation so that each monitor performs a read/write test on the filesystem. この属性がない場合、監視操作ではファイル システムがマウントされていることを確認するだけです。Without this attribute, the monitor operation only verifies that the filesystem is mounted. 接続が失われると、アクセス不可能であるにもかかわらずファイル システムがマウントされたままになる場合があるため、これは問題になる可能性があります。This can be a problem because when connectivity is lost, the filesystem may remain mounted despite being inaccessible.

    on-fail=fence 属性も監視操作に追加されます。on-fail=fence attribute is also added to the monitor operation. このオプションを使用すると、ノードで監視操作が失敗した場合、そのノードはすぐにフェンスされます。With this option, if the monitor operation fails on a node, that node is immediately fenced. このオプションがない場合、既定の動作では、障害が発生したリソースに依存するすべてのリソースを停止し、障害が発生したリソースを再起動してから、障害が発生したリソースに依存するすべてのリソースを起動します。Without this option, the default behavior is to stop all resources that depend on the failed resource, then restart the failed resource, then start all the resources that depend on the failed resource. 障害が発生したリソースに SAPHana リソースが依存している場合、この動作は時間がかかる可能性があるだけでなく、完全に失敗する可能性もあります。Not only can this behavior take a long time when an SAPHana resource depends on the failed resource, but it also can fail altogether. HANA 実行可能ファイルを保持している NFS サーバーにアクセスできない場合、SAPHana リソースは正常に停止できません。The SAPHana resource cannot stop successfully if the NFS server holding the HANA executables is inaccessible.

  4. [1] 場所の制約の構成[1] Configuring Location Constraints

    場所の制約を構成して、hanadb1 固有のマウントを管理するリソースを hanadb2 で決して実行できないこと、またその逆を保証します。Configure location constraints to ensure that the resources that manage hanadb1 unique mounts can never run on hanadb2, and vice-versa.

    pcs constraint location hanadb1_nfs rule score=-INFINITY resource-discovery=never \#uname eq hanadb2
    pcs constraint location hanadb2_nfs rule score=-INFINITY resource-discovery=never \#uname eq hanadb1
    

    resource-discovery=never オプションを設定するのは、各ノード固有のマウントで同じマウント ポイントを共有するからです。The resource-discovery=never option is set because the unique mounts for each node share the same mount point. たとえば、hana_data1 はマウント ポイント /hana/data を使用し、hana_data2 もマウント ポイント /hana/data を使用します。For example, hana_data1 uses mount point /hana/data, and hana_data2 also uses mount point /hana/data. これにより、クラスター起動時にリソースの状態をチェックするときにプローブ操作の誤検出が起きる可能性があり、その結果として不要な回復動作が発生する可能性があります。This can cause a false positive for a probe operation, when resource state is checked at cluster startup, and this can in turn cause unnecessary recovery behavior. これは resource-discovery=never を設定することで回避できます。This can be avoided by setting resource-discovery=never

  5. [1] 属性リソースの構成[1] Configuring Attribute Resources

    属性リソースを構成します。Configure attribute resources. これらの属性は、ノードの NFS マウント (/hana/data、/hana/log、および /hana/data) がすべてマウントされている場合は true に設定され、そうでない場合は false に設定されます。These attributes will be set to true if all of a node's NFS mounts (/hana/data, /hana/log, and /hana/data) are mounted and will be set to false otherwise.

    pcs resource create hana_nfs1_active ocf:pacemaker:attribute active_value=true inactive_value=false name=hana_nfs1_active
    pcs resource create hana_nfs2_active ocf:pacemaker:attribute active_value=true inactive_value=false name=hana_nfs2_active
    
  6. [1] 場所の制約の構成[1] Configuring Location Constraints

    hanadb1 の属性リソースが hanadb2 で決して実行されず、その逆も起きないように場所の制約を構成します。Configure location constraints to ensure that hanadb1’s attribute resource never runs on hanadb2, and vice-versa.

    pcs constraint location hana_nfs1_active avoids hanadb2
    pcs constraint location hana_nfs2_active avoids hanadb1
    
  7. [1] 順序制約の作成[1] Creating Ordering Constraints

    ノードの NFS マウントがすべてマウントされた後でないとノードの属性リソースが起動しないように、順序制約を構成します。Configure ordering constraints so that a node's attribute resources start only after all of the node's NFS mounts are mounted.

    pcs constraint order hanadb1_nfs then hana_nfs1_active
    pcs constraint order hanadb2_nfs then hana_nfs2_active
    

    ヒント

    構成にグループ hanadb1_nfs または hanadb2_nfs の外部のファイル システムが含まれる場合、ファイル システム間に順序の依存関係がなくなるよう、sequential=false オプションを含めます。If your configuration includes file systems, outside of group hanadb1_nfs or hanadb2_nfs, then include the sequential=false option, so that there are no ordering dependencies among the file systems. すべてのファイル システムは、相対的な起動順序の制約はありませんが、hana_nfs1_active よりも先に起動しなければなりません。All file systems must start before hana_nfs1_active, but they do not need to start in any order relative to each other. 詳細については、HANA ファイル システムが NFS 共有にある場合に Pacemaker クラスターでのスケールアップで SAP HANA システム レプリケーションを構成する方法に関するページを参照してください。For more details see How do I configure SAP HANA System Replication in Scale-Up in a Pacemaker cluster when the HANA filesystems are on NFS shares

SAP HANA クラスター リソースの構成Configure SAP HANA cluster resources

  1. SAP HANA クラスター リソースの作成」の手順に従って、クラスターに SAP HANA リソースを作成します。Follow the steps in Create SAP HANA cluster resources to create the SAP HANA Resources in the cluster. SAP HANA リソースを作成したら、SAP HANA リソースとファイル システム (NFS マウント) の間に場所ルール制約を作成する必要があります。Once SAP HANA resources are created, we need to create a location rule constraint between SAP HANA resources and Filesystems (NFS Mounts)

  2. [1] SAP HANA リソースと NFS マウント間の制約の構成[1] Configure constraints between the SAP HANA resources and the NFS mounts

    ノードの NFS マウントがすべてマウントされている場合にのみ SAP HANA リソースをノードで実行できるよう、場所ルール制約を設定します。Location rule constraints will be set so that the SAP HANA resources can run on a node only if all of the node's NFS mounts are mounted.

    pcs constraint location SAPHanaTopology_HN1_03-clone rule score=-INFINITY hana_nfs1_active ne true and hana_nfs2_active ne true
    # On RHEL 7.x
    pcs constraint location SAPHana_HN1_03-master rule score=-INFINITY hana_nfs1_active ne true and hana_nfs2_active ne true
    # On RHEL 8.x
    pcs constraint location SAPHana_HN1_03-clone rule score=-INFINITY hana_nfs1_active ne true and hana_nfs2_active ne true
    # Take the cluster out of maintenance mode
    sudo pcs property set maintenance-mode=false
    

    クラスターとすべてのリソースの状態のチェックCheck the status of cluster and all the resources

    注意

    この記事には、Microsoft が使用しなくなった "スレーブ" という用語への言及が含まれています。This article contains references to the term slave, a term that Microsoft no longer uses. ソフトウェアからこの用語が削除された時点で、この記事から削除します。When the term is removed from the software, we’ll remove it from this article.

    sudo pcs status
    
    Online: [ hanadb1 hanadb2 ]
    
    Full list of resources:
    
    rsc_hdb_azr_agt(stonith:fence_azure_arm):  Started hanadb1
    
    Resource Group: hanadb1_nfs
    hana_data1 (ocf::heartbeat:Filesystem):Started hanadb1
    hana_log1  (ocf::heartbeat:Filesystem):Started hanadb1
    hana_shared1   (ocf::heartbeat:Filesystem):Started hanadb1
    
    Resource Group: hanadb2_nfs
    hana_data2 (ocf::heartbeat:Filesystem):Started hanadb2
    hana_log2  (ocf::heartbeat:Filesystem):Started hanadb2
    hana_shared2   (ocf::heartbeat:Filesystem):Started hanadb2
    
    hana_nfs1_active   (ocf::pacemaker:attribute): Started hanadb1
    hana_nfs2_active   (ocf::pacemaker:attribute): Started hanadb2
    
    Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hanadb1 hanadb2 ]
    
    Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hanadb1 ]
    Slaves: [ hanadb2 ]
    
    Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):  Started hanadb1
    vip_HN1_03 (ocf::heartbeat:IPaddr2):   Started hanadb1
    

クラスターの設定をテストするTest the cluster setup

ここでは、設定をテストする方法について説明します。This section describes how you can test your setup.

  1. テストを開始する前に、Pacemaker に (pcs status での) 失敗したアクションがないこと、予期しない場所の制約 (たとえば移行テストの残り物) がないこと、HANA システム レプリケーションが (たとえば systemReplicationStatus で) 同期していることを確認します。Before you start a test, make sure that Pacemaker does not have any failed action (via pcs status), there are no unexpected location constraints (for example leftovers of a migration test) and that HANA system replication is sync state, for example with systemReplicationStatus:

    sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
    
  2. ノードが NFS 共有 (/hana/shared) へのアクセスを失ったときの障害シナリオに備えてクラスター構成を検証します。Verify the cluster configuration for a failure scenario when a node loses access to the NFS share (/hana/shared)

    SAP HANA リソース エージェントでは、フェールオーバー中の操作の実行は /hana/shared に保存されるバイナリに依存しています。The SAP HANA resource agents depend on binaries, stored on /hana/shared to perform operations during failover. 提示されるシナリオでは、ファイル システム /hana/shared は NFS 経由でマウントされます。File system /hana/shared is mounted over NFS in the presented scenario.
    サーバーの 1 つが NFS 共有へのアクセスを失う障害をシミュレートすることは困難です。It is difficult to simulate a failure, where one of the servers loses access to the NFS share. 実行できるテストは、ファイル システムを読み取り専用として再マウントすることです。A test that can be performed is to re-mount the file system as read-only. この方法では、アクティブ ノードで /hana/shared へのアクセスが失われた場合にクラスターがフェールオーバーできることを検証します。This approach validates that the cluster will be able to failover, if access to /hana/shared is lost on the active node.

    予測される結果: /hana/shared を読み取り専用ファイル システムとして作成すると、ファイル システムの読み取り/書き込み操作を実行するリソース hana_shared1OCF_CHECK_LEVEL 属性は、ファイル システムに何も書き込めないため失敗し、HANA リソースのフェールオーバーを実行します。Expected Result: On making /hana/shared as read-only file system, the OCF_CHECK_LEVEL attribute of the resource hana_shared1 which performs read/write operation on file system will fail as it is not able to write anything on the file system and will perform HANA resource failover. HANA ノードが NFS 共有へのアクセスを失った場合も、同じ結果が予想されます。The same result is expected when your HANA node loses access to the NFS shares.

    テスト開始前のリソースの状態:Resource state before starting the test:

    sudo pcs status
    # Example output
    Full list of resources:
     rsc_hdb_azr_agt        (stonith:fence_azure_arm):      Started hanadb1
    
     Resource Group: hanadb1_nfs
         hana_data1 (ocf::heartbeat:Filesystem):    Started hanadb1
         hana_log1  (ocf::heartbeat:Filesystem):    Started hanadb1
         hana_shared1       (ocf::heartbeat:Filesystem):    Started hanadb1
    
    Resource Group: hanadb2_nfs
         hana_data2 (ocf::heartbeat:Filesystem):    Started hanadb2
         hana_log2  (ocf::heartbeat:Filesystem):    Started hanadb2
         hana_shared2       (ocf::heartbeat:Filesystem):    Started hanadb2
    
     hana_nfs1_active       (ocf::pacemaker:attribute):     Started hanadb1
     hana_nfs2_active       (ocf::pacemaker:attribute):     Started hanadb2
    
     Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
         Started: [ hanadb1 hanadb2 ]
    
     Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
         Masters: [ hanadb1 ]
         Slaves: [ hanadb2 ]
    
     Resource Group: g_ip_HN1_03
         nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hanadb1
         vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hanadb1
    

    次のコマンドを使用して、アクティブなクラスター ノードで /hana/shared を読み取り専用モードにできます。You can place /hana/shared in read-only mode on the active cluster node, using below command:

    sudo mount -o ro 10.32.2.4:/hanadb1-shared-mnt00001 /hana/shared
    

    hanadb1 は、stonith (pcs property show stonith-action) で設定されたアクションに基づいて、再起動または電源オフのいずれかを行います。hanadb1 will either reboot or poweroff based on the action set on stonith (pcs property show stonith-action). サーバー (hanadb1) がダウンすると、HANA リソースは hanadb2 に移動します。Once the server (hanadb1) is down, HANA resource move to hanadb2. クラスターの状態は hanadb2 から確認できます。You can check the status of cluster from hanadb2.

    pcs status
    
    Full list of resources:
    
     rsc_hdb_azr_agt        (stonith:fence_azure_arm):      Started hanadb2
    
     Resource Group: hanadb1_nfs
         hana_data1 (ocf::heartbeat:Filesystem):    Stopped
         hana_log1  (ocf::heartbeat:Filesystem):    Stopped
         hana_shared1       (ocf::heartbeat:Filesystem):    Stopped
    
     Resource Group: hanadb2_nfs
         hana_data2 (ocf::heartbeat:Filesystem):    Started hanadb2
         hana_log2  (ocf::heartbeat:Filesystem):    Started hanadb2
         hana_shared2       (ocf::heartbeat:Filesystem):    Started hanadb2
    
     hana_nfs1_active       (ocf::pacemaker:attribute):     Stopped
     hana_nfs2_active       (ocf::pacemaker:attribute):     Started hanadb2
    
     Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
         Started: [ hanadb2 ]
         Stopped: [ hanadb1 ]
    
     Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
         Masters: [ hanadb2 ]
         Stopped: [ hanadb1 ]
    
     Resource Group: g_ip_HN1_03
         nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hanadb2
         vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hanadb2
    

    RHEL での SAP HANA システム レプリケーションのセットアップに関するページで説明されているテストも実行して、SAP HANA クラスター構成を十分にテストすることをお勧めします。We recommend to thoroughly test the SAP HANA cluster configuration, by also performing the tests described in Setup SAP HANA System Replication on RHEL.

次のステップNext steps