Nasazení instancí dialogových oken SAP s využitím virtuálních počítačů s vysokou dostupností SAP ASCS/SCS na RHEL

Tento článek popisuje, jak nainstalovat a nakonfigurovat instance dialogových oken primárního aplikačního serveru (PAS) a dalšího aplikačního serveru (AAS) ve stejné jazyk ABAP SAP Central Services (ASCS) nebo clusteru s vysokou dostupností SAP Central Services (SCS) běžícím v systému Red Hat Enterprise Linux (RHEL).

Reference

Přehled

Tento článek popisuje scénář optimalizace nákladů, ve kterém nasazujete instance dialogových oken PAS a AAS s instancemi SAP ASCS/SCS a ERS (Enqueue Replication Server) v nastavení s vysokou dostupností. Pokud chcete minimalizovat počet virtuálních počítačů pro jeden systém SAP, chcete nainstalovat PAS a AAS na stejného hostitele, na kterém běží SAP ASCS/SCS a SAP ERS. S konfigurací SAP ASCS/SCS v nastavení clusteru s vysokou dostupností chcete, aby pas a AAS byly spravovány také clusterem. Konfigurace je v podstatě doplňkem k již nakonfigurované instalaci clusteru SAP ASCS/SCS. V tomto nastavení se pas a AAS instalují na název virtuálního hostitele a jeho adresář instance spravuje cluster.

Pro toto nastavení vyžadují PAS a AAS adresář instance s vysokou dostupností (/usr/sap/<SID>/D<nr>). Systém souborů adresáře instance můžete umístit do stejného vysoce dostupného úložiště, které jste použili pro konfiguraci instance ASCS a ERS. Prezentovaná architektura předvádí systém souborů NFS ve službě Azure Files nebo Azure NetApp Files pro adresář instancí s vysokou dostupností pro nastavení.

Příklad uvedený v tomto článku popisuje nasazení, používá následující systémové informace:

Název instance Číslo instance Název virtuálního hostitele Virtuální IP adresa (port sondy)
jazyk ABAP SAP Central Services (ASCS) 00 sapascs 10.90.90.10 (62000)
Server replikace enqueue (ERS) 01 sapery 10.90.90.9 (62001)
Primární aplikační server (PAS) 02 sappas 10.90.90.30 (62002)
Další aplikační server (AAS) 03 sapery 10.90.90.31 (62003)
Identifikátor systému SAP NW1 --- ---

Poznámka:

Pokud chcete škálovat na více instancí aplikací SAP, nainstalujte na samostatné virtuální počítače více instancí.

Diagram that shows the architecture of dialog instance installation with an SAP ASCS/SCS cluster.

Důležité aspekty řešení pro optimalizaci nákladů

  • S nastavením clusteru SAP ASCS/SCS je možné nasadit pouze dvě instance dialogů, PAS a jeden AAS.
  • Pokud chcete škálovat systém SAP na více aplikačních serverů (například sapa03 a sapa04), můžete je nainstalovat do samostatných virtuálních počítačů. S instalací PAS a AAS na názvy virtuálních hostitelů můžete nainstalovat více aplikačních serverů pomocí fyzického nebo virtuálního hostitele v samostatných virtuálních počítačích. Další informace o přiřazení názvu virtuálního hostitele k virtuálnímu počítači najdete v blogu Použití virtuálních hostitelů SAP s Linuxem v Azure.
  • S nasazením PAS a AAS s nastavením clusteru SAP ASCS/SCS se musí lišit počet instancí ASCS, ERS, PAS a AAS.
  • Vhodné určení velikosti skladových položek virtuálních počítačů na základě pokynů pro změnu velikosti Při chování clusteru, kdy může na jednom virtuálním počítači běžet více instancí SAP (ASCS, ERS, PAS a AAS), když není k dispozici jiný virtuální počítač v clusteru.
  • Instance dialogů (PAS a AAS) spuštěné s nastavením clusteru SAP ASCS/SCS musí být nainstalovány pomocí názvu virtuálního hostitele.
  • K nasazení instancí PAS a AAS musíte také použít stejné řešení úložiště jako nastavení clusteru SAP ASCS/SCS. Pokud jste například nakonfigurovali cluster SAP ASCS/SCS pomocí systému souborů NFS ve službě Soubory Azure, musí být stejné řešení úložiště použito k nasazení PAS a AAS.
  • Adresář /usr/sap/<SID>/D<nr> instance PAS a AAS musí být připojeny k systému souborů NFS a jsou spravovány jako prostředek clusterem.

    Poznámka:

    V případě systémů SAP J2EE se nepodporuje umístění /usr/sap/<SID>/J<nr> na systém souborů NFS ve službě Azure Files.

  • Pokud chcete nainstalovat více aplikačních serverů na samostatné virtuální počítače, můžete použít sdílené složky NFS nebo místní spravovaný disk pro adresářový systém souborů instance. Pokud instalujete další aplikační servery pro systém SAP J2EE, /usr/sap/<SID>/J<nr> v systému SOUBORŮ NFS v Azure Files se nepodporuje.
  • V tradiční konfiguraci SAP ASCS/SCS s vysokou dostupností nejsou instance aplikačních serverů spuštěné na samostatných virtuálních počítačích ovlivněny, pokud na uzlech clusteru SAP ASCS a ERS dojde k nějakému efektu. S konfigurací optimalizace nákladů se ale instance PAS nebo AAS restartuje, když dojde k nějakému z uzlů v clusteru.
  • Informace o systému souborů NFS a důležité informace o službě Azure NetApp Files, protože stejné aspekty platí pro toto nastavení.

Požadavky

Konfigurace popsaná v tomto článku je doplňkem k již nakonfigurované instalaci clusteru SAP ASCS/SCS. V této konfiguraci se pas a AAS instalují na název virtuálního hostitele a jeho adresář instance spravuje cluster. V závislosti na vašem úložišti pomocí kroků popsaných v následujících článcích nakonfigurujte SAPInstance prostředek pro instanci SAP ASCS a SAP ERS v clusteru.

Po instalaci instance SLUŽBY ASCS, ERS a Databáze pomocí nástroje Software Provisioning Manager (SWPM) nainstalujte instance PAS a AAS podle dalších kroků.

Konfigurace Azure Load Balanceru pro PAS a AAS

Tento článek předpokládá, že jste už nakonfigurovali nástroj pro vyrovnávání zatížení pro nastavení clusteru SAP ASCS/SCS, jak je popsáno v tématu Konfigurace Azure Load Balanceru. Ve stejné instanci Azure Load Balanceru pomocí těchto kroků vytvořte další front-endové IP adresy a pravidla vyrovnávání zatížení pro PAS a AAS.

  1. Otevřete interní nástroj pro vyrovnávání zatížení vytvořený pro nastavení clusteru SAP ASCS/SCS.
  2. Konfigurace front-endové IP adresy: Vytvořte dvě IP adresy front-endu, jednu pro PAS a druhou pro AAS (například 10.90.90.30 a 10.90.90.31).
  3. Back-endový fond: Tento fond zůstává stejný, protože nasazujeme PAS a AAS ve stejném back-endovém fondu.
  4. Příchozí pravidla: Vytvořte dvě pravidla vyrovnávání zatížení, jedno pro PAS a druhé pro AAS. U obou pravidel vyrovnávání zatížení postupujte stejně.
  5. IP adresa front-endu: Vyberte front-endovou IP adresu.
    1. Back-endový fond: Vyberte back-endový fond.
    2. Porty s vysokou dostupností: Tuto možnost vyberte.
    3. Protokol: Vyberte TCP.
    4. Sonda stavu: Vytvořte sondu stavu s následujícími podrobnostmi (platí pro PAS i AAS):
      1. Protokol: Vyberte TCP.
      2. Port: Například 620<Instance-no.> pro PAS a 620<Instance-no.> pro AAS.
      3. Interval: Zadejte 5.
      4. Prahová hodnota sondy: Zadejte 2.
    5. Časový limit nečinnosti (minuty):Zadejte 30.
    6. Povolit plovoucí IP adresu: Vyberte tuto možnost.

Vlastnost numberOfProbeskonfigurace sondy stavu , jinak označovaná jako prahová hodnota není v pořádku na webu Azure Portal, se nerespektuje. Chcete-li řídit počet úspěšných nebo neúspěšných po sobě jdoucích sond, nastavte vlastnost probeThreshold na 2hodnotu . Tuto vlastnost v současné době není možné nastavit pomocí webu Azure Portal. Použijte buď Azure CLI, nebo příkaz PowerShellu.

Důležité

Plovoucí IP adresa není podporovaná v konfiguraci sekundární IP adresy síťové karty ve scénářích vyrovnávání zatížení. Další informace najdete v tématu Omezení azure Load Balanceru. Pokud potřebujete více IP adres pro virtuální počítače, nasaďte druhou síťovou kartu.

Pokud jsou virtuální počítače bez veřejných IP adres umístěné v back-endovém fondu interní instance Azure Load Balanceru úrovně Standard (bez veřejné IP adresy), neexistuje žádné odchozí připojení k internetu, pokud se neprovádí další konfigurace umožňující směrování do veřejných koncových bodů. Postup, jak dosáhnout odchozího připojení, najdete v tématu Připojení k veřejnému koncovému bodu pro virtuální počítače pomocí Azure Standard Load Balanceru ve scénářích s vysokou dostupností SAP.

Důležité

Nepovolujte časové razítka PROTOKOLU TCP na virtuálních počítačích Azure umístěných za Azure Load Balancerem. Povolení časových razítek PROTOKOLU TCP způsobí selhání sond stavu. Nastavte parametr net.ipv4.tcp_timestamps na 0. Další informace najdete v tématu Sondy stavu Load Balanceru.

Příprava serverů na instalaci PAS a AAS

Pokud jsou kroky v tomto dokumentu označené následujícími předponami, znamenají:

  • [A]: Platí pro všechny uzly.
  • [1]: Platí pouze pro uzel 1.
  • [2]: Platí pouze pro uzel 2.
  1. [A] Nastavte překlad názvů hostitelů.

    Můžete použít server DNS nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak soubor používat /etc/hosts . V následujících příkazech nahraďte IP adresu a název hostitele:

    sudo vi /etc/hosts
    
    # IP address of cluster node 1
    10.90.90.7    sap-cl1
    # IP address of cluster node 2
    10.90.90.8     sap-cl2
    # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
    10.90.90.10   sapascs
    # IP address of the load balancer frontend configuration for SAP Netweaver ERS
    10.90.90.9    sapers
    # IP address of the load balancer frontend configuration for SAP Netweaver PAS
    10.90.90.30   sappas
    # IP address of the load balancer frontend configuration for SAP Netweaver AAS
    10.90.90.31   sapaas
    
  2. [1] Vytvořte adresáře SAP ve sdílené složce NFS. Připojte sdílenou složku NFS sapnw1 dočasně na jeden z virtuálních počítačů a vytvořte adresáře SAP, které se mají použít jako vnořené přípojné body.

    1. Pokud ve službě Azure Files používáte systém souborů NFS:

      # mount temporarily the volume
      sudo mkdir -p /saptmp
      sudo mount -t nfs sapnfs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
      
      # create the SAP directories
      sudo cd /saptmp
      sudo mkdir -p usrsapNW1D02
      sudo mkdir -p usrsapNW1D03
      
      # unmount the volume and delete the temporary directory
      cd ..
      sudo umount /saptmp
      sudo rmdir /saptmp
      
    2. Pokud používáte Azure NetApp Files:

      # mount temporarily the volume
      sudo mkdir -p /saptmp
      
      # If using NFSv3
      sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=3,tcp 10.90.91.5:/sapnw1 /saptmp
      # If using NFSv4.1
      sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys,tcp 10.90.91.5:/sapnw1 /saptmp
      
      # create the SAP directories
      sudo cd /saptmp
      sudo mkdir -p usrsapNW1D02
      sudo mkdir -p usrsapNW1D03
      
      # unmount the volume and delete the temporary directory
      sudo cd ..
      sudo umount /saptmp
      sudo rmdir /saptmp
      
  3. [A] Vytvořte sdílené adresáře.

    sudo mkdir -p /usr/sap/NW1/D02
    sudo mkdir -p /usr/sap/NW1/D03
    
    sudo chattr +i /usr/sap/NW1/D02
    sudo chattr +i /usr/sap/NW1/D03
    
  4. [A] Nakonfigurujte místo prohození. Při instalaci instance dialogového okna s centrálními službami musíte nakonfigurovat více prohození místa.

    sudo vi /etc/waagent.conf
    
    # Check if property ResourceDisk.Format is already set to y and if not, set it
    ResourceDisk.Format=y
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    #ResourceDisk.SwapSizeMB=2000
    ResourceDisk.SwapSizeMB=10480
    

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart
    
  5. [A] Přidejte pravidla brány firewall pro PAS a AAS.

    # Probe and gateway port for PAS and AAS
    sudo firewall-cmd --zone=public --add-port={62002,62003,3302,3303}/tcp --permanent
    sudo firewall-cmd --zone=public --add-port={62002,62003,3303,3303}/tcp
    

Instalace instance SAP Netweaver PAS

  1. [1] Zkontrolujte stav clusteru. Před konfigurací prostředku PAS pro instalaci se ujistěte, že jsou nakonfigurované a spuštěné prostředky ASCS a ERS.

    sudo pcs status
    
    # Online: [ sap-cl1 sap-cl2 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl2
    
  2. [1] Vytvořte pro instanci PAS prostředky systému souborů, virtuální IP adresy a sondy stavu.

    sudo pcs node standby sap-cl2
    sudo pcs resource create vip_NW1_PAS IPaddr2 ip=10.90.90.30 --group g-NW1_PAS
    sudo pcs resource create nc_NW1_PAS azure-lb port=62002 --group g-NW1_PAS
    
    # If using NFS on Azure files
    sudo pcs resource create fs_NW1_PAS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1D02' \
      directory='/usr/sap/NW1/D02' fstype='nfs' force_unmount=safe options='noresvport,vers=4,minorversion=1,sec=sys' \
      op start interval=0 timeout=60 \
      op stop interval=0 timeout=120 \
      op monitor interval=200 timeout=40 \
      --group g-NW1_PAS
    
    # If using NFsv3 on Azure NetApp Files
    sudo pcs resource create fs_NW1_PAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D02' \
      directory='/usr/sap/NW1/D02' fstype='nfs' force_unmount=safe \
      op start interval=0 timeout=60 \
      op stop interval=0 timeout=120 \ 
      op monitor interval=200 timeout=40 \
      --group g-NW1_PAS
    
    # If using NFSv4.1 on Azure NetApp Files
    sudo pcs resource create fs_NW1_PAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D02' \
      directory='/usr/sap/NW1/D02' fstype='nfs' force_unmount=safe options='sec=sys,vers=4.1' \
      op start interval=0 timeout=60 \
      op stop interval=0 timeout=120 \
      op monitor interval=200 timeout=105 \
      --group g-NW1_PAS
    

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo pcs status
    
    # Node List:
    #   Node sap-cl2: standby
    #   Online: [ sap-cl1 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_PAS:
    #      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
    #      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
    #      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
    
  3. [1] Po připojení systému souborů změňte vlastnictví /usr/sap/SID/D02 složky.

    sudo chown nw1adm:sapsys /usr/sap/NW1/D02
    
  4. [1] Nainstalujte SAP Netweaver PAS.

    Nainstalujte SAP NetWeaver PAS jako kořen na první uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro PAS. Použijte například sappas, 10.90.90.30 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 02.

    Pomocí parametru SAPINST_REMOTE_ACCESS_USER sapinst můžete povolit uživateli, který neníroot, aby se připojil k sapinstu.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
    sudo firewall-cmd --zone=public  --add-port=4237/tcp
    
    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<pas_virtual_hostname>
    
  5. Aktualizujte /usr/sap/sapservices soubor.

    Aby se zabránilo spuštění instancí spouštěcím skriptem sapinit, musí být všechny instance spravované pacemakerem okomentovány ze /usr/sap/sapservices souboru.

    sudo vi /usr/sap/sapservices
    
    # On the node where PAS is installed, comment out the following lines. 
    # LD_LIBRARY_PATH=/usr/sap/NW1/D02/exe:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH;/usr/sap/NW1/D02/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_D02_sappas -D -u nw1adm
    
  6. [1] Vytvořte prostředek clusteru PAS.

    # If using NFS on Azure Files or NFSv3 on Azure NetApp Files
    pcs resource create rsc_sap_NW1_PAS02 SAPInstance InstanceName="NW1_D02_sappas" \
     START_PROFILE=/sapmnt/NW1/profile/NW1_D02_sappas \
     op monitor interval=20 timeout=60 \
     --group g-NW1_PAS
    
    # If using NFSv4.1 on Azure NetApp Files
    pcs resource create rsc_sap_NW1_PAS02 SAPInstance InstanceName="NW1_D02_sappas" \
     START_PROFILE=/sapmnt/NW1/profile/NW1_D02_sappas \
     op monitor interval=20 timeout=105 \
     --group g-NW1_PAS
    

    Zkontrolujte stav clusteru.

    sudo pcs status
    
    # Node List:
    #   Node sap-cl2: standby
    #   Online: [ sap-cl1 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_PAS:
    #      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
    #      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
    #      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
    #      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Started sap-cl1
    
  7. Nakonfigurujte omezení pro spuštění skupiny prostředků PAS až po spuštění instance SLUŽBY ASCS.

    sudo pcs constraint order g-NW1_ASCS then g-NW1_PAS kind=Optional symmetrical=false
    

Instalace instance AAS SAP Netweaver

  1. [2] Zkontrolujte stav clusteru. Před konfigurací prostředku AAS pro instalaci se ujistěte, že jsou spuštěné prostředky ASCS, ERS a PAS.

    sudo pcs status
    
    # Node List:
    #   Node sap-cl2: standby
    #   Online: [ sap-cl1 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_PAS:
    #      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
    #      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
    #      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
    #      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Started sap-cl1
    
  2. [2] Vytvořte pro instanci AAS prostředky systému souborů, virtuální IP adresy a sondy stavu.

    sudo pcs node unstandby sap-cl2
    # Disable PAS resource as it will fail on sap-cl2 due to missing environment variables like hdbuserstore. 
    sudo pcs resource disable g-NW1_PAS
    sudo pcs node standby sap-cl1
    # Execute below command to cleanup resource, if required
    pcs resource cleanup rsc_sap_NW1_ERS01
    
    sudo pcs resource create vip_NW1_AAS IPaddr2 ip=10.90.90.31 --group g-NW1_AAS
    sudo pcs resource create nc_NW1_AAS azure-lb port=62003 --group g-NW1_AAS
    
    # If using NFS on Azure files
    sudo pcs resource create fs_NW1_AAS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1D03' \
      directory='/usr/sap/NW1/D03' fstype='nfs' force_unmount=safe options='noresvport,vers=4,minorversion=1,sec=sys' \
      op start interval=0 timeout=60 \
      op stop interval=0 timeout=120 \
      op monitor interval=200 timeout=40 \
      --group g-NW1_AAS
    
    # If using NFsv3 on Azure NetApp Files
    sudo pcs resource create fs_NW1_AAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D03' \
      directory='/usr/sap/NW1/D03' fstype='nfs' force_unmount=safe \
      op start interval=0 timeout=60 \
      op stop interval=0 timeout=120 \ 
      op monitor interval=200 timeout=40 \
      --group g-NW1_AAS
    
    # If using NFSv4.1 on Azure NetApp Files
    sudo pcs resource create fs_NW1_AAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D03' \
      directory='/usr/sap/NW1/D03' fstype='nfs' force_unmount=safe options='sec=sys,vers=4.1' \
      op start interval=0 timeout=60 \
      op stop interval=0 timeout=120 \
      op monitor interval=200 timeout=105 \
      --group g-NW1_AAS
    

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné. Vzhledem k tomu, že skupina prostředků g-NW1_PAS je zastavená, všechny prostředky PAS se zastaví ve stavu (zakázáno).

    sudo pcs status
    
    # Node List:
    #   Node sap-cl1: standby
    #   Online: [ sap-cl2 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl2
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl2
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl2
    #  Resource Group: g-NW1_PAS:
    #      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Stopped (disabled)
    #      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Stopped (disabled)
    #      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Stopped (disabled)
    #      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Stopped (disabled)
    #  Resource Group: g-NW1_AAS:
    #      vip_NW1_AAS       (ocf::heartbeat:IPaddr2):        Started sap-cl2
    #      nc_NW1_AAS        (ocf::heartbeat:azure-lb):       Started sap-cl2
    #      fs_NW1_AAS        (ocf::heartbeat:Filesystem):     Started sap-cl2
    
  3. [2] Po připojení systému souborů změňte vlastnictví /usr/sap/SID/D03 složky.

    sudo chown nw1adm:sapsys /usr/sap/NW1/D03
    
  4. [2] Nainstalujte AAS sap Netweaver.

    Nainstalujte sap NetWeaver AAS jako kořen na druhý uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro PAS. Použijte například sapaas, 10.90.90.31 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 03.

    Pomocí parametru SAPINST_REMOTE_ACCESS_USER sapinst můžete povolit uživateli, který neníroot, aby se připojil k sapinstu.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
    sudo firewall-cmd --zone=public  --add-port=4237/tcp
    
    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<aas_virtual_hostname>
    
  5. Aktualizujte /usr/sap/sapservices soubor.

    Aby se zabránilo spuštění instancí spouštěcím skriptem sapinit, musí být všechny instance spravované pacemakerem okomentovány ze /usr/sap/sapservices souboru.

    sudo vi /usr/sap/sapservices
    
    # On the node where AAS is installed, comment out the following lines. 
    #LD_LIBRARY_PATH=/usr/sap/NW1/D03/exe:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH;/usr/sap/NW1/D03/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_D03_sapaas -D -u nw1adm
    
  6. [2] Vytvořte prostředek clusteru AAS.

    # If using NFS on Azure Files or NFSv3 on Azure NetApp Files
    pcs resource create rsc_sap_NW1_AAS03 SAPInstance InstanceName="NW1_D03_sapaas" \
     START_PROFILE=/sapmnt/NW1/profile/NW1_D03_sapaas \
     op monitor interval=120 timeout=60 \
     --group g-NW1_AAS
    
    # If using NFSv4.1 on Azure NetApp Files
    pcs resource create rsc_sap_NW1_AAS03 SAPInstance InstanceName="NW1_D03_sapaas" \
     START_PROFILE=/sapmnt/NW1/profile/NW1_D03_sapaas \
     op monitor interval=120 timeout=105 \
     --group g-NW1_AAS
    

    Zkontrolujte stav clusteru.

    sudo pcs status
    
    # Node List:
    #   Node sap-cl1: standby
    #   Online: [ sap-cl2 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl2
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl2
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl2
    #  Resource Group: g-NW1_PAS:
    #      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Stopped (disabled)
    #      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Stopped (disabled)
    #      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Stopped (disabled)
    #      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Stopped (disabled)
    #  Resource Group: g-NW1_AAS:
    #      vip_NW1_AAS       (ocf::heartbeat:IPaddr2):        Started sap-cl2
    #      nc_NW1_AAS        (ocf::heartbeat:azure-lb):       Started sap-cl2
    #      fs_NW1_AAS        (ocf::heartbeat:Filesystem):     Started sap-cl2
    #      rsc_sap_NW1_AAS03 (ocf::heartbeat:SAPInstance):    Started sap-cl2
    
  7. Nakonfigurujte omezení pro spuštění skupiny prostředků AAS až po spuštění instance SLUŽBY ASCS.

    sudo pcs constraint order g-NW1_ASCS then g-NW1_AAS kind=Optional symmetrical=false
    

Post configuration for PAS and AAS instances

  1. [1] Aby se PAS a AAS spouštěly na jakémkoli uzlu clusteru (sap-cl1 nebo sap-cl2), je potřeba zkopírovat obsah $HOME/.hdb<sid>adm z obou uzlů clusteru.

    # Check current content of /home/nw1adm/.hdb on sap-cl1
    sap-cl1:nw1adm > ls -ltr $HOME/.hdb
    drwx------. 2 nw1adm sapsys 66 Aug  8 19:11 sappas
    drwx------. 2 nw1adm sapsys 84 Aug  8 19:12 sap-cl1
    # Check current content of /home/nw1adm/.hdb on sap-cl2
    sap-cl2:nw1adm > ls -ltr $HOME/.hdb
    total 0
    drwx------. 2 nw1adm sapsys 64 Aug  8 20:25 sap-cl2
    drwx------. 2 nw1adm sapsys 66 Aug  8 20:26 sapaas
    
    # As PAS and AAS is installed using virtual hostname, you need to copy virtual hostname directory in /home/nw1adm/.hdb
    # Copy sappas directory from sap-cl1 to sap-cl2
    sap-cl1:nw1adm > scp -r sappas nw1adm@sap-cl2:/home/nw1adm/.hdb
    # Copy sapaas directory from sap-cl2 to sap-cl1. Execute the command from the same sap-cl1 host. 
    sap-cl1:nw1adm > scp -r nw1adm@sap-cl2:/home/nw1adm/.hdb/sapaas . 
    
  2. [1] Pokud chcete zajistit, aby se instance PAS a AAS nespustí na stejných uzlech při každém spuštění obou uzlů, přidejte pomocí následujícího příkazu negativní omezení kolokace:

    sudo pcs constraint colocation add g-NW1_AAS with g-NW1_PAS score=-1000
    sudo pcs node unstandby sap-cl1
    sudo pcs resource enable g-NW1_PAS
    

    Skóre -1000 zajišťuje, že pokud je k dispozici pouze jeden uzel, obě instance budou dál běžet na druhém uzlu. Pokud chcete zachovat instanci AAS v takové situaci, můžete tuto score=-INFINITY podmínku vynutit.

  3. Zkontrolujte stav clusteru.

    sudo pcs status
    
    # Node List:
    #   Online: [ sap-cl1 sap-cl2 ]
    #
    # Full list of resources:
    #
    # rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl2
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl2
    #  Resource Group: g-NW1_AERS
    #      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    #      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
    #  Resource Group: g-NW1_PAS:
    #      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
    #      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
    #      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
    #      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Started sap-cl1
    #  Resource Group: g-NW1_AAS:
    #      vip_NW1_AAS       (ocf::heartbeat:IPaddr2):        Started sap-cl2
    #      nc_NW1_AAS        (ocf::heartbeat:azure-lb):       Started sap-cl2
    #      fs_NW1_AAS        (ocf::heartbeat:Filesystem):     Started sap-cl2
    #      rsc_sap_NW1_AAS03 (ocf::heartbeat:SAPInstance):    Started sap-cl2
    

Otestování nastavení clusteru

Důkladně otestujte cluster Pacemaker spuštěním typických testů převzetí služeb při selhání.