Průvodce vysokou dostupností pro SAP NetWeaver na virtuálních počítačů Azure v Red Hat Enterprise Linuxu pro aplikace SAP s více SID

Tento článek popisuje, jak nasadit několik vysoce dostupných systémů SAP NetWeaver (to znamená multi-SID) v clusteru se dvěma uzly na virtuálních počítačů Azure s Red Hat Enterprise Linuxem pro aplikace SAP.

V příkladech konfigurací jsou instalační příkazy atd. tři systémy SAP NetWeaver 7.50 nasazené v jednom clusteru s vysokou dostupností se dvěma uzly. Identifikátory SID systémů SAP jsou:

  • NW1: číslo instance ASCS 00 a název virtuálního hostitele msnw1ascs; Číslo instance ERS 02 a název virtuálního hostitele msnw1ers.
  • NW2: instance ASCS číslo 10 a název virtuálního hostitele msnw2ascs; Instance ERS číslo 12 a název virtuálního hostitele msnw2ers.
  • NW3: instance ASCS číslo 20 a název virtuálního hostitele msnw3ascs; Instance ERS číslo 22 a název virtuálního hostitele msnw3ers.

Tento článek nepokryje databázovou vrstvu a nasazení sdílených složek SAP NFS. V příkladech v tomto článku používáme pro sdílené složky NFS Azure NetApp Files sapMSID svazku za předpokladu, že je svazek už nasazený. Předpokládáme také, že svazek Azure NetApp Files je nasazený s protokolem NFSv3 a že pro prostředky clusteru pro instance ASCS a ERS systémů SAP NW1, NW2 a NW3 existují následující cesty k souborům:

  • volume sapMSID (nfs://10.42.0.4/sapmntNW1)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • svazek sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW2)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • svazek sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW3)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ers)

Než začnete, přečtěte si nejprve následující poznámky a dokumenty SAP:

Přehled

Virtuální počítače, které se účastní clusteru, musí mít velikost, aby bylo možné spouštět všechny prostředky, pokud dojde k převzetí služeb při selhání. Každý SID SAP může převzetí služeb při selhání nezávisle na sobě na sobě v clusteru s vysokou dostupností s více SID.

K dosažení vysoké dostupnosti vyžaduje SAP NetWeaver vysoce dostupné sdílené složky. V této dokumentaci uvádíme příklady sdílených složek SAP nasazených na Azure NetApp Files NFS. Sdílené složky je také možné hostovat na vysoce dostupném clusteru Odsoudfs,který může používat více systémů SAP.

Přehled vysoké dostupnosti SAP NetWeaveru

Důležité

Podpora clusteringu s více identifikátory SID systému SAP ASCS/ERS s hostovaným operačním systémem Red Hat Linux na virtuálních počítačích Azure je omezená na pět identifikátorů SID SAP ve stejném clusteru. Každý nový sid zvyšuje složitost. Kombinace SAP Enqueue Replication Serveru 1 a Enqueue Replication Serveru 2 ve stejném clusteru se nepodporuje. Clustering s více identifikátory SID popisuje instalaci několika instancí SAP ASCS/ERS s různými identifikátory SID v jednom clusteru Pacemaker. Clustering s více SID se v současné době podporuje pouze pro ASCS/ERS.

Tip

Clustering s více SID systému SAP ASCS/ERS je řešení s vyšší složitostí. Implementace je složitější. Při provádění aktivit údržby (jako jsou opravy operačního systému) to také vyžaduje větší administrativní úsilí. Než začnete s vlastní implementací, pečlivě naplánujte nasazení a všechny jeho součásti, jako jsou virtuální počítače, připojení NFS, virtuální IP adresy, konfigurace nástroje pro vyrovnávání zatížení atd.

SAP NetWeaver ASCS, SAP NetWeaver SCS a SAP NetWeaver ERS používají virtuální název hostitele a virtuální IP adresy. V Azure se k používání virtuální IP adresy vyžaduje nástroj pro vyrovnávání zatížení. Doporučujeme použít nástroj pro vyrovnávání zatížení standardu.

Následující seznam ukazuje konfiguraci nástroje pro vyrovnávání zatížení (A)SCS a ERS pro tento příklad clusteru s více sidy se třemi systémy SAP. Pro každou instanci ASCS a ERS pro každý identifikátor SID budete potřebovat samostatnou front-endovou IP adresu, sondy stavu a pravidla vyrovnávání zatížení. Přiřaďte všechny virtuální počítače, které jsou součástí clusteru ASCS/ASCS, do jednoho back-endového fondu jednoho ILB.

(A) SCS

  • Konfigurace front-endu

    • IP adresa pro NW1: 10.3.1.50
    • IP adresa pro NW2: 10.3.1.52
    • IP adresa pro NW3: 10.3.1.54
  • Porty sondy

    • Port 620 < > nr,proto pro porty sond NW1, NW2 a NW3 620 00, 620 10 a 620 20
  • Pravidla vyrovnávání zatížení – vytvořte jedno pro každou instanci, to znamená NW1/ASCS, NW2/ASCS a NW3/ASCS.

    • Pokud používáte Standard Load Balancer, vyberte Porty pro haše.
    • Pokud používáte základní Load Balancer, vytvořte pravidla vyrovnávání zatížení pro následující porty.
      • 32 < nr > TCP
      • 36 < nr > TCP
      • 39 < nr > TCP
      • 81 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

OLAJÍCÍCH

  • Konfigurace front-endu

    • IP adresa pro NW1 10.3.1.51
    • IP adresa pro NW2 10.3.1.53
    • IP adresa pro NW3 10.3.1.55
  • Port testu paměti

    • Port 621 < Nr >, tedy pro porty sondy NW1, NW2 a N3 621 02, 621 12 a 621 22
  • Pravidla vyrovnávání zatížení – pro každou instanci vytvořte jednu z těchto instancí: NW1/OLAJÍCÍCH, NW2/OLAJÍCÍCH a NW3/OLAJÍCÍCH.

    • Pokud používáte Standard Load Balancer, vyberte porty ha .
    • Pokud používáte základní Load Balancer, vytvořte pravidla vyrovnávání zatížení pro následující porty.
      • 32 < Nr > TCP
      • 33 < Nr > TCP
      • 5 < Nr > 13 TCP
      • 5 < Nr > 14 TCP
      • 5. < 16 TCP >
  • Konfigurace back-endu

    • Připojeno k primárním síťovým rozhraním všech virtuálních počítačů, které by měly být součástí clusteru (A) SCS/OLAJÍCÍCH

Důležité

Plovoucí IP adresa není ve scénářích Vyrovnávání zatížení podporována u sekundární konfigurace IP adresy NIC. Podrobnosti najdete v tématu omezení nástroje pro vyrovnávání zatížení Azure. Pokud pro virtuální počítač potřebujete další IP adresu, nasaďte druhou síťovou kartu.

Poznámka

Pokud se virtuální počítače bez veřejných IP adres nacházejí v back-end fondu interní služby pro vyrovnávání zatížení (bez veřejné IP adresy), nebude žádné odchozí připojení k Internetu, pokud se neprovede další konfigurace, která umožní směrování na veřejné koncové body. Podrobnosti o tom, jak dosáhnout odchozího připojení, najdete v tématu připojení k veřejnému koncovému bodu pro Virtual Machines používání Azure Standard Load Balancer ve scénářích s vysokou dostupností SAP

Důležité

Nepovolujte časová razítka TCP na virtuálních počítačích Azure umístěných za Azure Load Balancer. Povolení časových razítek TCP způsobí selhání sond stavu. Nastavte parametr net.IPv4.tcp_timestamps na hodnotu 0. Podrobnosti najdete v tématu Load Balancer sondy stavu.

Sdílené složky SAP

SAP NetWeaver vyžaduje sdílené úložiště pro přenos, adresář profilů a tak dále. Pro vysoce dostupný systém SAP je důležité mít vysoce dostupné sdílené složky. Budete se muset rozhodnout pro architekturu pro sdílené složky SAP. Jednou z možností je nasadit sdílené složky na Azure NetApp Files SVAZCÍCH NFS. Díky Azure NetApp Files získáte integrovanou vysokou dostupnost pro sdílené složky SAP NFS.

další možností je sestavit GlusterFS na virtuálních počítačích Azure v Red Hat Enterprise Linux pro SAP NetWeaver, které se dají sdílet mezi několika systémy SAP.

Nasazení prvního systému SAP v clusteru

Teď, když jste se rozhodli o architekturu pro sdílené složky SAP, nasaďte první systém SAP v clusteru, a to podle příslušné dokumentace.

Výše uvedené dokumenty vás provede kroky pro přípravu potřebné infrastruktury, sestavení clusteru a příprava operačního systému na spuštění aplikace SAP.

Tip

Před přidáním dalších identifikátorů zabezpečení SAP do clusteru vždy testujte funkce převzetí služeb při selhání clusteru po nasazení prvního systému. Tímto způsobem zjistíte, že fungování clusteru funguje ještě před tím, než do clusteru přidáte složitost dalších systémů SAP.

Nasazení dalších systémů SAP v clusteru

V tomto příkladu předpokládáme, že systém NW1 už je v clusteru nasazený. Ukážeme, jak nasadit v clusterech SAP Systems NW2 a NW3.

Následující položky jsou předpony buď [A] – platí pro všechny uzly, [1] – platí pouze pro uzel 1 nebo [2] – platí pouze pro uzel 2.

Požadavky

Důležité

Než budete postupovat podle pokynů k nasazení dalších systémů SAP v clusteru, postupujte podle pokynů pro nasazení prvního systému SAP v clusteru, protože existují kroky, které jsou nezbytné pouze při prvním nasazení systému.

Tato dokumentace předpokládá, že:

  • Cluster Pacemaker je už nakonfigurovaný a spuštěný.
  • Nejméně jeden systém SAP (instance ASCS/OLAJÍCÍCH) je již nasazen a spuštěn v clusteru.
  • Byla testována funkce převzetí služeb při selhání clusteru.
  • Sdílené složky NFS pro všechny systémy SAP jsou nasazené.

Příprava na instalaci SAP NetWeaver

  1. přidejte konfiguraci pro nově nasazený systém (to znamená, NW2, NW3) do existujícího Azure Load Balancer podle pokynů k nasazení Azure Load Balancer ručně prostřednictvím Azure Portal. Upravte IP adresy, porty sondy stavu, pravidla vyrovnávání zatížení pro vaši konfiguraci.

  2. [A] nastavení rozlišení názvů pro další systémy SAP. Můžete buď použít server DNS, nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak použít /etc/hosts soubor. Přizpůsobte IP adresy a názvy hostitelů vašemu prostředí.

    sudo vi /etc/hosts
    # IP address of the load balancer frontend configuration for NW2 ASCS
    10.3.1.52 msnw2ascs
    # IP address of the load balancer frontend configuration for NW3 ASCS
    10.3.1.54 msnw3ascs
    # IP address of the load balancer frontend configuration for NW2 ERS
    10.3.1.53 msnw2ers
    # IP address of the load balancer frontend configuration for NW3 ERS
    10.3.1.55 msnw3ers
    
  3. [A] vytvořte sdílené adresáře pro další systémy SAP NW2 a NW3 , které nasazujete do clusteru.

    sudo mkdir -p /sapmnt/NW2
    sudo mkdir -p /usr/sap/NW2/SYS
    sudo mkdir -p /usr/sap/NW2/ASCS10
    sudo mkdir -p /usr/sap/NW2/ERS12
    sudo mkdir -p /sapmnt/NW3
    sudo mkdir -p /usr/sap/NW3/SYS
    sudo mkdir -p /usr/sap/NW3/ASCS20
    sudo mkdir -p /usr/sap/NW3/ERS22
    
    
    sudo chattr +i /sapmnt/NW2
    sudo chattr +i /usr/sap/NW2/SYS
    sudo chattr +i /usr/sap/NW2/ASCS10
    sudo chattr +i /usr/sap/NW2/ERS12
    sudo chattr +i /sapmnt/NW3
    sudo chattr +i /usr/sap/NW3/SYS
    sudo chattr +i /usr/sap/NW3/ASCS20
    sudo chattr +i /usr/sap/NW3/ERS22
    
  4. [A] přidejte položky připojení pro systémy souborů/Sapmnt/SID a/usr/SAP/SID/sys pro další systémy SAP, které nasazujete do clusteru. V tomto příkladu NW2 a NW3.

    Aktualizujte soubor /etc/fstab pomocí systémů souborů pro další systémy SAP, které nasazujete do clusteru.

Nainstalovat ASCS/OLAJÍCÍCH

  1. Vytvořte prostředky clusteru virtuální IP a stavové sondy pro instance ASCS dalších systémů SAP, které nasazujete do clusteru. Níže zobrazený příklad je určen pro NW2 a NW3 ASCS pomocí systému souborů NFS na Azure NetApp Files svazcích s protokolem NFSv3.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
    directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_ASCS
    
    sudo pcs resource create vip_NW2_ASCS IPaddr2 \
    ip=10.3.1.52 cidr_netmask=24 \
     --group g-NW2_ASCS
    
    sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
     --group g-NW2_ASCS
    
    sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
    directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
    --group g-NW3_ASCS
    
    sudo pcs resource create vip_NW3_ASCS IPaddr2 \
    ip=10.3.1.54 cidr_netmask=24 \
    --group g-NW3_ASCS
    
    sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
    --group g-NW3_ASCS
    

    Ujistěte se, že stav clusteru je OK a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

  2. [1] instalace SAP NetWeaver ASCS

    Nainstalujte SAP NetWeaver ASCS jako kořenový adresář pomocí virtuálního hostitele, který se mapuje na IP adresu konfigurace front-endu nástroje pro vyrovnávání zatížení pro ASCS. Například pro System NW2 je virtuální název hostitele msnw2ascs, 10.3.1.52 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 10. Pro System NW3 je virtuální název hostitele msnw3ascs, 10.3.1.54 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 20. Poznamenejte si, který uzel clusteru jste nainstalovali ASCS pro každé SAP SID.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete pro uživatele, který není rootem, připojovat se k sapinst. Pomocí parametru SAPINST_USE_HOSTNAME můžete nainstalovat SAP s použitím názvu virtuálního hostitele.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Pokud se při instalaci nepovede vytvořit podsložku v/usr/SAP/SID/ASCS instance #, zkuste nastavit vlastníka na hodnotu ADM a skupinu na sapsys****instance ASCS a zkuste to znovu.

  3. [1] vytvořte prostředky clusteru virtuální IP adresy a stavu testu pro instanci olajících dalšího systému SAP, který nasazujete do clusteru. Níže zobrazený příklad je určen pro NW2 a NW3 olajících pomocí systému souborů NFS na Azure NetApp Files svazcích s protokolem NFSv3.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
    directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_AERS
    
    sudo pcs resource create vip_NW2_AERS IPaddr2 \
    ip=10.3.1.53 cidr_netmask=24 \
     --group g-NW2_AERS
    
    sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
     --group g-NW2_AERS
    
    sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
    directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW3_AERS
    
    sudo pcs resource create vip_NW3_AERS IPaddr2 \
    ip=10.3.1.55 cidr_netmask=24 \
     --group g-NW3_AERS
    
    sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
     --group g-NW3_AERS
    

    Ujistěte se, že stav clusteru je OK a že jsou spuštěné všechny prostředky.

    V dalším kroku se ujistěte, že jsou na uzlu clusteru spuštěné prostředky nově vytvořené skupiny OLAJÍCÍCH, a to proti uzlu clusteru, ve kterém je nainstalovaná instance ASCS pro stejný systém SAP. Pokud jste například nainstalovali NW2 ASCS, ujistěte se rhelmsscl1 , že je skupina NW2 olajících spuštěná rhelmsscl2 . Skupinu NW2 OLAJÍCÍCH můžete migrovat tak, že rhelmsscl2 spustíte následující příkaz pro jeden z prostředků clusteru ve skupině:

      pcs resource move fs_NW2_AERS rhelmsscl2
    
  4. [2] instalace SAP NetWeaver olajících

    Nainstalujte SAP NetWeaver OLAJÍCÍCH jako root na druhém uzlu pomocí virtuálního hostitele, který se mapuje na IP adresu konfigurace front-endu nástroje pro vyrovnávání zatížení pro OLAJÍCÍCH. Například pro System NW2 bude název virtuálního hostitele msnw2ers, 10.3.1.53 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 12. Pro System NW3 se jedná o název virtuálního hostitele msnw3ers, 10.3.1.55 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 22.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete pro uživatele, který není rootem, připojovat se k sapinst. Pomocí parametru SAPINST_USE_HOSTNAME můžete nainstalovat SAP s použitím názvu virtuálního hostitele.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Poznámka

    Použijte SWPM SP 20 PL 05 nebo vyšší. Nižší verze nenastaví správně oprávnění a instalace se nezdaří.

    Pokud se při instalaci nepovede vytvořit podsložku ve složce/usr/SAP/NW2/ERS instance #, zkuste nastavit vlastníka na hodnotu ADM SID a skupinu na sapsys ze složky olajících instance a zkuste to znovu.

    Pokud bylo nutné migrovat skupinu OLAJÍCÍCH nově nasazeného systému SAP na jiný uzel clusteru, nezapomeňte odebrat omezení umístění pro skupinu OLAJÍCÍCH. Omezení můžete odebrat spuštěním následujícího příkazu (příklad je uveden pro SAP Systems NW2 a NW3). Nezapomeňte odebrat dočasná omezení pro stejný prostředek, který jste použili v příkazu k přesunutí skupiny clusteru OLAJÍCÍCH.

      pcs resource clear fs_NW2_AERS
      pcs resource clear fs_NW3_AERS
    
  5. [1] Přizpůsobte profily instancí ASCS/SCS a olajících pro nově nainstalované systémy SAP. Níže zobrazený příklad je určen pro NW2. Pro všechny instance SAP přidané do clusteru budete muset upravit profily ASCS/SCS a OLAJÍCÍCH.

    • Profil ASCS/SCS

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      Pro ENSA1 i ENSA2 se ujistěte, že keepalive jsou nastavené parametry operačního systému, jak je popsáno v tématu SAP note 1410736.

    • Profil ERS

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] Aktualizace souboru /usr/sap/sapservices

    Aby se zabránilo spuštění instancí spouštěcím skriptem sapinit, musí být všechny instance spravované Pacemakerem okomentovány ze /usr/sap/sapservices souboru . Níže uvedený příklad je pro systémy SAP NW2 a NW3.

     # On the node where ASCS was installed, comment out the line for the ASCS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
    
     # On the node where ERS was installed, comment out the line for the ERS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
    
  7. [1] Vytvořte prostředky clusteru SAP pro nově nainstalovaný systém SAP.

    Pokud používáte architekturu enqueue serveru 1 (ENSA1), následujícím způsobem definujte prostředky pro systémy SAP NW2 a NW3:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
    sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
    sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    Společnost SAP zavedla podporu pro zařazení serveru do fronty 2, včetně replikace, od SAP NW 7.52. Od verze jazyk ABAP Platform 1809 se ve výchozím nastavení nainstaluje enqueue server 2. V poznámkové 2630416 SAP najdete podporu zařazování serveru 2 do fronty. Pokud používáte architekturu enqueue serveru 2 (ENSA2),následujícím způsobem definujte prostředky pro systémy SAP NW2 a NW3:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs resource meta rsc_sap_NW2_ERS12  resource-stickiness=3000
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint order start g-NW2_ASCS then start g-NW2_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs resource meta rsc_sap_NW3_ERS22  resource-stickiness=3000
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint order start g-NW3_ASCS then start g-NW3_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    Pokud upgradujete ze starší verze a přepnete na zařazování serveru do fronty 2, podívejte se na poznámku SAP 2641019.

    Poznámka

    Časové limity ve výše uvedené konfiguraci jsou jenom příklady a možná bude potřeba je přizpůsobit konkrétnímu nastavení SAP.

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěny všechny prostředky. Na tom, na kterém uzlu jsou prostředky spuštěné, není důležité. Následující příklad ukazuje stav prostředků clusteru po přidání systémů SAP NW2 a NW3 do clusteru.

     sudo pcs status
    
    Online: [ rhelmsscl1 rhelmsscl2 ]
    
    Full list of resources:
    
    rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
    Resource Group: g-NW1_ASCS
        fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW1_AERS
        fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
        vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
        nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
        rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    Resource Group: g-NW2_ASCS
        fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW2_AERS
        fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_ASCS
        fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_AERS
        fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    
  8. [A] Přidejte pravidla brány firewall pro ASCS a ERS na obou uzlech. Následující příklad ukazuje pravidla brány firewall pro systémy SAP NW2 i NW3.

     # NW2 - ASCS
     sudo firewall-cmd --zone=public --add-port=62010/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62010/tcp
     sudo firewall-cmd --zone=public --add-port=3210/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3210/tcp
     sudo firewall-cmd --zone=public --add-port=3610/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3610/tcp
     sudo firewall-cmd --zone=public --add-port=3910/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3910/tcp
     sudo firewall-cmd --zone=public --add-port=8110/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8110/tcp
     sudo firewall-cmd --zone=public --add-port=51013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51013/tcp
     sudo firewall-cmd --zone=public --add-port=51014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51014/tcp
     sudo firewall-cmd --zone=public --add-port=51016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51016/tcp
     # NW2 - ERS
     sudo firewall-cmd --zone=public --add-port=62112/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62112/tcp
     sudo firewall-cmd --zone=public --add-port=3212/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3212/tcp
     sudo firewall-cmd --zone=public --add-port=3312/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3312/tcp
     sudo firewall-cmd --zone=public --add-port=51213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51213/tcp
     sudo firewall-cmd --zone=public --add-port=51214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51214/tcp
     sudo firewall-cmd --zone=public --add-port=51216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51216/tcp
     # NW3 - ASCS
     sudo firewall-cmd --zone=public --add-port=62020/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62020/tcp
     sudo firewall-cmd --zone=public --add-port=3220/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3220/tcp
     sudo firewall-cmd --zone=public --add-port=3620/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3620/tcp
     sudo firewall-cmd --zone=public --add-port=3920/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3920/tcp
     sudo firewall-cmd --zone=public --add-port=8120/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8120/tcp
     sudo firewall-cmd --zone=public --add-port=52013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52013/tcp
     sudo firewall-cmd --zone=public --add-port=52014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52014/tcp
     sudo firewall-cmd --zone=public --add-port=52016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52016/tcp
     # NW3 - ERS
     sudo firewall-cmd --zone=public --add-port=62122/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62122/tcp
     sudo firewall-cmd --zone=public --add-port=3222/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3222/tcp
     sudo firewall-cmd --zone=public --add-port=3322/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3322/tcp
     sudo firewall-cmd --zone=public --add-port=52213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52213/tcp
     sudo firewall-cmd --zone=public --add-port=52214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52214/tcp
     sudo firewall-cmd --zone=public --add-port=52216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52216/tcp
    

Pokračování v instalaci SAP

Dokončete instalaci SAP:

Testování nastavení clusteru s více sidy

Následující testy jsou podmnožinou testovacích případů v průvodcích osvědčenými postupy red hatu. Jsou součástí pro usnadnění. Úplný seznam testů clusteru najdete v následující dokumentaci:

Vždy si přečtěte příručky s osvědčenými postupy pro Red Hat a proveďte všechny další testy, které se mohly přidat.
Prezentované testy jsou ve dvou uzlech, v clusteru s více SID se třemi nainstalovanými systémy SAP.

  1. Ručně migrujte instanci služby ASCS. Příklad ukazuje migraci instance ASCS pro systém SAP NW3.

    Stav prostředku před zahájením testu:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    Spuštěním následujících příkazů jako uživatele root migrujte instanci SLUŽBY ASCS NW3.

     pcs resource move rsc_sap_NW3_ASCS200
     # Clear temporary migration constraints
     pcs resource clear rsc_sap_NW3_ASCS20
    
     # Remove failed actions for the ERS that occurred as part of the migration
     pcs resource cleanup rsc_sap_NW3_ERS22
    

    Stav prostředku po testu:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    
  2. Simulace selhání uzlu

    Stav prostředku před zahájením testu:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    

    Spusťte následující příkaz jako root na uzlu, kde je spuštěná alespoň jedna instance ASCS. V tomto příkladu jsme spouštěly příkaz na , kde jsou spuštěné instance ASCS pro rhelmsscl1 NW1, NW2 a NW3.

    echo c > /proc/sysrq-trigger
    

    Stav po testu a po tom, co se uzel znovu zhroutil, by měl vypadat takhle.

     Full list of resources:
    
     rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    Pokud se pro prostředky, které selhaly, zobrazí zprávy, vyčistěte stav prostředků, které selhaly. Příklad:

    pcs resource cleanup rsc_sap_NW1_ERS02
    

Další kroky