Guide för hög tillgänglighet för SAP NetWeaver på virtuella Azure-Red Hat Enterprise Linux för SAP-program med flera SID

Den här artikeln beskriver hur du distribuerar flera SAP NetWeaver-system med hög tillgång (det vill säga flera SID) i ett kluster med två noder på virtuella Azure-datorer med Red Hat Enterprise Linux för SAP-program.

I exempelkonfigurationer, installationskommandon osv. distribueras tre SAP NetWeaver 7.50-system i ett kluster med hög tillgänglighet med två noder. SAP-system-SID:erna är:

  • NW1: ASCS-instansnummer 00 och virtuellt värdnamn msnw1ascs; ERS-instansnummer 02 och det virtuella värdnamnet msnw1ers.
  • NW2: ASCS instansnummer 10 och virtuellt värdnamn msnw2ascs; ERS-instansnummer 12 och det virtuella värdnamnet msnw2ers.
  • NW3: ASCS instansnummer 20 och virtuellt värdnamn msnw3ascs; ERS-instansnummer 22 och virtuellt värdnamn msnw3ers.

Artikeln beskriver inte databaslagret och distributionen av SAP NFS-resurser. I exemplen i den här artikeln använder vi Azure NetApp Files sapMSID för NFS-resurser, förutsatt att volymen redan har distribuerats. Vi antar också att Azure NetApp Files-volymen distribueras med NFSv3-protokollet och att följande sökvägar finns för klusterresurserna för ASCS- och ERS-instanserna av SAP-systemen NW1, NW2 och NW3:

  • volym sapMSID (nfs://10.42.0.4/sapmntNW1)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • volym sapMSID (nfs://10.42.0.4/sapmntNW2)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • volym sapMSID (nfs://10.42.0.4/sapmntNW3)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • volym sapMSID (nfs://10.42.0.4/usrsapNW3ers)

Innan du börjar bör du först gå till följande SAP-anteckningar och -artiklar:

Översikt

De virtuella datorer som ingår i klustret måste ha en storlek för att kunna köra alla resurser, om redundans inträffar. Varje SAP SID kan redundans växlas över oberoende av varandra i klustret med hög tillgänglighet med flera SID.

För att uppnå hög tillgänglighet kräver SAP NetWeaver resurser med hög tillgänglighet. I den här dokumentationen presenterar vi exemplen med de SAP-resurser som distribuerats på Azure NetApp Files NFS-volymer. Det är också möjligt att vara värd för resurser på EttStringsterFS-kluster medhög tillgänglig, som kan användas av flera SAP-system.

Översikt över hög tillgänglighet för SAP NetWeaver

Viktigt

Stödet för multi-SID-klustring av SAP ASCS/ERS med Red Hat Linux som gästoperativsystemet på virtuella Azure-datorer är begränsat till fem SAP-SID:er i samma kluster. Varje nytt SID ökar komplexiteten. En blandning av SAP Enqueue Replication Server 1 och Enqueue Replication Server 2 i samma kluster stöds inte. Multi-SID-klustring beskriver installationen av flera SAP ASCS/ERS-instanser med olika SID i ett pacemakerkluster. För närvarande stöds kluster med flera SID:er endast för ASCS/ERS.

Tips

Multi-SID-klustring av SAP ASCS/ERS är en lösning med högre komplexitet. Det är mer komplicerat att implementera. Det innebär också högre administrativt arbete vid körning av underhållsaktiviteter (t.ex. korrigering av operativsystem). Innan du börjar den faktiska implementeringen bör du noga planera distributionen och alla komponenter som ingår, till exempel virtuella datorer, NFS-monteringar, VIP-adresser, lastbalanseringskonfigurationer och så vidare.

SAP NetWeaver ASCS, SAP NetWeaver SCS och SAP NetWeaver ERS använder virtuella värdnamn och virtuella IP-adresser. I Azure krävs en lastbalanserare för att använda en virtuell IP-adress. Vi rekommenderar att du använder standardlastbalanserare.

I följande lista visas konfigurationen av (A)SCS- och ERS-lastbalanserare för det här klusterexempel med flera SID:er med tre SAP-system. Du behöver separata IP-adresser för frontend, hälsoavsökningar och belastningsutjämningsregler för varje ASCS- och ERS-instans för var och en av SID:erna. Tilldela alla virtuella datorer som ingår i ASCS/ASCS-klustret till en serverdelspool för en enda ILB.

(A) SCS

  • Konfiguration av frontend

    • IP-adress för NW1: 10.3.1.50
    • IP-adress för NW2: 10.3.1.52
    • IP-adress för NW3: 10.3.1.54
  • Avsökningsportar

    • Port 620 < nr >, därför för avsökningsportarna NW1, NW2 och NW3 620 00, 620 10 och 620 20
  • Belastningsutjämningsregler – skapa en för varje instans, det vill säga NW1/ASCS, NW2/ASCS och NW3/ASCS.

    • Om du använder Standard Load Balancer väljer du HA-portar
    • Om du använder Basic Load Balancer skapar du belastningsutjämningsregler för följande portar
      • 32 < nr > TCP
      • 36 < nr > TCP
      • 39 < nr > TCP
      • 81 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

ERS

  • Konfiguration av frontend

    • IP-adress för NW1 10.3.1.51
    • IP-adress för NW2 10.3.1.53
    • IP-adress för NW3 10.3.1.55
  • Avsökningsport

    • Port 621 < > nr,därför för avsökningsportarna NW1, NW2 och N3 621 02, 621 12 och 621 22
  • Belastningsutjämningsregler – skapa en för varje instans, det vill säga NW1/ERS, NW2/ERS och NW3/ERS.

    • Om du använder Standard Load Balancer väljer du HA-portar
    • Om du använder Basic Load Balancer skapar du belastningsutjämningsregler för följande portar
      • 32 < nr > TCP
      • 33 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP
  • Serverkonfiguration

    • Ansluten till primära nätverksgränssnitt för alla virtuella datorer som ska ingå i (A)SCS/ERS-klustret

Viktigt

Flytande IP stöds inte på en sekundär IP-konfiguration för nätverkskort i scenarier med belastningsutjämning. Mer information finns i Begränsningar för Azure Load Balancer. Om du behöver ytterligare IP-adress för den virtuella datorn distribuerar du ett andra nätverkskort.

Anteckning

När virtuella datorer utan offentliga IP-adresser placeras i serverpoolen för intern (ingen offentlig IP-adress) Standard Azure-lastbalanserare, kommer det inte att finnas någon utgående Internetanslutning, såvida inte ytterligare konfiguration utförs för att tillåta routning till offentliga slutpunkter. Mer information om hur du uppnår utgående anslutningar finns i Offentlig slutpunktsanslutning för Virtual Machines med Azure Standard Load Balancer i SAP-scenarier med hög tillgänglighet.

Viktigt

Aktivera inte TCP-tidsstämplar på virtuella Azure-datorer som placerats bakom Azure Load Balancer. Om DU aktiverar TCP-tidsstämplar misslyckas hälsoavsökningarna. Ange parametern net.ipv4.tcp_timestamps till 0. Mer information finns i Load Balancer hälsoavsökningar.

SAP-resurser

SAP NetWeaver kräver delad lagring för transport, profilkatalog och så vidare. För SAP-system med hög tillgång är det viktigt att ha resurser med hög tillgång. Du måste bestämma arkitekturen för dina SAP-resurser. Ett alternativ är att distribuera resurser på Azure NetApp Files NFS-volymer. Med Azure NetApp Files får du inbyggd hög tillgänglighet för SAP NFS-resurser.

Ett annat alternativ är att skapa LimsterFS på virtuella Azure-datorer på Red Hat Enterprise Linux för SAP NetWeaver, som kan delas mellan flera SAP-system.

Distribuera det första SAP-systemet i klustret

Nu när du har bestämt dig för arkitekturen för SAP-resurser distribuerar du det första SAP-systemet i klustret enligt motsvarande dokumentation.

Dokumenten ovan vägleder dig genom stegen för att förbereda den nödvändiga infrastrukturen, skapa klustret, förbereda operativsystemet för att köra SAP-programmet.

Tips

Testa alltid redundansklustrets redundansfunktion när det första systemet har distribuerats innan du lägger till ytterligare SAP-SID:er i klustret. På så sätt vet du att klusterfunktionen fungerar innan du lägger till komplexiteten i ytterligare SAP-system i klustret.

Distribuera ytterligare SAP-system i klustret

I det här exemplet antar vi att system-NW1 redan har distribuerats i klustret. Vi visar hur du distribuerar i klustrets SAP-system NW2 och NW3.

Följande objekt föregås av antingen [A] – gäller för alla noder, [1] – gäller endast nod 1 eller [2] – gäller endast för nod 2.

Förutsättningar

Viktigt

Innan du följer instruktionerna för att distribuera ytterligare SAP-system i klustret följer du anvisningarna för att distribuera det första SAP-systemet i klustret, eftersom det finns steg som endast behövs under den första systemdistributionen.

Den här dokumentationen förutsätter att:

  • Pacemaker-klustret har redan konfigurerats och körs.
  • Minst ett SAP-system (ASCS/ERS-instans) har redan distribuerats och körs i klustret.
  • Funktionen för kluster redundans har testats.
  • NFS-resurser för alla SAP-system distribueras.

Förbereda för SAP NetWeaver-installation

  1. Lägg till konfiguration för det nyligen distribuerade systemet (det vill säga NW2, NW3) till den befintliga Azure Load Balancer genom att följa anvisningarna Distribuera Azure Load Balancer manuellt via Azure Portal. Justera IP-adresser, hälsoavsökningsportar, belastningsutjämningsregler för konfigurationen.

  2. [A] Konfigurera namnmatchning för de ytterligare SAP-systemen. Du kan antingen använda DNS-servern eller /etc/hosts ändra på alla noder. Det här exemplet visar hur du använder /etc/hosts filen. Anpassa IP-adresserna och värdnamnen till din miljö.

    sudo vi /etc/hosts
    # IP address of the load balancer frontend configuration for NW2 ASCS
    10.3.1.52 msnw2ascs
    # IP address of the load balancer frontend configuration for NW3 ASCS
    10.3.1.54 msnw3ascs
    # IP address of the load balancer frontend configuration for NW2 ERS
    10.3.1.53 msnw2ers
    # IP address of the load balancer frontend configuration for NW3 ERS
    10.3.1.55 msnw3ers
    
  3. [A] Skapa de delade katalogerna för de ytterligare NW2- och NW3 SAP-system som du distribuerar till klustret.

    sudo mkdir -p /sapmnt/NW2
    sudo mkdir -p /usr/sap/NW2/SYS
    sudo mkdir -p /usr/sap/NW2/ASCS10
    sudo mkdir -p /usr/sap/NW2/ERS12
    sudo mkdir -p /sapmnt/NW3
    sudo mkdir -p /usr/sap/NW3/SYS
    sudo mkdir -p /usr/sap/NW3/ASCS20
    sudo mkdir -p /usr/sap/NW3/ERS22
    
    
    sudo chattr +i /sapmnt/NW2
    sudo chattr +i /usr/sap/NW2/SYS
    sudo chattr +i /usr/sap/NW2/ASCS10
    sudo chattr +i /usr/sap/NW2/ERS12
    sudo chattr +i /sapmnt/NW3
    sudo chattr +i /usr/sap/NW3/SYS
    sudo chattr +i /usr/sap/NW3/ASCS20
    sudo chattr +i /usr/sap/NW3/ERS22
    
  4. [A] Lägg till monteringsposter för filsystemen /sapmnt/SID och /usr/sap/SID/SYS för de ytterligare SAP-system som du distribuerar till klustret. I det här exemplet NW2 och NW3.

    Uppdatera filen /etc/fstab med filsystemen för de ytterligare SAP-system som du distribuerar till klustret.

Installera ASCS/ERS

  1. Skapa de virtuella IP- och hälsoavsökningsklusterresurserna för ASCS-instanserna av de ytterligare SAP-system som du distribuerar till klustret. Exemplet som visas här är för NW2 och NW3 ASCS, med NFS på Azure NetApp Files-volymer med NFSv3-protokoll.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
    directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_ASCS
    
    sudo pcs resource create vip_NW2_ASCS IPaddr2 \
    ip=10.3.1.52 cidr_netmask=24 \
     --group g-NW2_ASCS
    
    sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
     --group g-NW2_ASCS
    
    sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
    directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
    --group g-NW3_ASCS
    
    sudo pcs resource create vip_NW3_ASCS IPaddr2 \
    ip=10.3.1.54 cidr_netmask=24 \
    --group g-NW3_ASCS
    
    sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
    --group g-NW3_ASCS
    

    Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs.

  2. [1] Installera SAP NetWeaver ASCS

    Installera SAP NetWeaver ASCS som rot med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen på frontend-sidan för ASCS. För systemet NW2 är till exempel det virtuella värdnamnet msnw2ascs, 10.3.1.52 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 10. För system-NW3 är det virtuella värdnamnet msnw3ascs, 10.3.1.54 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 20. Anteckna vilken klusternod du installerade ASCS för varje SAP SID.

    Du kan använda parametern sapinst SAPINST_REMOTE_ACCESS_USER tillåta att en icke-rotanvändare ansluter till sapinst. Du kan använda parametern SAPINST_USE_HOSTNAME för att installera SAP med hjälp av det virtuella värdnamnet.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Om installationen inte kan skapa en undermapp i /usr/sap/SID/ASCS Instance# kan du försöka ange ägaren till sid adm och grupp till sapsys för ASCS Instance# och försök igen.

  3. [1] Skapa en virtuell IP- och hälsoavsökningsklusterresurser för ERS-instansen av det ytterligare SAP-system som du distribuerar till klustret. Exemplet som visas här är för NW2 och NW3 ERS, med NFS på Azure NetApp Files-volymer med NFSv3-protokoll.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
    directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_AERS
    
    sudo pcs resource create vip_NW2_AERS IPaddr2 \
    ip=10.3.1.53 cidr_netmask=24 \
     --group g-NW2_AERS
    
    sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
     --group g-NW2_AERS
    
    sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
    directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW3_AERS
    
    sudo pcs resource create vip_NW3_AERS IPaddr2 \
    ip=10.3.1.55 cidr_netmask=24 \
     --group g-NW3_AERS
    
    sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
     --group g-NW3_AERS
    

    Kontrollera att klusterstatusen är ok och att alla resurser har startats.

    Kontrollera sedan att resurserna i den nyligen skapade ERS-gruppen körs på klusternoden, mitt emot klusternoden där ASCS-instansen för samma SAP-system installerades. Om till exempel NW2 ASCS har installerats på rhelmsscl1 kontrollerar du att NW2 ERS-gruppen körs på rhelmsscl2 . Du kan migrera NW2 ERS-gruppen till genom att köra rhelmsscl2 följande kommando för en av klusterresurserna i gruppen:

      pcs resource move fs_NW2_AERS rhelmsscl2
    
  4. [2] Installera SAP NetWeaver ERS

    Installera SAP NetWeaver ERS som rot på den andra noden med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen för frontend för ERS. För system NW2 är till exempel det virtuella värdnamnet msnw2ers, 10.3.1.53 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 12. För system-NW3, det virtuella värdnamnet msnw3ers, 10.3.1.55 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 22.

    Du kan använda parametern sapinst SAPINST_REMOTE_ACCESS_USER tillåta att en icke-rotanvändare ansluter till sapinst. Du kan använda parametern SAPINST_USE_HOSTNAME för att installera SAP med hjälp av det virtuella värdnamnet.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Anteckning

    Använd SWPM SP 20 PL 05 eller senare. Lägre versioner anger inte behörigheterna korrekt och installationen misslyckas.

    Om installationen inte kan skapa en undermapp i /usr/sap/NW2/ERS Instance# kan du försöka ange ägaren till sid adm och gruppen till sapsys för ERS Instance#-mappen och försök igen.

    Om det var nödvändigt för dig att migrera ERS-gruppen för det nyligen distribuerade SAP-systemet till en annan klusternod, glöm inte att ta bort platsbegränsningen för ERS-gruppen. Du kan ta bort begränsningen genom att köra följande kommando (exemplet ges för SAP-systemen NW2 och NW3). Se till att ta bort de tillfälliga begränsningarna för samma resurs som du använde i kommandot för att flytta ERS-klustergruppen.

      pcs resource clear fs_NW2_AERS
      pcs resource clear fs_NW3_AERS
    
  5. [1] Anpassa ASCS/SCS- och ERS-instansprofilerna för de nyligen installerade SAP-system. Exemplet nedan är för NW2. Du måste anpassa ASCS/SCS- och ERS-profilerna för alla SAP-instanser som läggs till i klustret.

    • ASCS/SCS-profil

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      För både ENSA1 och ENSA2 kontrollerar du att OS-parametrarna har angetts enligt beskrivningen i keepalive SAP-anteckningen 1410736.

    • ERS-profil

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] Uppdatera filen /usr/sap/sapservices

    För att förhindra att instanserna startas av sapinit-startskriptet måste alla instanser som hanteras av Pacemaker kommenteras bort från /usr/sap/sapservices filen. Exemplet nedan är för SAP-systemen NW2 och NW3.

     # On the node where ASCS was installed, comment out the line for the ASCS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
    
     # On the node where ERS was installed, comment out the line for the ERS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
    
  7. [1] Skapa SAP-klusterresurserna för det nyligen installerade SAP-systemet.

    Om du använder enqueue server 1-arkitektur (ENSA1) definierar du resurserna för SAP-systemen NW2 och NW3 enligt följande:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
    sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
    sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    SAP införde stöd för att ta server 2 i plats, inklusive replikering, från och med SAP NW 7.52. Från och ABAP Platform 1809 installeras enqueue server 2 som standard. Se SAP-2630416 för stöd för server 2. Om du använder enqueue server 2-arkitektur (ENSA2)definierar du resurserna för SAP-systemen NW2 och NW3 enligt följande:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs resource meta rsc_sap_NW2_ERS12  resource-stickiness=3000
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint order start g-NW2_ASCS then start g-NW2_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs resource meta rsc_sap_NW3_ERS22  resource-stickiness=3000
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint order start g-NW3_ASCS then start g-NW3_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    Om du uppgraderar från en äldre version och växlar till att sätta i server 2 kan du se SAP-anteckningen 2641019.

    Anteckning

    Tidsgränserna i konfigurationen ovan är bara exempel och kan behöva anpassas till den specifika SAP-konfigurationen.

    Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs. I följande exempel visas status för klusterresurser efter att SAP-systemen NW2 och NW3 har lagts till i klustret.

     sudo pcs status
    
    Online: [ rhelmsscl1 rhelmsscl2 ]
    
    Full list of resources:
    
    rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
    Resource Group: g-NW1_ASCS
        fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW1_AERS
        fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
        vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
        nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
        rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    Resource Group: g-NW2_ASCS
        fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW2_AERS
        fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_ASCS
        fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_AERS
        fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    
  8. [A] Lägg till brandväggsregler för ASCS och ERS på båda noderna. I exemplet nedan visas brandväggsreglerna för både SAP-systemen NW2 och NW3.

     # NW2 - ASCS
     sudo firewall-cmd --zone=public --add-port=62010/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62010/tcp
     sudo firewall-cmd --zone=public --add-port=3210/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3210/tcp
     sudo firewall-cmd --zone=public --add-port=3610/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3610/tcp
     sudo firewall-cmd --zone=public --add-port=3910/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3910/tcp
     sudo firewall-cmd --zone=public --add-port=8110/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8110/tcp
     sudo firewall-cmd --zone=public --add-port=51013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51013/tcp
     sudo firewall-cmd --zone=public --add-port=51014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51014/tcp
     sudo firewall-cmd --zone=public --add-port=51016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51016/tcp
     # NW2 - ERS
     sudo firewall-cmd --zone=public --add-port=62112/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62112/tcp
     sudo firewall-cmd --zone=public --add-port=3212/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3212/tcp
     sudo firewall-cmd --zone=public --add-port=3312/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3312/tcp
     sudo firewall-cmd --zone=public --add-port=51213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51213/tcp
     sudo firewall-cmd --zone=public --add-port=51214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51214/tcp
     sudo firewall-cmd --zone=public --add-port=51216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51216/tcp
     # NW3 - ASCS
     sudo firewall-cmd --zone=public --add-port=62020/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62020/tcp
     sudo firewall-cmd --zone=public --add-port=3220/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3220/tcp
     sudo firewall-cmd --zone=public --add-port=3620/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3620/tcp
     sudo firewall-cmd --zone=public --add-port=3920/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3920/tcp
     sudo firewall-cmd --zone=public --add-port=8120/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8120/tcp
     sudo firewall-cmd --zone=public --add-port=52013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52013/tcp
     sudo firewall-cmd --zone=public --add-port=52014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52014/tcp
     sudo firewall-cmd --zone=public --add-port=52016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52016/tcp
     # NW3 - ERS
     sudo firewall-cmd --zone=public --add-port=62122/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62122/tcp
     sudo firewall-cmd --zone=public --add-port=3222/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3222/tcp
     sudo firewall-cmd --zone=public --add-port=3322/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3322/tcp
     sudo firewall-cmd --zone=public --add-port=52213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52213/tcp
     sudo firewall-cmd --zone=public --add-port=52214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52214/tcp
     sudo firewall-cmd --zone=public --add-port=52216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52216/tcp
    

Fortsätt med SAP-installationen

Slutför SAP-installationen genom att:

Testa konfigurationen av multi-SID-klustret

Följande tester är en delmängd av testfallen i riktlinjerna för bästa praxis i Red Hat. De ingår för att underlätta för dig. En fullständig lista över klustertester finns i följande dokumentation:

Läs alltid red hat-vägledningarna om metodtips och utför alla ytterligare tester som kan ha lagts till.
Testerna som visas finns i ett kluster med två noder med flera SID:er med tre SAP-system installerade.

  1. Migrera ASCS-instansen manuellt. Exemplet visar migrering av ASCS-instansen för SAP-systemets NW3.

    Resurstillstånd innan du startar testet:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    Kör följande kommandon som rot för att migrera NW3 ASCS-instansen.

     pcs resource move rsc_sap_NW3_ASCS200
     # Clear temporary migration constraints
     pcs resource clear rsc_sap_NW3_ASCS20
    
     # Remove failed actions for the ERS that occurred as part of the migration
     pcs resource cleanup rsc_sap_NW3_ERS22
    

    Resurstillstånd efter testet:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    
  2. Simulera nodkrasch

    Resurstillstånd innan du startar testet:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    

    Kör följande kommando som rot på en nod, där minst en ASCS-instans körs. I det här exemplet körde vi kommandot på rhelmsscl1 , där ASCS-instanserna för NW1, NW2 och NW3 körs.

    echo c > /proc/sysrq-trigger
    

    Statusen efter testet och efter att noden som kraschade har startats igen bör se ut så här.

     Full list of resources:
    
     rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    Om det finns meddelanden om misslyckade resurser rensar du statusen för de resurser som misslyckades. Exempel:

    pcs resource cleanup rsc_sap_NW1_ERS02
    

Nästa steg