Guide för hög tillgänglighet för SAP NetWeaver på virtuella Azure-SUSE Linux Enterprise Server för SAP-program med flera SID

  • Artikel
  • 26 minuter för att läsa

Den här artikeln beskriver hur du distribuerar flera SAP NetWeaver- eller S4HANA-system med hög tillgång (det vill säga flera SID) i ett kluster med två noder på virtuella Azure-datorer med SUSE Linux Enterprise Server för SAP-program.

I exempelkonfigurationer, installationskommandon osv. distribueras tre SAP NetWeaver 7.50-system i ett kluster med hög tillgänglighet med två noder. SAP-system-SID:erna är:

  • NW1: ASCS-instansnummer 00 och virtuellt värdnamn msnw1ascs; ERS-instansnummer 02 och det virtuella värdnamnet msnw1ers.
  • NW2: ASCS instansnummer 10 och virtuellt värdnamn msnw2ascs; ERS-instansnummer 12 och det virtuella värdnamnet msnw2ers.
  • NW3: ASCS instansnummer 20 och virtuellt värdnamn msnw3ascs; ERS-instansnummer 22 och virtuellt värdnamn msnw3ers.

Artikeln beskriver inte databaslagret och distributionen av SAP NFS-resurser. I exemplen i den här artikeln använder vi virtuella namn nw2-nfs för NW2 NFS-resurser och nw3-nfs för NW3 NFS-resurser, förutsatt att NFS-klustret har distribuerats.

Innan du börjar bör du först gå till följande SAP-anteckningar och -artiklar:

Översikt

De virtuella datorer som ingår i klustret måste ha en storlek för att kunna köra alla resurser, om redundans inträffar. Varje SAP SID kan redundans växlas över oberoende av varandra i klustret med hög tillgänglighet med flera SID. Om du använder SBD-avstängning kan SBD-enheterna delas mellan flera kluster.

För att uppnå hög tillgänglighet kräver SAP NetWeaver NFS-resurser med hög tillgänglighet. I det här exemplet antar vi att SAP NFS-resurser antingen finns på NFS-filservernmed hög tillgänglig , som kan användas av flera SAP-system. Eller så distribueras resurser på Azure NetApp Files NFS-volymer.

Pacemakerkluster visar detaljerad information om två multi-SID-kluster, msidcl1 och msidcl2.

Viktigt

Stödet för multi-SID-klustring av SAP ASCS/ERS med SUSE Linux som gästoperativsystemet på virtuella Azure-datorer är begränsat till fem SAP SID i samma kluster. Varje nytt SID ökar komplexiteten. En blandning av SAP Enqueue Replication Server 1 och Enqueue Replication Server 2 i samma kluster stöds inte. Multi-SID-klustring beskriver installationen av flera SAP ASCS/ERS-instanser med olika SID i ett pacemakerkluster. För närvarande stöds kluster med flera SID:er endast för ASCS/ERS.

Tips

Multi-SID-klustring av SAP ASCS/ERS är en lösning med högre komplexitet. Det är mer komplicerat att implementera. Det innebär också högre administrativt arbete vid körning av underhållsaktiviteter (t.ex. korrigering av operativsystem). Innan du börjar den faktiska implementeringen bör du noga planera distributionen och alla komponenter som ingår, till exempel virtuella datorer, NFS-monteringar, VIP-adresser, lastbalanseringskonfigurationer och så vidare.

NFS-servern, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS och SAP HANA-databasen använder virtuella värdnamn och virtuella IP-adresser. I Azure krävs en lastbalanserare för att använda en virtuell IP-adress. Vi rekommenderar att du använder standardlastbalanserare.

I följande lista visas konfigurationen av (A)SCS- och ERS-lastbalanserare för det här klusterexempel med flera SID:er med tre SAP-system. Du behöver separata IP-adresser för frontend, hälsoavsökningar och belastningsutjämningsregler för varje ASCS- och ERS-instans för var och en av SID:erna. Tilldela alla virtuella datorer som ingår i ASCS/ASCS-klustret till en serverdelspool.

(A) SCS

  • Konfiguration av frontend
    • IP-adress för NW1: 10.3.1.14
    • IP-adress för NW2: 10.3.1.16
    • IP-adress för NW3: 10.3.1.13
  • Avsökningsportar
    • Port 620 < nr >, därför för avsökningsportarna NW1, NW2 och NW3 620 00, 620 10 och 620 20
  • Regler för belastningsutjämning –
  • skapa en för varje instans, det vill säga NW1/ASCS, NW2/ASCS och NW3/ASCS.
    • Om du använder Standard Load Balancer väljer du HA-portar
    • Om du använder Basic Load Balancer skapar du belastningsutjämningsregler för följande portar
      • 32 < nr > TCP
      • 36 < nr > TCP
      • 39 < nr > TCP
      • 81 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

ERS

  • Konfiguration av frontend

    • IP-adress för NW1 10.3.1.15
    • IP-adress för NW2 10.3.1.17
    • IP-adress för NW3 10.3.1.19

  • Avsökningsport

    • Port 621 < nr >, därför för avsökningsportarna NW1, NW2 och N# 621 02, 621 12 och 621 22

  • Belastningsutjämningsregler – skapa en för varje instans, det vill säga NW1/ERS, NW2/ERS och NW3/ERS.

    • Om du använder Standard Load Balancer väljer du HA-portar
    • Om du använder Basic Load Balancer skapar du belastningsutjämningsregler för följande portar
      • 32 < nr > TCP
      • 33 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

  • Serverkonfiguration

    • Ansluten till primära nätverksgränssnitt för alla virtuella datorer som ska ingå i (A)SCS/ERS-klustret

Viktigt

Flytande IP stöds inte på en sekundär IP-konfiguration för nätverkskort i scenarier för belastningsutjämning. Mer information finns i Begränsningar för Azure Load Balancer. Om du behöver ytterligare IP-adress för den virtuella datorn distribuerar du ett andra nätverkskort.

Anteckning

När virtuella datorer utan offentliga IP-adresser placeras i serverpoolen för intern (ingen offentlig IP-adress) Standard Azure-lastbalanserare, kommer det inte att finnas någon utgående Internetanslutning, såvida inte ytterligare konfiguration utförs för att tillåta routning till offentliga slutpunkter. Mer information om hur du uppnår utgående anslutningar finns i Offentlig slutpunktsanslutning för Virtual Machines med Azure Standard Load Balancer i SAP-scenarier med hög tillgänglighet.

Viktigt

Aktivera inte TCP-tidsstämplar på virtuella Azure-datorer som placerats bakom Azure Load Balancer. Om DU aktiverar TCP-tidsstämplar misslyckas hälsoavsökningarna. Ange parametern net.ipv4.tcp_timestamps till 0. Mer information finns i Load Balancer hälsoavsökningar.

SAP NFS-resurser

SAP NetWeaver kräver delad lagring för transport, profilkatalog och så vidare. För SAP-system med hög tillgång är det viktigt att ha NFS-resurser med hög tillgång. Du måste bestämma arkitekturen för dina SAP NFS-resurser. Ett alternativ är att skapa NFS-kluster medhög tillgänglig på virtuella Azure-datorer SUSE Linux Enterprise Server , som kan delas mellan flera SAP-system.

Ett annat alternativ är att distribuera resurser på Azure NetApp Files NFS-volymer. Med Azure NetApp Files får du inbyggd hög tillgänglighet för SAP NFS-resurser.

Distribuera det första SAP-systemet i klustret

Nu när du har bestämt dig för arkitekturen för SAP NFS-resurser distribuerar du det första SAP-systemet i klustret enligt motsvarande dokumentation.

Dokumenten ovan vägleder dig genom stegen för att förbereda nödvändiga infrastrukturer, skapa klustret, förbereda operativsystemet för att köra SAP-programmet.

Tips

Testa alltid redundansklustrets redundansfunktion när det första systemet har distribuerats innan du lägger till ytterligare SAP-SID:er i klustret. På så sätt vet du att klusterfunktionen fungerar innan du lägger till komplexiteten i ytterligare SAP-system i klustret.

Distribuera ytterligare SAP-system i klustret

I det här exemplet antar vi att system-NW1 redan har distribuerats i klustret. Vi visar hur du distribuerar i klustrets SAP-system NW2 och NW3.

Följande objekt föregås av antingen [A] – gäller för alla noder, [1] – gäller endast nod 1 eller [2] – gäller endast för nod 2.

Förutsättningar

Viktigt

Innan du följer instruktionerna för att distribuera ytterligare SAP-system i klustret följer du anvisningarna för att distribuera det första SAP-systemet i klustret, eftersom det finns steg som endast behövs under den första systemdistributionen.

Den här dokumentationen förutsätter att:

  • Pacemaker-klustret har redan konfigurerats och körs.
  • Minst ett SAP-system (ASCS/ERS-instans) har redan distribuerats och körs i klustret.
  • Redundansfunktionerna för klustret har testats.
  • NFS-resurser för alla SAP-system distribueras.

Förbereda för SAP NetWeaver-installation

  1. Lägg till konfiguration för det nyligen distribuerade systemet (det vill säga NW2, NW3) till den befintliga Azure Load Balancer genom att följa anvisningarna Distribuera Azure Load Balancer manuellt via Azure Portal. Justera IP-adresser, hälsoavsökningsportar, belastningsutjämningsregler för konfigurationen.

  2. [A] Konfigurera namnmatchning för de ytterligare SAP-systemen. Du kan antingen använda DNS-servern eller /etc/hosts ändra på alla noder. Det här exemplet visar hur du använder /etc/hosts filen. Anpassa IP-adresserna och värdnamnen till din miljö.

    sudo vi /etc/hosts
# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.16 msnw2ascs
# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.13 msnw3ascs
# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.17 msnw2ers
# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.19 msnw3ers
# IP address for virtual host name for the NFS server for NW2
10.3.1.31 nw2-nfs
# IP address for virtual host name for the NFS server for NW3
10.3.1.32 nw3-nfs

  3. [A] Skapa de delade katalogerna för de ytterligare NW2- och NW3 SAP-system som du distribuerar till klustret.

    sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22


sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

  4. [A] Konfigurera för att montera autofs filsystemen /sapmnt/SID och /usr/sap/SID/SYS för de ytterligare SAP-system som du distribuerar till klustret. I det här exemplet NW2 och NW3.

    Uppdatera filen /etc/auto.direct med filsystemen för de ytterligare SAP-system som du distribuerar till klustret.

    Du måste starta om tjänsten för autofs att montera de nyligen tillagda resurser.

Installera ASCS/ERS

  1. Skapa de virtuella IP- och hälsoavsökningsklusterresurserna för ASCS-instansen av det ytterligare SAP-system som du distribuerar till klustret. Exemplet som visas här är för NW2 och NW3 ASCS, som använder NFS-server med hög tillgänglig.

    Viktigt

    Den senaste testningen visade situationer där netcat slutar svara på begäranden på grund av förfrågningsloggar och dess begränsning av hantering av endast en anslutning. Netcat-resursen slutar att lyssna på Azure Load Balancer-begäranden och den flytande IP-adressen blir otillgänglig.
    För befintliga pacemakerkluster rekommenderar vi att du tidigare ersätter netcat med socat. För närvarande rekommenderar vi att du använder azure-lb-resursagenten, som är en del av paketresursagenter, med följande paketversionskrav:

    • För SLES 12 SP4/SP5 måste versionen minst vara resource-agents-4.3.018.a7fb5035-3.30.1.
    • För SLES 15/15 SP1 måste versionen minst vara resource-agents-4.3.0184.6ee15eb2-4.13.1.

    Observera att ändringen kräver kort stilleståndstid.
    Om konfigurationen redan har ändrats för att använda socat för befintliga pacemakerkluster enligt beskrivningen i Azure Load-Balancer Detection Hardeningfinns det inget krav på att omedelbart växla till resursagenten azure-lb.

      sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

  sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
    params ip=10.3.1.16 cidr_netmask=24 \
    op monitor interval=10 timeout=20

  sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010

  sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
     meta resource-stickiness=3000

  sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=20s timeout=40s

  sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
   params ip=10.3.1.13 cidr_netmask=24 \
   op monitor interval=10 timeout=20

  sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020

  sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
    meta resource-stickiness=3000

    När du skapar de resurser som de kan tilldelas till olika klusterresurser. När du grupperar dem migreras de till en av klusternoderna. Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs.

  2. [1] Installera SAP NetWeaver ASCS

    Installera SAP NetWeaver ASCS som rot med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen på frontend-sidan för ASCS. För system NW2 är till exempel det virtuella värdnamnet msnw2ascs, 10.3.1.16 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 10. för system NW3 är det virtuella värdnamnet msnw3ascs, 10.3.1.13 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 20.

    Du kan använda sapinst-parametern SAPINST_REMOTE_ACCESS_USER att tillåta att en icke-rotanvändare ansluter till sapinst. Du kan använda parametern SAPINST_USE_HOSTNAME för att installera SAP med hjälp av det virtuella värdnamnet.

     sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Om installationen inte kan skapa en undermapp i /usr/sap/SID/ASCS Instance# kan du försöka ange ägaren till sid adm och grupp till sapsys för ASCS Instance# och försök igen.

  3. [1] Skapa en virtuell IP- och hälsoavsökningsklusterresurser för ERS-instansen av det ytterligare SAP-system som du distribuerar till klustret. Exemplet som visas här är för NW2 och NW3 ERS, som använder NFS-server med hög tillgänglig.

     sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

 sudo crm configure primitive vip_NW2_ERS IPaddr2 \
   params ip=10.3.1.17 cidr_netmask=24 \
   op monitor interval=10 timeout=20

 sudo crm configure primitive nc_NW2_ERS azure-lb port=62112

 sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS

 sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

 sudo crm configure primitive vip_NW3_ERS IPaddr2 \
   params ip=10.3.1.19 cidr_netmask=24 \
   op monitor interval=10 timeout=20

 sudo crm configure primitive nc_NW3_ERS azure-lb port=62122

 sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS

    När du skapar de resurser som de kan tilldelas till olika klusternoder. När du grupperar dem migreras de till en av klusternoderna. Kontrollera att klusterstatusen är ok och att alla resurser har startats.

    Kontrollera sedan att resurserna i den nyligen skapade ERS-gruppen körs på klusternoden, mitt emot klusternoden där ASCS-instansen för samma SAP-system installerades. Om till exempel NW2 ASCS har installerats på slesmsscl1 kontrollerar du att NW2 ERS-gruppen körs på slesmsscl2 . Du kan migrera NW2 ERS-gruppen till slesmsscl2 genom att köra följande kommando:

      crm resource migrate g-NW2_ERS slesmsscl2 force

  4. [2] Installera SAP NetWeaver ERS

    Installera SAP NetWeaver ERS som rot på den andra noden med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen för frontend för ERS. För system NW2 är till exempel det virtuella värdnamnet msnw2ers, 10.3.1.17 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 12. För system-NW3, det virtuella värdnamnet msnw3ers, 10.3.1.19 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 22.

    Du kan använda sapinst-parametern SAPINST_REMOTE_ACCESS_USER att tillåta att en icke-rotanvändare ansluter till sapinst. Du kan använda parametern SAPINST_USE_HOSTNAME för att installera SAP med hjälp av det virtuella värdnamnet.

     sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Anteckning

    Använd SWPM SP 20 PL 05 eller senare. Lägre versioner anger inte behörigheterna korrekt och installationen misslyckas.

    Om installationen inte kan skapa en undermapp i /usr/sap/NW2/ERS Instance# kan du försöka ange ägaren till sid adm och gruppen till sapsys för ERS Instance#-mappen och försök igen.

    Om det var nödvändigt för dig att migrera ERS-gruppen för det nyligen distribuerade SAP-systemet till en annan klusternod, glöm inte att ta bort platsbegränsningen för ERS-gruppen. Du kan ta bort begränsningen genom att köra följande kommando (exemplet ges för SAP-systemen NW2 och NW3).

      crm resource unmigrate g-NW2_ERS
  crm resource unmigrate g-NW3_ERS

  5. [1] Anpassa ASCS/SCS- och ERS-instansprofilerna för de nyligen installerade SAP-system. Exemplet nedan är för NW2. Du måste anpassa ASCS/SCS- och ERS-profilerna för alla SAP-instanser som läggs till i klustret.

  • ASCS/SCS-profil

    sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

    För både ENSA1 och ENSA2 kontrollerar du att OS-parametrarna har angetts enligt beskrivningen i keepalive SAP-anteckningen 1410736.

  • ERS-profil

    sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  1. [A] Konfigurera SAP-användare för det nyligen distribuerade SAP-systemet, i det här exemplet NW2 och NW3.

    # Add sidadm to the haclient group
sudo usermod -aG haclient nw2adm
sudo usermod -aG haclient nw3adm

  2. Lägg till ASCS- och ERS SAP-tjänsterna för det nyligen installerade SAP-systemet i sapservice filen. Exemplet nedan är för SAP-systemen NW2 och NW3.

    Lägg till ASCS-tjänstposten till den andra noden och kopiera ERS-tjänstposten till den första noden. Kör kommandona för varje SAP-system på noden, där ASCS-instansen för SAP-systemet installerades.

     # Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
 cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
 sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices
 # Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
 cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
 sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices

  3. [1] Skapa SAP-klusterresurserna för det nyligen installerade SAP-systemet.

    Om du använder enqueue server 1-arkitektur (ENSA1) definierar du resurserna för SAP-systemen NW2 och NW3 enligt följande:

     sudo crm configure property maintenance-mode="true"

 sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

 sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

 sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
 sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

 sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
 sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
 sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

 sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

 sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

 sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
 sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

 sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
 sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
 sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
 sudo crm configure property maintenance-mode="false"

    SAP införde stöd för att ta server 2 i plats, inklusive replikering, från och med SAP NW 7.52. Från och ABAP Platform 1809 installeras enqueue server 2 som standard. Se SAP-2630416 för stöd för server 2. Om du använder enqueue server 2-arkitektur (ENSA2)definierar du resurserna för SAP-systemen NW2 och NW3 enligt följande:

     sudo crm configure property maintenance-mode="true"

 sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 

 sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true 

 sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
 sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

 sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
 sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

 sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

 sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

 sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
 sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

 sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
 sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
 sudo crm configure property maintenance-mode="false"

    Om du uppgraderar från en äldre version och växlar till att sätta server 2 ikö kan du se SAP-anteckningen 2641019.

    Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs. I följande exempel visas status för klusterresurser efter att SAP-systemen NW2 och NW3 har lagts till i klustret.

     sudo crm_mon -r

# Online: [ slesmsscl1 slesmsscl2 ]

#Full list of resources:

#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

    Följande bild visar hur resurserna skulle se ut i HA Web Konsole(Pt), med resurserna för SAP-systemet NW2 expanderade.

    Översikt över hög tillgänglighet för SAP NetWeaver

Fortsätt med SAP-installationen

Slutför SAP-installationen genom att:

Testa multi-SID-klusterkonfigurationen

Följande tester är en delmängd av testfallen i guiderna för bästa praxis i SUSE. De ingår för att underlätta för dig. En fullständig lista över klustertester finns i följande dokumentation:

Läs alltid igenom vägledningarna om SUSE-metodtips och utför alla ytterligare tester som kan ha lagts till.
Testerna som visas finns i ett kluster med två noder med flera SID:er där tre SAP-system är installerade.

  1. Testa HAGetFailoverConfig och HACheckFailoverConfig

    Kör följande kommandon som <sapsid> adm på noden där ASCS-instansen körs. Om kommandona misslyckas med FAIL: Otillräckligt minne kan det bero på bindestreck i värdnamnet. Det här är ett känt problem som kommer att åtgärdas av SUSE i paketet sap-suse-cluster-connector.

     slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig

# 10.12.2019 21:33:08
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

 slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig

 # 19.12.2019 21:19:58
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

 slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig

# 10.12.2019 21:37:09
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl2
# HANodes: slesmsscl2, slesmsscl1

 slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig

 # 19.12.2019 21:17:39
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

 slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig

# 10.12.2019 23:35:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

 slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig

 # 19.12.2019 21:10:42
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

  2. Migrera ASCS-instansen manuellt. Exemplet visar migrering av ASCS-instansen för SAP-systemet NW2.
    Resurstillstånd innan du startar testet:

     Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

    Kör följande kommandon som rot för att migrera NW2 ASCS-instansen.

     crm resource migrate rsc_sap_NW2_ASCS10 force
 # INFO: Move constraint created for rsc_sap_NW2_ASCS10

 crm resource unmigrate rsc_sap_NW2_ASCS10
# INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

# Remove failed actions for the ERS that occurred as part of the migration
 crm resource cleanup rsc_sap_NW2_ERS12

    Resurstillstånd efter testet:

     Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

  3. Testa HAFailoverToNode. Testet som visas här visar migrering av ASCS-instansen för SAP-systemets NW2.

    Resurstillstånd innan du startar testet:

     Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

    Kör följande kommandon som nw2 adm för att migrera NW2 ASCS-instansen.

     slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
crm resource cleanup rsc_sap_NW2_ERS12
# Remove migration constraints
crm resource clear rsc_sap_NW2_ASCS10
#INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

    Resurstillstånd efter testet:

     Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

  4. Simulera nodkrasch

    Resurstillstånd innan du startar testet:

     Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

    Kör följande kommando som rot på noden där minst en ASCS-instans körs. I det här exemplet körde vi kommandot på slesmsscl2 , där ASCS-instanserna för NW1 och NW3 körs.

     slesmsscl2:~ # echo b > /proc/sysrq-trigger

    Om du använder SBD bör pacemaker inte starta automatiskt på den avlivade noden. Statusen efter att noden har startats igen bör se ut så här.

     Online: [ slesmsscl1 ]
 OFFLINE: [ slesmsscl2 ]
 Full list of resources:

 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

 Failed Resource Actions:
 * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms

    Använd följande kommandon för att starta Pacemaker på den avlivade noden, rensa SBD-meddelandena och rensa de resurser som misslyckades.

    # run as root
# list the SBD device(s)
cat /etc/sysconfig/sbd | grep SBD_DEVICE=

# output is like:
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear

systemctl start pacemaker
crm resource cleanup rsc_sap_NW1_ERS02
crm resource cleanup rsc_sap_NW2_ERS12
crm resource cleanup rsc_sap_NW3_ERS22

    Resurstillstånd efter testet:

     Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

Nästa steg