Handleiding voor hoge beschikbaarheid voor SAP NetWeaver op Virtuele Azure-SUSE Linux Enterprise Server voor SAP-toepassingen met meerdere SID's

Artikel
09/25/2021
28 minuten om te lezen

In dit artikel wordt beschreven hoe u meerdere SAP NetWeaver- of S4HANA-systemen met hoge beschikbare gegevens (dat wil zeggen meerdere SID's) implementeert in een cluster met twee knooppunt op Azure-VM's met SUSE Linux Enterprise Server voor SAP-toepassingen.

In de voorbeeldconfiguraties, installatieopdrachten enzovoort worden drie SAP NetWeaver 7.50-systemen geïmplementeerd in één cluster met hoge beschikbaarheid van twee knooppunt. De SAP-systeem-SID's zijn:

NW1: ASCS-exemplaarnummer 00 en virtuele hostnaam msnw1ascs; ERS-exemplaarnummer 02 en de naam van de virtuele host msnw1ers.
NW2: ASCS-exemplaarnummer 10 en virtuele hostnaam msnw2ascs; ERS-exemplaarnummer 12 en de naam van de virtuele host msnw2ers.
NW3: ASCS-exemplaarnummer 20 en virtuele hostnaam msnw3ascs; ERS-exemplaarnummer 22 en de naam van de virtuele host msnw3ers.

Het artikel gaat niet over de databaselaag en de implementatie van de SAP NFS-shares. In de voorbeelden in dit artikel gebruiken we virtuele namen nw2-nfs voor de NW2 NFS-shares en nw3-nfs voor de NW3 NFS-shares, ervan uitgaande dat het NFS-cluster is geïmplementeerd.

Voordat u begint, raadpleegt u eerst de volgende SAP-opmerkingen en -documenten:

SAP Note 1928533,dat het volgende heeft:
- Lijst met Azure VM-grootten die worden ondersteund voor de implementatie van SAP-software
- Belangrijke capaciteitsinformatie voor Azure VM-grootten
- Ondersteunde combinaties van SAP-software en besturingssysteem en database
- Vereiste SAP-kernelversie voor Windows linux op Microsoft Azure
SAP Note 2015553 een lijst met vereisten voor SAP-ondersteunde SAP-software-implementaties in Azure.
SAP Note 2205917 heeft aanbevolen besturingssysteeminstellingen voor SUSE Linux Enterprise Server voor SAP-toepassingen
SAP Note 1944799 heeft SAP HANA richtlijnen voor SUSE Linux Enterprise Server voor SAP-toepassingen
SAP Note 2178632 gedetailleerde informatie over alle metrische bewakingsgegevens die zijn gerapporteerd voor SAP in Azure.
SAP Note 2191498 de vereiste versie van de SAP Host Agent voor Linux in Azure.
SAP Note 2243692 informatie over SAP-licenties op Linux in Azure.
SAP Note 1984787 algemene informatie over SUSE Linux Enterprise Server 12.
SAP Note 1999351 aanvullende informatie over probleemoplossing voor de uitgebreide bewakingsextensie van Azure voor SAP.
SAP Community WIKI heeft alle vereiste SAP-notities voor Linux.
Azure Virtual Machines planning en implementatie voor SAP on Linux
Azure Virtual Machines-implementatie voor SAP op Linux
Azure Virtual Machines DBMS-implementatie voor SAP op Linux
SUSE SAP HA Best Practice Guides De handleidingen bevatten alle vereiste informatie voor het instellen van Netweaver HA en SAP HANA-premises systeemreplicatie. Gebruik deze handleidingen als algemene basislijn. Ze bieden veel gedetailleerdere informatie.
Opmerkingen bij de release van SUSE High Availability Extension 12 SP3
SUSE-clusterhandleiding voor meerdere SID's voor SLES 12 en SLES 15
NetApp SAP-toepassingen op Microsoft Azure met Azure NetApp Files

Overzicht

De grootte van de virtuele machines die aan het cluster deelnemen, moet groot zijn om alle resources te kunnen uitvoeren, voor het geval er een failover plaatsvindt. Elke SAP-SID kan onafhankelijk van elkaar een fail over in het cluster met hoge beschikbaarheid met meerdere SID's. Als u SBD-fencing gebruikt, kunnen de SBD-apparaten worden gedeeld tussen meerdere clusters.

Voor hoge beschikbaarheid zijn voor SAP NetWeaver NFS-shares met hoge beschikbaarheid vereist. In dit voorbeeld gaan we ervan uit dat de SAP NFS-shares worden gehost op een uiterst beschikbare NFS-bestandsserver,die kan worden gebruikt door meerdere SAP-systemen. Of de shares worden geïmplementeerd op Azure NetApp Files NFS-volumes.

Pacemaker-cluster bevat gedetailleerde informatie over twee clusters met meerdere SID's, msidcl1 en msidcl2.

Belangrijk

De ondersteuning voor clustering met meerdere SID's van SAP ASCS/ERS met SUSE Linux als gastbesturingssysteem in Azure-VM's is beperkt tot vijf SAP-SID's op hetzelfde cluster. Elke nieuwe SID verhoogt de complexiteit. Een combinatie van SAP Enqueue Replication Server 1 en Enqueue Replication Server 2 op hetzelfde cluster wordt niet ondersteund. Clustering met meerdere SID's beschrijft de installatie van meerdere SAP ASCS/ERS-exemplaren met verschillende SID's in één Pacemaker-cluster. Momenteel wordt clustering met meerdere SID's alleen ondersteund voor ASCS/ERS.

Tip

De multi-SID-clustering van SAP ASCS/ERS is een oplossing met hogere complexiteit. Het is complexer om te implementeren. Het vergt ook meer administratieve inspanning bij het uitvoeren van onderhoudsactiviteiten (zoals het patchen van het besturingssysteem). Voordat u met de daadwerkelijke implementatie begint, neemt u de tijd om de implementatie en alle betrokken onderdelen, zoals VM's, NFS-mounts, VIP's, load balancer-configuraties, te plannen.

De NFS-server, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS en de SAP HANA-database gebruiken virtuele hostnaam en virtuele IP-adressen. In Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. U wordt aangeraden Standard load balancer.

In de volgende lijst ziet u de configuratie van de (A)SCS- en ERS-load balancer voor dit voorbeeld van een cluster met meerdere SID's met drie SAP-systemen. U hebt afzonderlijke front-end-IP, statustests en taakverdelingsregels nodig voor elk ASCS- en ERS-exemplaar voor elk van de SID's. Wijs alle VM's, die deel uitmaken van het ASCS/ASCS-cluster, toe aan één back-endpool.

(A)SCS

Front-endconfiguratie
- IP-adres voor NW1: 10.3.1.14
- IP-adres voor NW2: 10.3.1.16
- IP-adres voor NW3: 10.3.1.13
Testpoorten
- Poort 620 < > nr,dus voor de testpoorten NW1, NW2 en NW3 620 00, 620 10 en 620 20
Taakverdelingsregels -
maak er een voor elk exemplaar, dat wil zeggen NW1/ASCS, NW2/ASCS en NW3/ASCS.
- Als u Standard Load Balancer, selecteert u HA-poorten
- Als u Basic Load Balancer, maakt u taakverdelingsregels voor de volgende poorten
  - 32 < nr > TCP
  - 36 < nr > TCP
  - 39 < nr > TCP
  - 81 < nr > TCP
  - 5 < nr. > 13 TCP
  - 5 < nr. > 14 TCP
  - 5 < nr. > 16 TCP

ERS

Front-endconfiguratie
- IP-adres voor NW1 10.3.1.15
- IP-adres voor NW2 10.3.1.17
- IP-adres voor NW3 10.3.1.19
Testpoort
- Poort 621 < > nr,dus voor de NW1-, NW2- en N#-testpoorten 621 02, 621 12 en 621 22
Taakverdelingsregels: maak er een voor elk exemplaar, dat wil zeggen NW1/ERS, NW2/ERS en NW3/ERS.
- Als u Standard Load Balancer, selecteert u HA-poorten
- Als u Basic Load Balancer, maakt u taakverdelingsregels voor de volgende poorten
  - 32 < nr > TCP
  - 33 < nr. > TCP
  - 5 < nr. > 13 TCP
  - 5 < nr. > 14 TCP
  - 5 < nr. > 16 TCP
Back-endconfiguratie
- Verbonden met primaire netwerkinterfaces van alle virtuele machines die deel moeten uitmaken van het (A)SCS/ERS-cluster

Belangrijk

Zwevend IP wordt niet ondersteund op een secundaire IP-configuratie van een NIC in taakverdelingsscenario's. Zie Beperkingen voor Azure Load Balancer voor meer informatie. Als u een extra IP-adres voor de VM nodig hebt, implementeert u een tweede NIC.

Notitie

Wanneer VM's zonder openbare IP-adressen in de back-endpool van interne (geen openbaar IP-adres) Standard Azure load balancer worden geplaatst, is er geen uitgaande internetverbinding, tenzij er aanvullende configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan. Zie Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios(Openbare eindpuntconnectiviteit voor Virtual Machines met behulp van Azure Standard Load Balancer in SAP-scenario's voor hoge beschikbaarheid) voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

Schakel geen TCP-tijdstempels in op Virtuele Azure-VM's die achter de Azure Load Balancer. Als u TCP-tijdstempels inschakelen, mislukken de statustests. Stel parameter net.ipv4.tcp_timestamps in op 0. Zie statustests Load Balancer voor meer informatie.

SAP NFS-shares

VOOR SAP NetWeaver is gedeelde opslag vereist voor het transport, de profielmap, en meer. Voor een SAP-systeem met hoge beschikbare gegevens is het belangrijk om NFS-shares met hoge beschikbare gegevens te hebben. U moet beslissen over de architectuur voor uw SAP NFS-shares. Eén optie is het bouwen van een NFS-clustermet hoge beschikbaarheid op Virtuele Azure-SUSE Linux Enterprise Server, dat kan worden gedeeld tussen meerdere SAP-systemen.

Een andere optie is om de shares te implementeren op Azure NetApp Files NFS-volumes. Met Azure NetApp Files krijgt u ingebouwde hoge beschikbaarheid voor de SAP NFS-shares.

Het eerste SAP-systeem in het cluster implementeren

Nu u hebt besloten over de architectuur voor de SAP NFS-shares, implementeert u het eerste SAP-systeem in het cluster volgens de bijbehorende documentatie.

Als u een NFS-server met hoge beschikbaarheid gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op azure-VM's op SUSE Linux Enterprise Server voor SAP-toepassingen.
Als u Azure NetApp Files NFS-volumes gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Virtuele Azure-SUSE Linux Enterprise Server met Azure NetApp Files voor SAP-toepassingen

De hierboven vermelde documenten leiden u door de stappen voor het voorbereiden van de benodigde infrastructuren, het bouwen van het cluster en het voorbereiden van het besturingssysteem voor het uitvoeren van de SAP-toepassing.

Tip

Test altijd de fail overfunctionaliteit van het cluster, nadat het eerste systeem is geïmplementeerd, voordat u de extra SAP-SID's aan het cluster toevoegt. Op die manier weet u dat de clusterfunctionaliteit werkt voordat u de complexiteit van extra SAP-systemen aan het cluster toevoegt.

Aanvullende SAP-systemen implementeren in het cluster

In dit voorbeeld gaan we ervan uit dat systeem NW1 al in het cluster is geïmplementeerd. We laten zien hoe u implementeert in de CLUSTER SAP-systemen NW2 en NW3.

De volgende items hebben het voorvoegsel [A] - van toepassing op alle knooppunten, [1] - alleen van toepassing op knooppunt 1 of [2] - alleen van toepassing op knooppunt 2.

Vereisten

Belangrijk

Voordat u de instructies volgt voor het implementeren van extra SAP-systemen in het cluster, volgt u de instructies voor het implementeren van het eerste SAP-systeem in het cluster, aangezien er stappen zijn die alleen nodig zijn tijdens de eerste systeemimplementatie.

In deze documentatie wordt ervan uitgenomen dat:

Het Pacemaker-cluster is al geconfigureerd en wordt uitgevoerd.
Er is al ten minste één SAP-systeem (ASCS/ERS-exemplaar) geïmplementeerd en wordt uitgevoerd in het cluster.
De functionaliteit voor fail-overs van het cluster is getest.
De NFS-shares voor alle SAP-systemen worden geïmplementeerd.

Voorbereiden op SAP NetWeaver-installatie

Voeg configuratie voor het zojuist geïmplementeerde systeem (dat wil zeggen NW2, NW3) toe aan de bestaande Azure Load Balancer. Volg de instructies om Azure Load Balancer handmatigte implementeren via Azure Portal . Pas de IP-adressen, statustestpoorten en taakverdelingsregels voor uw configuratie aan.

[A] Naamoplossing instellen voor de aanvullende SAP-systemen. U kunt dns-server gebruiken of wijzigen /etc/hosts op alle knooppunten. In dit voorbeeld ziet u hoe u het bestand /etc/hosts gebruikt. Pas de IP-adressen en hostnamen aan uw omgeving aan.

sudo vi /etc/hosts
# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.16 msnw2ascs
# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.13 msnw3ascs
# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.17 msnw2ers
# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.19 msnw3ers
# IP address for virtual host name for the NFS server for NW2
10.3.1.31 nw2-nfs
# IP address for virtual host name for the NFS server for NW3
10.3.1.32 nw3-nfs

[A] Maak de gedeelde directories voor de aanvullende NW2- en NW3 SAP-systemen die u in het cluster implementeert.

sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22


sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

[A] Configureer om autofs de bestandssystemen /sapmnt/SID en /usr/sap/SID/SYS te installeren voor de aanvullende SAP-systemen die u in het cluster implementeert. In dit voorbeeld NW2 en NW3.

Werk het /etc/auto.direct bestand bij met de bestandssystemen voor de aanvullende SAP-systemen die u in het cluster implementeert.
- Als u NFS-bestandsserver gebruikt, volgt u de instructies op de pagina Hoge beschikbaarheid van Azure-VM's voor SAP NetWeaver op SLES
- Als u Azure NetApp Files gebruikt, volgt u de instructies op de pagina Azure VM's hoge beschikbaarheid voor SAP NW op SLES met Azure NetApp Files
U moet de service opnieuw autofs starten om de zojuist toegevoegde shares te kunnen toevoegen.

ASCS/ERS installeren

Maak de resources van het virtuele IP- en statustestcluster voor het ASCS-exemplaar van het extra SAP-systeem dat u in het cluster implementeert. Het voorbeeld dat hier wordt weergegeven, is voor NW2 en NW3 ASCS, met behulp van een NFS-server met hoge beschikbare.
Belangrijk

Uit recente tests zijn situaties gebleken, waarbij netcat niet meer reageert op aanvragen vanwege achterstand en de beperking van het verwerken van slechts één verbinding. De netcat-resource luistert niet meer naar de Azure Load Balancer-aanvragen en het zwevende IP-adres is niet meer beschikbaar.
Voor bestaande Pacemaker-clusters is het in het verleden aanbevolen om netcat te vervangen door socat. Momenteel wordt aangeraden azure-lb resource agent te gebruiken, die deel uitmaakt van pakketresource-agents, met de volgende pakketversievereisten:
- Voor SLES 12 SP4/SP5 moet de versie ten minste resource-agents-4.3.018.a7fb5035-3.30.1 zijn.
- Voor SLES 15/15 SP1 moet de versie ten minste resource-agents-4.3.0184.6ee15eb2-4.13.1 zijn.
Houd er rekening mee dat de wijziging korte downtime vereist.
Als voor bestaande Pacemaker-clusters de configuratie al is gewijzigd voor het gebruik van socat, zoals beschreven in Azure Load-Balancer Detection Hardening, is het niet nodig om onmiddellijk over te schakelen naar azure-lb resource agent.
```
  sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

  sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
    params ip=10.3.1.16 cidr_netmask=24 \
    op monitor interval=10 timeout=20

  sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010

  sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
     meta resource-stickiness=3000

  sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=20s timeout=40s

  sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
   params ip=10.3.1.13 cidr_netmask=24 \
   op monitor interval=10 timeout=20

  sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020

  sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
    meta resource-stickiness=3000
```
Bij het maken van de resources kunnen ze worden toegewezen aan verschillende clusterbronnen. Wanneer u ze groepeert, migreren ze naar een van de clusterknooppunten. Zorg ervoor dat de clusterstatus ok is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.
[1] SAP NetWeaver ASCS installeren

Installeer SAP NetWeaver ASCS als root, met behulp van een virtuele hostnaam die is toe te load balancer IP-adres van de front-load balancer voor de ASCS. Voor systeem NW2 is de virtuele hostnaam bijvoorbeeld msnw2ascs, 10.3.1.16 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 10. voor systeem NW3 is de virtuele hostnaam msnw3ascs, 10.3.1.13 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 20.

U kunt de parameter sapinst gebruiken om SAPINST_REMOTE_ACCESS_USER niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parametergegevens gebruiken SAPINST_USE_HOSTNAME SAP te installeren met behulp van de naam van de virtuele host.
```
 sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Als de installatie geen submap kan maken in /usr/sap/SID/ASCS Instance#, probeert u de eigenaar in te stellen op sid adm en group op sapsys van het ASCS-exemplaar# en probeert u het opnieuw.

[1] Maak een virtueel IP-adres en statustestclusterbronnen voor het ERS-exemplaar van het extra SAP-systeem dat u in het cluster implementeert. Het voorbeeld dat hier wordt weergegeven, is voor NW2 en NW3 ERS, met behulp van een NFS-server met hoge beschikbare.

 sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

 sudo crm configure primitive vip_NW2_ERS IPaddr2 \
   params ip=10.3.1.17 cidr_netmask=24 \
   op monitor interval=10 timeout=20

 sudo crm configure primitive nc_NW2_ERS azure-lb port=62112

 sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS

 sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

 sudo crm configure primitive vip_NW3_ERS IPaddr2 \
   params ip=10.3.1.19 cidr_netmask=24 \
   op monitor interval=10 timeout=20

 sudo crm configure primitive nc_NW3_ERS azure-lb port=62122

 sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS

Bij het maken van de resources kunnen ze worden toegewezen aan verschillende clusterknooppunten. Wanneer u ze groepeert, migreren ze naar een van de clusterknooppunten. Zorg ervoor dat de clusterstatus ok is en dat alle resources zijn gestart.

Zorg er vervolgens voor dat de resources van de zojuist gemaakte ERS-groep worden uitgevoerd op het clusterknooppunt, tegenover het clusterknooppunt waarop het ASCS-exemplaar voor hetzelfde SAP-systeem is geïnstalleerd. Als bijvoorbeeld NW2 ASCS is geïnstalleerd op , moet u ervoor zorgen dat de slesmsscl1 NW2 ERS-groep wordt uitgevoerd op slesmsscl2 . U kunt de NW2 ERS-groep migreren naar door slesmsscl2 de volgende opdracht uit te voeren:

  crm resource migrate g-NW2_ERS slesmsscl2 force

[2] SAP NetWeaver ERS installeren

Installeer SAP NetWeaver ERS als root op het andere knooppunt, met behulp van een virtuele hostnaam die is toe te staan aan het IP-adres van de load balancer front-end-configuratie voor de ERS. Voor systeem NW2 is de naam van de virtuele host bijvoorbeeld msnw2ers, 10.3.1.17 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 12. Voor systeem NW3, de virtuele hostnaam msnw3ers, 10.3.1.19 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 22.

U kunt de parameter sapinst gebruiken om SAPINST_REMOTE_ACCESS_USER niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parametergegevens gebruiken SAPINST_USE_HOSTNAME SAP te installeren met behulp van de naam van de virtuele host.
```
 sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Notitie

Gebruik SWPM SP 20 PL 05 of hoger. Bij lagere versies worden de machtigingen niet correct ingesteld en mislukt de installatie.

Als de installatie geen submap kan maken in /usr/sap/NW2/ERS Instance#, probeert u de eigenaar in te stellen op sid adm en de groep op sapsys van de map ERS Instance# en probeert u het opnieuw.

Als het nodig was om de ERS-groep van het zojuist geïmplementeerde SAP-systeem te migreren naar een ander clusterknooppunt, vergeet dan niet om de locatiebeperking voor de ERS-groep te verwijderen. U kunt de beperking verwijderen door de volgende opdracht uit te voeren (het voorbeeld wordt gegeven voor SAP-systemen NW2 en NW3).
```
  crm resource unmigrate g-NW2_ERS
  crm resource unmigrate g-NW3_ERS
```
[1] Pas de ASCS/SCS- en ERS-exemplaarprofielen aan voor de nieuw geïnstalleerde SAP-systemen. Het onderstaande voorbeeld is voor NW2. U moet de ASCS/SCS- en ERS-profielen aanpassen voor alle SAP-exemplaren die aan het cluster zijn toegevoegd.

ASCS/SCS-profiel

sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

Zorg er voor zowel ENSA1 als ENSA2 voor dat de besturingssysteemparameters zijn ingesteld zoals beschreven keepalive in SAP-notitie 1410736.

ERS-profiel

sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

[A] Configureer de SAP-gebruikers voor het zojuist geïmplementeerde SAP-systeem, in dit voorbeeld NW2 en NW3.
```
# Add sidadm to the haclient group
sudo usermod -aG haclient nw2adm
sudo usermod -aG haclient nw3adm
```

Voeg de ASCS- en ERS SAP-services voor het zojuist geïnstalleerde SAP-systeem toe aan het sapservice bestand. Het onderstaande voorbeeld is voor SAP-systemen NW2 en NW3.

Voeg de ASCS-service-vermelding toe aan het tweede knooppunt en kopieer de ERS-service-vermelding naar het eerste knooppunt. Voer de opdrachten uit voor elk SAP-systeem op het knooppunt, waar het ASCS-exemplaar voor het SAP-systeem is geïnstalleerd.

 # Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
 cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
 sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices
 # Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
 cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
 sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices

[1] Maak de SAP-clusterbronnen voor het zojuist geïnstalleerde SAP-systeem.

Als u enqueue server 1 architecture (ENSA1) gebruikt, definieert u de resources voor SAP-systemen NW2 en NW3 als volgt:

 sudo crm configure property maintenance-mode="true"

 sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

 sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

 sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
 sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

 sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
 sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
 sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

 sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

 sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

 sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
 sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

 sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
 sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
 sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
 sudo crm configure property maintenance-mode="false"

SAP heeft vanaf SAP NW 7.52 ondersteuning geïntroduceerd voor enqueue server 2, inclusief replicatie. Vanaf ABAP Platform 1809 is server 2 standaard geïnstalleerd. Zie SAP note 2630416 for enqueue server 2 support (Sap Note-2630416 voor ondersteuning voor server 2 in dequeue. Als u enqueue server 2 architecture (ENSA2)gebruikt, definieert u de resources voor SAP-systemen NW2 en NW3 als volgt:

 sudo crm configure property maintenance-mode="true"

 sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 

 sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true 

 sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
 sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

 sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
 sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

 sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

 sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

 sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
 sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

 sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
 sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
 sudo crm configure property maintenance-mode="false"

Zie SAP-notitie als u een upgrade van een oudere versie en overschakelt naar server 2 in de 2641019.

Zorg ervoor dat de status van het cluster ok is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd. In het volgende voorbeeld ziet u de status van de clusterbronnen, nadat SAP-systemen NW2 en NW3 aan het cluster zijn toegevoegd.

 sudo crm_mon -r

# Online: [ slesmsscl1 slesmsscl2 ]

#Full list of resources:

#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

In de volgende afbeelding ziet u hoe de resources eruit zouden zien in de HA Web Konsole(Ement), met de resources voor SAP-systeem NW2 uitgebreid.

Doorgaan met de SAP-installatie

Voltooi uw SAP-installatie door:

Uw SAP NetWeaver-toepassingsservers voorbereiden
Een DBMS-exemplaar installeren
Een primaire SAP-toepassingsserver installeren
Een of meer extra EXEMPLAREN van SAP-toepassingen installeren

De configuratie van het cluster met meerdere SID's testen

De volgende tests zijn een subset van de test cases in de best practices-handleidingen van SUSE. Ze zijn voor uw gemak opgenomen. Voor de volledige lijst met clustertests, verwijzen wij u naar de volgende documentatie:

Als u een NFS-server met hoge beschikbaarheid gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Virtuele Azure-SUSE Linux Enterprise Server voor SAP-toepassingen.
Als u Azure NetApp Files NFS-volumes gebruikt, volgt u Hoge beschikbaarheid voor SAP NetWeaver op Virtuele Azure-SUSE Linux Enterprise Server met Azure NetApp Files voor SAP-toepassingen

Lees altijd de handleidingen met best practices voor SUSE en voer alle aanvullende tests uit die mogelijk zijn toegevoegd.
De tests die worden weergegeven, worden uitgevoerd in een cluster met twee knooppunt-, multi-SID-clusters met drie GEÏNSTALLEERDe SAP-systemen.

HAGetFailoverConfig en HACheckFailoverConfig testen

Voer de volgende opdrachten uit als <sapsid> adm op het knooppunt waarop het ASCS-exemplaar momenteel wordt uitgevoerd. Als de opdrachten mislukken met FAIL: Onvoldoende geheugen, kan dit worden veroorzaakt door streepjes in uw hostnaam. Dit is een bekend probleem en wordt opgelost door SUSE in het pakket sap-suse-cluster-connector.

 slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig

# 10.12.2019 21:33:08
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

 slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig

 # 19.12.2019 21:19:58
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

 slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig

# 10.12.2019 21:37:09
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl2
# HANodes: slesmsscl2, slesmsscl1

 slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig

 # 19.12.2019 21:17:39
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

 slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig

# 10.12.2019 23:35:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

 slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig

 # 19.12.2019 21:10:42
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

Migreert het ASCS-exemplaar handmatig. In het voorbeeld ziet u hoe u het ASCS-exemplaar voor SAP-systeem NW2 migreert.
Resourcetoestand voordat u de test start:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Voer de volgende opdrachten uit als hoofdmap om het NW2 ASCS-exemplaar te migreren.

 crm resource migrate rsc_sap_NW2_ASCS10 force
 # INFO: Move constraint created for rsc_sap_NW2_ASCS10

 crm resource unmigrate rsc_sap_NW2_ASCS10
# INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

# Remove failed actions for the ERS that occurred as part of the migration
 crm resource cleanup rsc_sap_NW2_ERS12

Resourcetoestand na de test:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Test HAFailoverToNode. In de test die hier wordt weergegeven, ziet u hoe u het ASCS-exemplaar voor SAP-systeem NW2 migreert.

Resourcetoestand voordat de test wordt uitgevoerd:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Voer de volgende opdrachten uit als nw2 adm om het NW2 ASCS-exemplaar te migreren.

 slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
crm resource cleanup rsc_sap_NW2_ERS12
# Remove migration constraints
crm resource clear rsc_sap_NW2_ASCS10
#INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

Resourcetoestand na de test:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Knooppuntcrash simuleren

Resourcetoestand voordat de test wordt uitgevoerd:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Voer de volgende opdracht uit als root op het knooppunt waar ten minste één ASCS-exemplaar wordt uitgevoerd. In dit voorbeeld hebben we de opdracht uitgevoerd op , waar de slesmsscl2 ASCS-exemplaren voor NW1 en NW3 worden uitgevoerd.

 slesmsscl2:~ # echo b > /proc/sysrq-trigger

Als u SBD gebruikt, zou Pacemaker niet automatisch moeten starten op het knooppunt dat wordt omgebracht. De status nadat het knooppunt opnieuw is gestart, moet er als dit uitzien.

 Online: [ slesmsscl1 ]
 OFFLINE: [ slesmsscl2 ]
 Full list of resources:

 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

 Failed Resource Actions:
 * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms

Gebruik de volgende opdrachten om Pacemaker te starten op het uitgevallen knooppunt, de SBD-berichten op te schonen en de mislukte resources op te schonen.

# run as root
# list the SBD device(s)
cat /etc/sysconfig/sbd | grep SBD_DEVICE=

# output is like:
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear

systemctl start pacemaker
crm resource cleanup rsc_sap_NW1_ERS02
crm resource cleanup rsc_sap_NW2_ERS12
crm resource cleanup rsc_sap_NW3_ERS22

Resourcetoestand na de test:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

Volgende stappen

Azure Virtual Machines planning en implementatie voor SAP
Azure Virtual Machines-implementatie voor SAP
Azure Virtual Machines DBMS-implementatie voor SAP
Zie Hoge beschikbaarheid van SAP HANA in Azure Virtual Machines (VM's) voor meer informatie over het tot stand brengen van hoge beschikbaarheid en het plannen van herstel na noodherstel van SAP HANA op Azure-VM's

Handleiding voor hoge beschikbaarheid voor SAP NetWeaver op Virtuele Azure-SUSE Linux Enterprise Server voor SAP-toepassingen met meerdere SID's

Beoordeel uw ervaring

Overzicht

(A)SCS

ERS

SAP NFS-shares

Het eerste SAP-systeem in het cluster implementeren

Aanvullende SAP-systemen implementeren in het cluster

Vereisten

Voorbereiden op SAP NetWeaver-installatie

ASCS/ERS installeren

Doorgaan met de SAP-installatie

De configuratie van het cluster met meerdere SID's testen

Volgende stappen