Hoge beschikbaarheid voor SAP NetWeaver op Virtuele Azure-SUSE Linux Enterprise Server voor SAP-toepassingen

  • Artikel
  • 34 minuten om te lezen

In dit artikel wordt beschreven hoe u de virtuele machines implementeert, de virtuele machines configureert, het cluster-framework installeert en een SAP NetWeaver 7.50-systeem met hoge beschikbaarheid installeert. In de voorbeeldconfiguraties, installatieopdrachten, enzovoort. ASCS-exemplaarnummer 00, ERS-exemplaarnummer 02 en SAP-systeem-id NW1 worden gebruikt. Bij de namen van de resources (bijvoorbeeld virtuele machines, virtuele netwerken) in het voorbeeld wordt ervan uitgenomen dat u de geconvergeerde sjabloon met SAP-systeem-id NW1 hebt gebruikt om de resources te maken.

Lees eerst de volgende SAP-opmerkingen en -documenten

Overzicht

Voor een hoge beschikbaarheid heeft SAP NetWeaver een NFS-server nodig. De NFS-server is geconfigureerd in een afzonderlijk cluster en kan worden gebruikt door meerdere SAP-systemen.

Overzicht van SAP NetWeaver Hoge beschikbaarheid

De NFS-server, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS en de SAP HANA-database gebruiken virtuele hostnaam en virtuele IP-adressen. In Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. U wordt aangeraden Standard load balancer. In de volgende lijst ziet u de configuratie van de (A)SCS- en ERS-load balancer.

(A)SCS

  • Front-endconfiguratie
    • IP-adres 10.0.0.7
  • Testpoort
    • Poort 620 < nr. >
  • Taakverdelingsregels
    • Als u Standard Load Balancer, selecteert u HA-poorten
    • Als u Basic Load Balancer, maakt u taakverdelingsregels voor de volgende poorten
      • 32 < nr. > TCP
      • 36 < nr. > TCP
      • 39 < nr. > TCP
      • 81 < nr. > TCP
      • 5 < nr. > 13 TCP
      • 5 < nr. > 14 TCP
      • 5 < nr. > 16 TCP

ERS

  • Front-endconfiguratie

    • IP-adres 10.0.0.8

  • Testpoort

    • Poort 621 < nr. >

  • Taakverdelingsregels

    • Als u Standard Load Balancer, selecteert u HA-poorten
    • Als u Basic Load Balancer, maakt u taakverdelingsregels voor de volgende poorten
      • 32 < nr. > TCP
      • 33 < nr. > TCP
      • 5 < nr. > 13 TCP
      • 5 < nr. > 14 TCP
      • 5 < nr. > 16 TCP

  • Back-endconfiguratie

    • Verbonden met primaire netwerkinterfaces van alle virtuele machines die deel moeten uitmaken van het (A)SCS/ERS-cluster

Een maximaal beschikbare NFS-server instellen

VOOR SAP NetWeaver is gedeelde opslag vereist voor de transport- en profielmap. Lees Hoge beschikbaarheid voor NFS op virtuele Azure-SUSE Linux Enterprise Server over het instellen van een NFS-server voor SAP NetWeaver.

(A)SCS instellen

U kunt een Azure-sjabloon van GitHub gebruiken om alle vereiste Azure-resources te implementeren, inclusief de virtuele machines, beschikbaarheidsset en load balancer of u kunt de resources handmatig implementeren.

Linux implementeren via Azure Template

De Azure Marketplace bevat een SUSE Linux Enterprise Server voor SAP-toepassingen 12 die u kunt gebruiken om nieuwe virtuele machines te implementeren. De Marketplace-afbeelding bevat de resourceagent voor SAP NetWeaver.

U kunt een van de snelstartsjablonen op GitHub alle vereiste resources te implementeren. Met de sjabloon worden de virtuele machines, de load balancer, beschikbaarheidsset, enzovoort geïmplementeerd. Volg deze stappen om de sjabloon te implementeren:

  1. Open de sjabloon ASCS/SCS Multi SID of de geconvergeerde sjabloon op de Azure Portal. Met de ASCS/SCS-sjabloon worden alleen de taakverdelingsregels voor de ASCS/SCS- en ERS-exemplaren van SAP NetWeaver (alleen Linux) gemaakt, terwijl met de geconvergeerde sjabloon ook de taakverdelingsregels voor een database worden gemaakt (bijvoorbeeld Microsoft SQL Server of SAP HANA). Als u van plan bent een sap NetWeaver-systeem te installeren en u de database ook op dezelfde computers wilt installeren, gebruikt u de geconvergeerde sjabloon.
  2. Voer de volgende parameters in
    1. Resource-voorvoegsel (alleen ASCS/SCS Multi SID-sjabloon)
      Voer het voorvoegsel in dat u wilt gebruiken. De waarde wordt gebruikt als voorvoegsel voor de resources die worden geïmplementeerd.
    2. SAP-systeem-id (alleen geconvergeerde sjabloon)
      Voer de SAP-systeem-id in van het SAP-systeem dat u wilt installeren. De id wordt gebruikt als voorvoegsel voor de resources die worden geïmplementeerd.
    3. Stacktype
      Selecteer het SAP NetWeaver-stacktype
    4. Type besturingssysteem
      Selecteer een van de Linux-distributies. Selecteer voor dit voorbeeld SLES 12 BYOS
    5. Db-type
      Selecteer HANA
    6. Sap-systeemgrootte.
      De hoeveelheid SAPS die het nieuwe systeem biedt. Als u niet zeker weet hoeveel SAPS het systeem nodig heeft, vraagt u uw SAP-technologiepartner of systeemintegrator
    7. Systeembeschikbaarheid
      Selecteer HA
    8. Gebruikersnaam van beheerder en beheerderswachtwoord
      Er wordt een nieuwe gebruiker gemaakt die kan worden gebruikt om u aan te melden bij de computer.
    9. Subnet-id
      Als u de virtuele machine wilt implementeren in een bestaand VNet waar u een subnet hebt gedefinieerd, moet de VM worden toegewezen aan , noemt u de id van dat specifieke subnet. De id ziet er meestal uit als /subscriptions/< subscription > ID/resourceGroups/ resource group < name >/providers/Microsoft.Network/virtualNetworks/ virtual network < name >/subnets/< subnet name >

Linux handmatig implementeren via Azure Portal

U moet eerst de virtuele machines voor dit NFS-cluster maken. Daarna maakt u een load balancer en gebruikt u de virtuele machines in de back-endpool.

  1. Een resourcegroep maken
  2. Een Virtual Network maken
  3. Een beschikbaarheidsset maken
    Maximaal updatedomein instellen
  4. Virtuele machine maken 1
    Gebruik ten minste SLES4SAP 12 SP1, in dit voorbeeld de afbeelding SLES4SAP 12 SP1 https://portal.azure.com/#create/SUSE.SUSELinuxEnterpriseServerforSAPApplications12SP1PremiumImage-ARM
    SLES For SAP Applications 12 SP1 wordt gebruikt
    Selecteer Beschikbaarheidsset die u eerder hebt gemaakt
  5. Virtuele machine maken 2
    Gebruik ten minste SLES4SAP 12 SP1, in dit voorbeeld de afbeelding SLES4SAP 12 SP1 https://portal.azure.com/#create/SUSE.SUSELinuxEnterpriseServerforSAPApplications12SP1PremiumImage-ARM
    SLES For SAP Applications 12 SP1 wordt gebruikt
    Selecteer Beschikbaarheidsset die u eerder hebt gemaakt
  6. Voeg ten minste één gegevensschijf toe aan beide virtuele machines
    De gegevensschijven worden gebruikt voor de map /usr/sap/ <SAPSID> map
  7. Maak load balancer (intern, standaard):
    1. De front-end-IP-adressen maken
      1. IP-adres 10.0.0.7 voor de ASCS
        1. Open de load balancer, selecteer front-end-IP-adresgroep en klik op Toevoegen
        2. Voer de naam van de nieuwe front-end-IP-adresgroep in (bijvoorbeeld nw1-ascs-frontend)
        3. Stel Toewijzing in op Statisch en voer het IP-adres in (bijvoorbeeld 10.0.0.7)
        4. Klik op OK
      2. IP-adres 10.0.0.8 voor de ASCS ERS
        • Herhaal de bovenstaande stappen om een IP-adres te maken voor de ERS (bijvoorbeeld 10.0.0.8 en nw1-aers-backend)
    2. Back-endpool maken
      1. Open de load balancer, selecteer back-endpools en klik op Toevoegen
      2. Voer de naam van de nieuwe back-endpool in (bijvoorbeeld nw1-backend)
      3. Klik op Een virtuele machine toevoegen.
      4. Virtuele machine selecteren
      5. Selecteer de virtuele machines van het (A)SCS-cluster en hun IP-adressen.
      6. Klik op Add.
    3. De statustests maken
      1. Poort 620 00 voor ASCS
        1. Open het load balancer, selecteer statustests en klik op Toevoegen
        2. Voer de naam van de nieuwe statustest in (bijvoorbeeld nw1-ascs-hp)
        3. Selecteer TCP als protocol, poort 620 00, houd Interval 5 en drempelwaarde voor onjuiste status 2
        4. Klik op OK
      2. Poort 621 02 voor ASCS ERS
        • Herhaal de bovenstaande stappen om een statustest te maken voor de ERS (bijvoorbeeld 621 02 en nw1-aers-hp)
    4. Taakverdelingsregels
      1. Taakverdelingsregels voor ASCS
        1. Open het load balancer, selecteer taakverdelingsregels en klik op Toevoegen
        2. Voer de naam van de nieuwe load balancer in (bijvoorbeeld nw1-lb-ascs)
        3. Selecteer het FRONT-adres, de back-endpool en de statustest die u eerder hebt gemaakt (bijvoorbeeld nw1-ascs-frontend, nw1-backend en nw1-ascs-hp)
        4. Ha-poorten selecteren
        5. Zorg ervoor dat zwevend IP-adres is ingeschakeld
        6. Klik op OK
        • Herhaal de bovenstaande stappen om taakverdelingsregels te maken voor ERS (bijvoorbeeld nw1-lb-ers)
  8. Als voor uw scenario een basiskennis van load balancer (intern) is vereist, volgt u deze stappen:
    1. De front-end-IP-adressen maken
      1. IP-adres 10.0.0.7 voor de ASCS
        1. Open de load balancer, selecteer front-end-IP-adresgroep en klik op Toevoegen
        2. Voer de naam van de nieuwe front-end-IP-adresgroep in (bijvoorbeeld nw1-ascs-frontend)
        3. Stel Toewijzing in op Statisch en voer het IP-adres in (bijvoorbeeld 10.0.0.7)
        4. Klik op OK
      2. IP-adres 10.0.0.8 voor de ASCS ERS
        • Herhaal de bovenstaande stappen om een IP-adres te maken voor de ERS (bijvoorbeeld 10.0.0.8 en nw1-aers-frontend)
    2. Back-endpool maken
      1. Open de load balancer, selecteer back-endpools en klik op Toevoegen
      2. Voer de naam van de nieuwe back-endpool in (bijvoorbeeld nw1-backend)
      3. Klik op Een virtuele machine toevoegen.
      4. Selecteer de beschikbaarheidsset die u eerder hebt gemaakt
      5. Selecteer de virtuele machines van het (A)SCS-cluster
      6. Klik op OK
    3. De statustests maken
      1. Poort 620 00 voor ASCS
        1. Open het load balancer, selecteer statustests en klik op Toevoegen
        2. Voer de naam van de nieuwe statustest in (bijvoorbeeld nw1-ascs-hp)
        3. Selecteer TCP als protocol, poort 620 00, houd Interval 5 en drempelwaarde voor onjuiste status 2
        4. Klik op OK
      2. Poort 621 02 voor ASCS ERS
        • Herhaal de bovenstaande stappen om een statustest te maken voor de ERS (bijvoorbeeld 621 02 en nw1-aers-hp)
    4. Taakverdelingsregels
      1. 32 00 TCP voor ASCS
        1. Open het load balancer, selecteer taakverdelingsregels en klik op Toevoegen
        2. Voer de naam van de nieuwe load balancer in (bijvoorbeeld nw1-lb-3200)
        3. Selecteer het front-en-do-IP-adres, de back-endpool en de statustest die u eerder hebt gemaakt (bijvoorbeeld nw1-ascs-frontend)
        4. Protocol TCP behouden, poort 3200 invoeren
        5. Time-out voor inactief verhogen naar 30 minuten
        6. Zorg ervoor dat zwevend IP-adres is ingeschakeld
        7. Klik op OK
      2. Aanvullende poorten voor de ASCS
        • Herhaal de bovenstaande stappen voor poorten 36 00, 39 00, 81 00, 5 00 13, 5 00 14, 5 00 16 en TCP voor de ASCS
      3. Aanvullende poorten voor ASCS ERS
        • Herhaal de bovenstaande stappen voor poorten 33 02, 5 02 13, 5 02 14,5 02 16 en TCP voor de ASCS ERS

Belangrijk

Zwevend IP wordt niet ondersteund op een secundaire IP-configuratie van een NIC in taakverdelingsscenario's. Zie Beperkingen voor Azure Load Balancer voor meer informatie. Als u een extra IP-adres voor de VM nodig hebt, implementeert u een tweede NIC.

Notitie

Wanneer VM's zonder openbare IP-adressen in de back-endpool van interne (geen openbaar IP-adres) Standard Azure load balancer worden geplaatst, is er geen uitgaande internetverbinding, tenzij er aanvullende configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan. Zie Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios(Openbare eindpuntconnectiviteit voor Virtual Machines het gebruik van Azure Standard Load Balancer in SAP-scenario's met hoge beschikbaarheid) voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

Schakel geen TCP-tijdstempels in op Virtuele Azure-VM's die achter de Azure Load Balancer. Als u TCP-tijdstempels inschakelen, mislukken de statustests. Stel parameter net.ipv4.tcp_timestamps in op 0. Zie statustests Load Balancer voor meer informatie.

Pacemaker-cluster maken

Volg de stappen in Pacemaker instellen op SUSE Linux Enterprise Server in Azure om een eenvoudig Pacemaker-cluster voor deze (A)SCS-server te maken.

Installatie

De volgende items hebben het voorvoegsel [A] - van toepassing op alle knooppunten, [1] - alleen van toepassing op knooppunt 1 of [2] - alleen van toepassing op knooppunt 2.

  1. [A] SUSE-connector installeren

    sudo zypper install sap-suse-cluster-connector

    Notitie

    Het bekende probleem met het gebruik van een streepje in hostnamen is opgelost met versie 3.1.1 van package sap-suse-cluster-connector. Zorg ervoor dat u ten minste versie 3.1.1 van package sap-suse-cluster-connector gebruikt als u clusterknooppunten met streepje in de hostnaam gebruikt. Anders werkt uw cluster niet.

    Zorg ervoor dat u de nieuwe versie van de SAP SUSE-clusterconnector hebt geïnstalleerd. Het oude werd sap_suse_cluster_connector en de nieuwe heet sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector

Information for package sap-suse-cluster-connector:
---------------------------------------------------
Repository     : SLE-12-SP3-SAP-Updates
Name           : sap-suse-cluster-connector
<b>Version        : 3.0.0-2.2</b>
Arch           : noarch
Vendor         : SUSE LLC <https://www.suse.com/>
Support Level  : Level 3
Installed Size : 41.6 KiB
<b>Installed      : Yes</b>
Status         : up-to-date
Source package : sap-suse-cluster-connector-3.0.0-2.2.src
Summary        : SUSE High Availability Setup for SAP Products

  2. [A] SAP-resourceagents bijwerken

    Er is een patch voor het resourceagentpakket vereist om de nieuwe configuratie te kunnen gebruiken, zoals beschreven in dit artikel. U kunt controleren of de patch al is geïnstalleerd met de volgende opdracht

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance

    De uitvoer moet er ongeveer als

    <parameter name="IS_ERS" unique="0" required="0">

    Als de grep-opdracht de parameter IS_ERS vinden, moet u de patch installeren die wordt vermeld op de SUSE-downloadpagina

    # example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1

  3. [A] Hostnaamoplossing instellen

    U kunt een DNS-server gebruiken of de /etc/hosts op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het bestand /etc/hosts gebruikt. Vervang het IP-adres en de hostnaam in de volgende opdrachten

    sudo vi /etc/hosts

    Voeg de volgende regels toe aan /etc/hosts. Wijzig het IP-adres en de hostnaam in uw omgeving

    # IP address of the load balancer frontend configuration for NFS
10.0.0.4 nw1-nfs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

Voorbereidingen voor de installatie van SAP NetWeaver

  1. [A] De gedeelde map maken

    sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

  2. [A] Autofs configureren

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
+auto.master
/- /etc/auto.direct

    Een bestand maken met

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
/usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
/usr/sap/NW1/SYS -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sidsys

    Start autofs opnieuw op om de nieuwe shares te maken

    sudo systemctl enable autofs
sudo service autofs restart

  3. [A] SWAP-bestand configureren

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Start de agent opnieuw op om de wijziging te activeren

    sudo service waagent restart

SAP NetWeaver ASCS/ERS installeren

  1. [1] Maak een virtuele IP-resource en statustest voor het ASCS-exemplaar

    Belangrijk

    Uit recente tests zijn situaties gebleken waarin netcat niet meer reageert op aanvragen vanwege achterstand en de beperking van het verwerken van slechts één verbinding. De netcat-resource luistert niet meer naar de Azure Load Balancer-aanvragen en het zwevende IP-adres is niet meer beschikbaar.
    Voor bestaande Pacemaker-clusters is het in het verleden aanbevolen om netcat te vervangen door socat. Momenteel wordt u aangeraden azure-lb resource agent te gebruiken, die deel uitmaakt van package resource-agents, met de volgende pakketversievereisten:

    • Voor SLES 12 SP4/SP5 moet de versie ten minste resource-agents-4.3.018.a7fb5035-3.30.1 zijn.
    • Voor SLES 15/15 SP1 moet de versie ten minste resource-agents-4.3.0184.6ee15eb2-4.13.1 zijn.

    Houd er rekening mee dat de wijziging korte downtime vereist.
    Als de configuratie voor bestaande Pacemaker-clusters al is gewijzigd voor het gebruik van socat, zoals beschreven in Azure Load-Balancer Detection Hardening,is het niet nodig om onmiddellijk over te schakelen naar de azure-lb-resourceagent.

    sudo crm node standby nw1-cl-1

sudo crm configure primitive fs_NW1_ASCS Filesystem device='nw1-nfs:/NW1/ASCS' directory='/usr/sap/NW1/ASCS00' fstype='nfs4' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.0.0.7 cidr_netmask=24 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000

sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
   meta resource-stickiness=3000

    Zorg ervoor dat de status van het cluster ok is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo crm_mon -r

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
# 
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

  2. [1] SAP NetWeaver ASCS installeren

    Installeer SAP NetWeaver ASCS als root op het eerste knooppunt met behulp van een virtuele hostnaam die is toe te staan aan het IP-adres van de front-load balancer-configuratie voor de ASCS, bijvoorbeeld nw1-ascs, 10.0.0.7 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 00.

    U kunt de parameter sapinst gebruiken SAPINST_REMOTE_ACCESS_USER een niet-hoofdgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Als de installatie geen submap kan maken in /usr/sap/NW1/ASCS 00, probeert u de eigenaar en groep van de map ASCS 00 in te stellen en probeert u het opnieuw.

    chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00

  3. [1] Een virtuele IP-resource en statustest maken voor het ERS-exemplaar

    sudo crm node online nw1-cl-1
sudo crm node standby nw1-cl-0

sudo crm configure primitive fs_NW1_ERS Filesystem device='nw1-nfs:/NW1/ASCSERS' directory='/usr/sap/NW1/ERS02' fstype='nfs4' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.0.0.8 cidr_netmask=24 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62102

sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS

    Zorg ervoor dat de status van het cluster ok is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo crm_mon -r

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

  4. [2] SAP NetWeaver ERS installeren

    Installeer SAP NetWeaver ERS als root op het tweede knooppunt met behulp van een virtuele hostnaam die is toe te staan aan het IP-adres van de front-load balancer-configuratie voor de ERS, bijvoorbeeld nw1-aers, 10.0.0.8 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 02.

    U kunt de parameter sapinst gebruiken SAPINST_REMOTE_ACCESS_USER een niet-hoofdgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Notitie

    Gebruik SWPM SP 20 PL 05 of hoger. Bij lagere versies worden de machtigingen niet correct ingesteld en mislukt de installatie.

    Als de installatie geen submap kan maken in /usr/sap/NW1/ERS 02, probeert u de eigenaar en groep van de map ERS 02 in te stellen en probeert u het opnieuw.

    chown nw1adm /usr/sap/NW1/ERS02
chgrp sapsys /usr/sap/NW1/ERS02

  5. [1] De ASCS/SCS- en ERS-exemplaarprofielen aanpassen

    • ASCS/SCS-profiel
    sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

    Voor zowel ENSA1 als ENSA2 moet u ervoor zorgen dat de besturingssysteemparameters zijn ingesteld zoals beschreven keepalive in SAP-notitie 1410736.

    • ERS-profiel
    sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Keep Alive configureren

    De communicatie tussen de SAP NetWeaver-toepassingsserver en de ASCS/SCS wordt gerouteerd via een software-load balancer. De load balancer inactieve verbindingen verbroken na een configureerbare time-out. Om dit te voorkomen, moet u een parameter instellen in het SAP NetWeaver ASCS/SCS-profiel, als u ENSA1 gebruikt, en de Linux-systeeminstellingen op alle keepalive SAP-servers voor zowel ENSA1/ENSA2 wijzigen. Lees SAP Note 1410736 voor meer informatie.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  7. [A] De SAP-gebruikers configureren na de installatie

    # Add sidadm to the haclient group
sudo usermod -aG haclient nw1adm

  8. [1] De ASCS- en ERS SAP-services toevoegen aan het sapservice-bestand

    Voeg de ASCS-service-vermelding toe aan het tweede knooppunt en kopieer de ERS-service-vermelding naar het eerste knooppunt.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh nw1-cl-1 "cat >>/usr/sap/sapservices"
sudo ssh nw1-cl-1 "cat /usr/sap/sapservices" | grep ERS02 | sudo tee -a /usr/sap/sapservices

  9. [1] De SAP-clusterbronnen maken

Als u enqueue server 1 architecture (ENSA1) gebruikt, definieert u de resources als volgt:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
    operations \$id=rsc_sap_NW1_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
    operations \$id=rsc_sap_NW1_ERS02-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000
   
   sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
   sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
   
   sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
   sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
   sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
   
   sudo crm node online nw1-cl-0
   sudo crm configure property maintenance-mode="false"

SAP heeft vanaf SAP NW 7.52 ondersteuning geïntroduceerd voor enqueue server 2, inclusief replicatie. Vanaf ABAP Platform 1809 is enqueue server 2 standaard geïnstalleerd. Zie SAP note 2630416 for enqueue server 2 support (SAP-notitie voor ondersteuning bij het inschrijven van server 2). Als u enqueue server 2 architecture(ENSA2)gebruikt, definieert u de resources als volgt:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
    operations \$id=rsc_sap_NW1_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000
   
   sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
    operations \$id=rsc_sap_NW1_ERS02-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true 
   
   sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
   sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
   
   sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
   sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
   
   sudo crm node online nw1-cl-0
   sudo crm configure property maintenance-mode="false"

Zie SAP-opmerking als u een upgrade van een oudere versie en overschakelt naar server 2 in de 2641019.

Zorg ervoor dat de status van het cluster ok is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

sudo crm_mon -r
   
   # Online: [ nw1-cl-0 nw1-cl-1 ]
   #
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
   #  Resource Group: g-NW1_ASCS
   #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
   #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
   #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
   #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
   #  Resource Group: g-NW1_ERS
   #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
   #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
   #      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
   #      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Sap NetWeaver-toepassingsservervoorbereiding

Sommige databases vereisen dat de installatie van het database-exemplaar wordt uitgevoerd op een toepassingsserver. Bereid de virtuele machines van de toepassingsserver voor om ze in deze gevallen te kunnen gebruiken.

Bij de stappen wordt ervan uitgenomen dat u de toepassingsserver installeert op een andere server dan de ASCS/SCS- en HANA-servers. Anders zijn sommige van de onderstaande stappen (zoals het configureren van hostnaamresolutie) niet nodig.

  1. Besturingssysteem configureren

    Verklein de grootte van de vervuilde cache. Zie Low write performance on SLES 11/12 servers with large RAM (Lage schrijfprestaties op SLES 11/12-servers met grote RAM-geheugen) voor meer informatie.

    sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800

  2. Hostnaamresolutie instellen

    U kunt een DNS-server gebruiken of de /etc/hosts op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het bestand /etc/hosts gebruikt. Vervang het IP-adres en de hostnaam in de volgende opdrachten

    sudo vi /etc/hosts

    Voeg de volgende regels toe aan /etc/hosts. Wijzig het IP-adres en de hostnaam in uw omgeving

    # IP address of the load balancer frontend configuration for NFS
10.0.0.4 nw1-nfs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db
# IP address of all application servers
10.0.0.20 nw1-di-0
10.0.0.21 nw1-di-1

  3. De sapmnt-map maken

    sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

  4. Autofs configureren

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
+auto.master
/- /etc/auto.direct

    Een nieuw bestand maken met

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
/usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans

    Start autofs opnieuw op om de nieuwe shares te maken

    sudo systemctl enable autofs
sudo service autofs restart

  5. SWAP-bestand configureren

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Start de agent opnieuw op om de wijziging te activeren

    sudo service waagent restart

Database installeren

In dit voorbeeld wordt SAP NetWeaver geïnstalleerd op SAP HANA. U kunt elke ondersteunde database voor deze installatie gebruiken. Zie Hoge beschikbaarheid van SAP HANA op Azure SAP HANA Virtual Machines (VM's)voor meer informatie over het installeren van Virtual Machines in Azure. Zie SAP Note 1928533 voor een lijst met ondersteunde databases.

  1. De installatie van het SAP-database-exemplaar uitvoeren

    Installeer het SAP NetWeaver-database-exemplaar als hoofdmap met behulp van een virtuele hostnaam die is toe te staan aan het IP-adres van de load balancer-front-endconfiguratie voor de database, bijvoorbeeld nw1-db en 10.0.0.13.

    U kunt de parameter sapinst gebruiken om SAPINST_REMOTE_ACCESS_USER niet-hoofdgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

Installatie van SAP NetWeaver-toepassingsserver

Volg deze stappen om een SAP-toepassingsserver te installeren.

  1. Toepassingsserver voorbereiden

    Volg de stappen in het hoofdstuk SAP NetWeaver-toepassingsservervoorbereiding hierboven om de toepassingsserver voor te bereiden.

  2. SAP NetWeaver-toepassingsserver installeren

    Installeer een primaire of aanvullende SAP NetWeaver-toepassingsserver.

    U kunt de parameter sapinst gebruiken om SAPINST_REMOTE_ACCESS_USER niet-hoofdgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

  3. Beveiligde SAP HANA bijwerken

    Werk het SAP HANA bij om te wijzen naar de virtuele naam van de SAP HANA installatie van systeemreplicatie.

    Voer de volgende opdracht uit om de vermeldingen weer te geven

    hdbuserstore List

    Hiermee worden alle vermeldingen weergegeven en moet deze er ongeveer uitzien als

    DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: HN1

    In de uitvoer ziet u dat het IP-adres van de standaardinvoer verwijst naar de virtuele machine en niet naar het IP-load balancer van de virtuele machine. Deze vermelding moet worden gewijzigd om te wijzen op de virtuele hostnaam van de load balancer. Zorg ervoor dat u dezelfde poort (30313 in de bovenstaande uitvoer) en databasenaam (HN1 in de bovenstaande uitvoer) gebruikt.

    su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@HN1 SAPABAP1 <password of ABAP schema>

De installatie van het cluster testen

De volgende tests zijn een kopie van de test cases in de best practices-handleidingen van SUSE. Ze worden voor uw gemak gekopieerd. Lees altijd ook de handleidingen met best practices en voer alle aanvullende tests uit die mogelijk zijn toegevoegd.

  1. HAGetFailoverConfig, HACheckConfig en HACheckFailoverConfig testen

    Voer de volgende opdrachten uit als <sapsid> adm op het knooppunt waarop het ASCS-exemplaar momenteel wordt uitgevoerd. Als de opdrachten mislukken met FAIL: Onvoldoende geheugen, kan dit worden veroorzaakt door streepjes in uw hostnaam. Dit is een bekend probleem en wordt opgelost door SUSE in het pakket sap-suse-cluster-connector.

    nw1-cl-0:nw1adm 54> sapcontrol -nr 00 -function HAGetFailoverConfig

# 15.08.2018 13:50:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: Toolchain Module
# HASAPInterfaceVersion: Toolchain Module (sap_suse_cluster_connector 3.0.1)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode:
# HANodes: nw1-cl-0, nw1-cl-1

nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -function HACheckConfig

# 15.08.2018 14:00:04
# HACheckConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
# SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
# SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
# SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
# SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
# SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
# SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
# SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
# SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
# SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (nw1-ascs_NW1_00), SAPInstance includes is-ers patch
# SUCCESS, SAP CONFIGURATION, Enqueue replication (nw1-ascs_NW1_00), Enqueue replication enabled
# SUCCESS, SAP STATE, Enqueue replication state (nw1-ascs_NW1_00), Enqueue replication active

nw1-cl-0:nw1adm 56> sapcontrol -nr 00 -function HACheckFailoverConfig

# 15.08.2018 14:04:08
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

  2. Het ASCS-exemplaar handmatig migreren

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Voer de volgende opdrachten uit als root om het ASCS-exemplaar te migreren.

    nw1-cl-0:~ # crm resource migrate rsc_sap_NW1_ASCS00 force
# INFO: Move constraint created for rsc_sap_NW1_ASCS00

nw1-cl-0:~ # crm resource unmigrate rsc_sap_NW1_ASCS00
# INFO: Removed migration constraints for rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  3. HAFailoverToNode testen

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Voer de volgende opdrachten uit als <sapsid> adm om het ASCS-exemplaar te migreren.

    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -host nw1-ascs -user nw1adm <password> -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
# Remove migration constraints
nw1-cl-0:~ # crm resource clear rsc_sap_NW1_ASCS00
#INFO: Removed migration constraints for rsc_sap_NW1_ASCS00

    Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

  4. Knooppuntcrash simuleren

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Voer de volgende opdracht uit als root op het knooppunt waarop het ASCS-exemplaar wordt uitgevoerd

    nw1-cl-0:~ # echo b > /proc/sysrq-trigger

    Als u SBD gebruikt, moet Pacemaker niet automatisch op het knooppunt starten. De status nadat het knooppunt opnieuw is gestart, moet er als deze uitzien.

    Online: [ nw1-cl-1 ]
OFFLINE: [ nw1-cl-0 ]

Full list of resources:

stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-1 'not running' (7): call=219, status=complete, exitreason='none',
    last-rc-change='Wed Aug 15 14:38:38 2018', queued=0ms, exec=0ms

    Gebruik de volgende opdrachten om Pacemaker op het knooppunt te starten, de SBD-berichten op te schonen en de mislukte resources op te schonen.

    # run as root
# list the SBD device(s)
nw1-cl-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

nw1-cl-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message nw1-cl-0 clear

nw1-cl-0:~ # systemctl start pacemaker
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  5. Handmatig opnieuw opstarten van ASCS-exemplaar testen

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Maak een vergrendeling in dequeu door, bijvoorbeeld een gebruiker bewerken in transactie su01. Voer de volgende opdrachten uit als <sapsid> adm op het knooppunt waarop het ASCS-exemplaar wordt uitgevoerd. De opdrachten stoppen het ASCS-exemplaar en starten het opnieuw. Als u de architectuur van enqueue server 1 gebruikt, gaat de vergrendeling in dequeue naar verwachting verloren in deze test. Als u server 2-architectuur in dequeuue gebruikt, blijft de enqueue behouden.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StopWait 600 2

    Het ASCS-exemplaar moet nu worden uitgeschakeld in Pacemaker

    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)

    Start het ASCS-exemplaar opnieuw op hetzelfde knooppunt.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StartWait 600 2

    De inschrijvingsvergrendeling van transactie su01 moet verloren gaan en de back-end moet opnieuw zijn ingesteld. Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  6. Proces van berichtenserver om te zetten

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Voer de volgende opdrachten uit als root om het proces van de berichtenserver te identificeren en te killen.

    nw1-cl-1:~ # pgrep ms.sapNW1 | xargs kill -9

    Als u de berichtenserver slechts één keer afsterven, wordt deze opnieuw gestart door sapstart. Als u het vaak genoeg afmaak, verplaatst Pacemaker het ASCS-exemplaar uiteindelijk naar het andere knooppunt. Voer de volgende opdrachten uit als root om de resourcetoestand van het ASCS- en ERS-exemplaar na de test op te schonen.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

  7. Serverproces voor het in dequequen zetten van gegevens

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Voer de volgende opdrachten uit als root op het knooppunt waarop het ASCS-exemplaar wordt uitgevoerd om de server voor het in dequequen plaatsen te killen.

    nw1-cl-0:~ # 
#If using ENSA1
pgrep en.sapNW1 | xargs kill -9
#If using ENSA2
pgrep -f enq.sapNW1 | xargs kill -9

    In het geval van ENSA1 moet er onmiddellijk een fail over naar het andere knooppunt worden overgeslagen. Nadat het ASCS-exemplaar is gestart, moet er ook een fail-over voor het ERS-exemplaar worden gebruikt. Voer de volgende opdrachten uit als root om de resourcetoestand van het ASCS- en ERS-exemplaar na de test op te schonen.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  8. Het proces van de replicatieserver voor het in dequequen zetten van gegevens

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Voer de volgende opdracht uit als hoofdmap op het knooppunt waarop het ERS-exemplaar wordt uitgevoerd om het proces van de replicatieserver voor het in de rij plaatsen te voltooien.

    nw1-cl-0:~ # pgrep er.sapNW1 | xargs kill -9

    Als u de opdracht slechts eenmaal uit te voeren, sapstart wordt het proces opnieuw gestart. Als u het proces vaak genoeg hebt uitgevoerd, start sapstart het proces niet opnieuw en heeft de resource de status Gestopt. Voer de volgende opdrachten uit als root om de resourcetoestand van het ERS-exemplaar na de test op te schonen.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  9. Het sapstartsrv-proces voor het in dequequen inschrijven van gegevens in een kill-omgeving

    Resourcetoestand voordat u de test start:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Voer de volgende opdrachten uit als root op het knooppunt waarop de ASCS wordt uitgevoerd.

    nw1-cl-1:~ # pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

nw1-cl-1:~ # kill -9 59545

    Het sapstartsrv-proces moet altijd opnieuw worden gestart door de Pacemaker-resourceagent. Resource status na de test:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Volgende stappen