Hög tillgänglighet för SAP NetWeaver på virtuella Azure-datorer på SUSE Linux Enterprise Server för SAP-program

  • Artikel
  • 31 minuter för att läsa

I den här artikeln beskrivs hur du distribuerar de virtuella datorerna, konfigurerar de virtuella datorerna, installerar klusterramverket och installerar ett SAP NetWeaver 7.50-system med hög tillgänglig. I exempelkonfigurationerna, installationskommandon osv. ASCS-instansnummer 00, ERS-instansnummer 02 och SAP System ID NW1 används. Namnen på resurserna (till exempel virtuella datorer och virtuella nätverk) i exemplet förutsätter att du har använt den konvergerade mallen med SAP-system-ID NW1 för att skapa resurserna.

Läs följande SAP-anteckningar och -artiklar först

Översikt

För att uppnå hög tillgänglighet kräver SAP NetWeaver en NFS-server. NFS-servern är konfigurerad i ett separat kluster och kan användas av flera SAP-system.

Översikt över hög tillgänglighet för SAP NetWeaver

NFS-servern, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS och SAP HANA-databasen använder virtuella värdnamn och virtuella IP-adresser. I Azure krävs en lastbalanserare för att använda en virtuell IP-adress. Vi rekommenderar att du använder standardlastbalanserare. I följande lista visas konfigurationen av (A)SCS- och ERS-lastbalanserare.

(A) SCS

  • Konfiguration av frontend
    • IP-adress 10.0.0.7
  • Avsökningsport
    • Port 620 < nr >
  • Belastningsutjämningsregler
    • Om du använder Standard Load Balancer väljer du HA-portar
    • Om du använder Basic Load Balancer skapar du belastningsutjämningsregler för följande portar
      • 32 < nr > TCP
      • 36 < nr > TCP
      • 39 < nr > TCP
      • 81 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

ERS

  • Konfiguration av frontend

    • IP-adress 10.0.0.8

  • Avsökningsport

    • Port 621 < nr >

  • Regler för belastningsutjämning

    • Om du använder Standard Load Balancer väljer du HA-portar
    • Om du använder Basic Load Balancer skapar du belastningsutjämningsregler för följande portar
      • 32 < nr > TCP
      • 33 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

  • Serverkonfiguration

    • Ansluten till primära nätverksgränssnitt för alla virtuella datorer som ska ingå i (A)SCS/ERS-klustret

Konfigurera en NFS-server med hög tillgänglig

SAP NetWeaver kräver delad lagring för transport- och profilkatalogen. Läs Hög tillgänglighet för NFS på virtuella Azure-datorer på SUSE Linux Enterprise Server om hur du ställer in en NFS-server för SAP NetWeaver.

Konfigurera (A)SCS

Du kan antingen använda en Azure-mall från GitHub för att distribuera alla nödvändiga Azure-resurser, inklusive virtuella datorer, tillgänglighetsuppsättning och lastbalanserare, eller så kan du distribuera resurserna manuellt.

Distribuera Linux via Azure-mall

Den Azure Marketplace innehåller en avbildning SUSE Linux Enterprise Server för SAP Applications 12 som du kan använda för att distribuera nya virtuella datorer. Marketplace-avbildningen innehåller resursagenten för SAP NetWeaver.

Du kan använda en av snabbstartsmallarna på GitHub för att distribuera alla nödvändiga resurser. Mallen distribuerar de virtuella datorerna, lastbalanseraren, tillgänglighetsuppsättningen osv. Följ dessa steg för att distribuera mallen:

  1. Öppna mallen ASCS/SCS Multi SID eller den konvergerade mallen på Azure Portal. ASCS/SCS-mallen skapar endast belastningsutjämningsregler för INSTANSERna SAP NetWeaver ASCS/SCS och ERS (endast Linux), medan den konvergerade mallen även skapar belastningsutjämningsregler för en databas (till exempel Microsoft SQL Server eller SAP HANA). Om du planerar att installera ett SAP NetWeaver-baserat system och du även vill installera databasen på samma datorer använder du den konvergerade mallen.
  2. Ange följande parametrar
    1. Resursprefix (endast ASCS/SCS Multi SID-mall)
      Ange det prefix som du vill använda. Värdet används som ett prefix för de resurser som distribueras.
    2. Sap System-ID (endast konvergerad mall)
      Ange SAP-system-ID för det SAP-system som du vill installera. ID:t används som ett prefix för de resurser som distribueras.
    3. Stacktyp
      Välj stacktypen SAP NetWeaver
    4. Os-typ
      Välj en av Linux-distributionerna. I det här exemplet väljer du SLES 12 BYOS
    5. Db-typ
      Välj HANA
    6. Sap-systemstorlek.
      Mängden SAPS som det nya systemet tillhandahåller. Om du inte är säker på hur många SAPS som systemet kräver kan du fråga din SAP Technology Partner eller System Integrator
    7. Systemtillgänglighet
      Välj HA
    8. Administratörsnamn och administratörslösenord
      En ny användare skapas som kan användas för att logga in på datorn.
    9. Undernäts-ID
      Om du vill distribuera den virtuella datorn till ett befintligt virtuellt nätverk där du har ett undernät definierat som den virtuella datorn ska tilldelas, ska du namnge ID:t för det specifika undernätet. ID:t ser vanligtvis ut så här: /subscriptions/< > subscription ID/resourceGroups/ resource group < name >/providers/Microsoft.Network/virtualNetworks/ virtual network < name >/subnets/< subnet name >

Distribuera Linux manuellt via Azure Portal

Du måste först skapa de virtuella datorerna för det här NFS-klustret. Därefter skapar du en lastbalanserare och använder de virtuella datorerna i serverpoolen.

  1. Skapa en resursgrupp
  2. Skapa ett virtuellt nätverk
  3. Skapa en tillgänglighetsuppsättning
    Ange högsta uppdateringsdomän
  4. Skapa virtuell dator 1
    Använd minst SLES4SAP 12 SP1, i det här exemplet SLES4SAP 12 SP1-avbildningen https://portal.azure.com/#create/SUSE.SUSELinuxEnterpriseServerforSAPApplications12SP1PremiumImage-ARM
    SLES för SAP Applications 12 SP1 används
    Välj tillgänglighetsuppsättning som skapades tidigare
  5. Skapa virtuell dator 2
    Använd minst SLES4SAP 12 SP1, i det här exemplet SLES4SAP 12 SP1-avbildningen https://portal.azure.com/#create/SUSE.SUSELinuxEnterpriseServerforSAPApplications12SP1PremiumImage-ARM
    SLES för SAP Applications 12 SP1 används
    Välj tillgänglighetsuppsättning som skapades tidigare
  6. Lägga till minst en datadisk på båda virtuella datorerna
    Datadiskarna används för katalogen /usr/sap/ <SAPSID>
  7. Skapa lastbalanserare (intern, standard):
    1. Skapa IP-adresserna för frontend
      1. IP-adress 10.0.0.7 för ASCS
        1. Öppna lastbalanseraren, välj IP-adresspool för frontend och klicka på Lägg till
        2. Ange namnet på den nya IP-adresspoolen för frontend (till exempel nw1-ascs-frontend)
        3. Ställ in Tilldelning på Statisk och ange IP-adressen (till exempel 10.0.0.7)
        4. Klicka på OK
      2. IP-adress 10.0.0.8 för ASCS ERS
        • Upprepa stegen ovan för att skapa en IP-adress för ERS (till exempel 10.0.0.8 och nw1-aers-backend)
    2. Skapa serverdelspoolen
      1. Öppna lastbalanseraren, välj backend-pooler och klicka på Lägg till
      2. Ange namnet på den nya backend-poolen (till exempel nw1-backend)
      3. Klicka på Lägg till en virtuell dator.
      4. Välj virtuell dator
      5. Välj de virtuella datorerna i (A)SCS-klustret och deras IP-adresser.
      6. Klicka på Lägg till
    3. Skapa hälsoavsökningarna
      1. Port 620 00 för ASCS
        1. Öppna lastbalanseraren, välj hälsoavsökningar och klicka på Lägg till
        2. Ange namnet på den nya hälsoavsökningen (till exempel nw1-ascs-hp)
        3. Välj TCP som protokoll, port 620 00, behåll Intervall 5 och Tröskelvärde för ej feltillstånd 2
        4. Klicka på OK
      2. Port 621 02 för ASCS ERS
        • Upprepa stegen ovan för att skapa en hälsoavsökning för ERS (till exempel 621 02 och nw1-aers-hp)
    4. Regler för belastningsutjämning
      1. Belastningsutjämningsregler för ASCS
        1. Öppna lastbalanseraren, välj lastbalanseringsregler och klicka på Lägg till
        2. Ange namnet på den nya lastbalanseringsregeln (till exempel nw1-lb-ascs)
        3. Välj den IP-adress för frontend, backend-pool och hälsoavsökning som du skapade tidigare (till exempel nw1-ascs-frontend, nw1-backend och nw1-ascs-hp)
        4. Välj HA-portar
        5. Se till att aktivera flytande IP
        6. Klicka på OK
        • Upprepa stegen ovan för att skapa belastningsutjämningsregler för ERS (till exempel nw1-lb-ers)
  8. Du kan också följa dessa steg om ditt scenario kräver en grundläggande lastbalanserare (intern):
    1. Skapa IP-adresserna för frontend
      1. IP-adress 10.0.0.7 för ASCS
        1. Öppna lastbalanseraren, välj IP-adresspool för frontend och klicka på Lägg till
        2. Ange namnet på den nya IP-adresspoolen för frontend (till exempel nw1-ascs-frontend)
        3. Ställ in Tilldelning på Statisk och ange IP-adressen (till exempel 10.0.0.7)
        4. Klicka på OK
      2. IP-adress 10.0.0.8 för ASCS ERS
        • Upprepa stegen ovan för att skapa en IP-adress för ERS (till exempel 10.0.0.8 och nw1-aers-frontend)
    2. Skapa serverdelspoolen
      1. Öppna lastbalanseraren, välj backend-pooler och klicka på Lägg till
      2. Ange namnet på den nya backend-poolen (till exempel nw1-backend)
      3. Klicka på Lägg till en virtuell dator.
      4. Välj den tillgänglighetsuppsättning som du skapade tidigare
      5. Välj de virtuella datorerna i (A)SCS-klustret
      6. Klicka på OK
    3. Skapa hälsoavsökningarna
      1. Port 620 00 för ASCS
        1. Öppna lastbalanseraren, välj hälsoavsökningar och klicka på Lägg till
        2. Ange namnet på den nya hälsoavsökningen (till exempel nw1-ascs-hp)
        3. Välj TCP som protokoll, port 620 00, behåll Intervall 5 och Tröskelvärde för ej feltillstånd 2
        4. Klicka på OK
      2. Port 621 02 för ASCS ERS
        • Upprepa stegen ovan för att skapa en hälsoavsökning för ERS (till exempel 621 02 och nw1-aers-hp)
    4. Regler för belastningsutjämning
      1. 32 00 TCP för ASCS
        1. Öppna lastbalanseraren, välj lastbalanseringsregler och klicka på Lägg till
        2. Ange namnet på den nya lastbalanseringsregeln (till exempel nw1-lb-3200)
        3. Välj den IP-adress för frontend, backend-pool och hälsoavsökning som du skapade tidigare (till exempel nw1-ascs-frontend)
        4. Behåll protokollet TCP och ange port 3200
        5. Öka tidsgränsen för inaktivitet till 30 minuter
        6. Se till att aktivera flytande IP
        7. Klicka på OK
      2. Ytterligare portar för ASCS
        • Upprepa stegen ovan för portarna 36 00, 39 00, 81 00, 5 00 13, 5 00 14, 5 00 16 och TCP för ASCS
      3. Ytterligare portar för ASCS ERS
        • Upprepa stegen ovan för portarna 33 02, 5 02 13, 5 02 14,5 02 16 och TCP för ASCS ERS

Viktigt

Flytande IP stöds inte på en sekundär IP-konfiguration för nätverkskort i scenarier för belastningsutjämning. Mer information finns i Begränsningar för Azure Load Balancer. Om du behöver ytterligare IP-adress för den virtuella datorn distribuerar du ett andra nätverkskort.

Anteckning

När virtuella datorer utan offentliga IP-adresser placeras i serverpoolen för intern (ingen offentlig IP-adress) Standard Azure-lastbalanserare, kommer det inte att finnas någon utgående Internetanslutning, såvida inte ytterligare konfiguration utförs för att tillåta routning till offentliga slutpunkter. Mer information om hur du uppnår utgående anslutningar finns i Offentlig slutpunktsanslutning för Virtual Machines med Azure Standard Load Balancer i SAP-scenarier med hög tillgänglighet.

Viktigt

Aktivera inte TCP-tidsstämplar på virtuella Azure-datorer som placerats bakom Azure Load Balancer. Om DU aktiverar TCP-tidsstämplar misslyckas hälsoavsökningarna. Ange parametern net.ipv4.tcp_timestamps till 0. Mer information finns i Load Balancer hälsoavsökningar.

Skapa pacemakerkluster

Följ stegen i Konfigurera pacemaker på SUSE Linux Enterprise Server i Azure för att skapa ett grundläggande pacemakerkluster för den här (A)SCS-servern.

Installation

Följande objekt föregås av antingen [A] – gäller för alla noder, [1] – gäller endast nod 1 eller [2] – gäller endast för nod 2.

  1. [A] Installera SUSE Connector

    sudo zypper install sap-suse-cluster-connector

    Anteckning

    Det kända problemet med att använda ett bindestreck i värdnamn har åtgärdats med version 3.1.1 av paketet sap-suse-cluster-connector. Kontrollera att du använder minst version 3.1.1 av paketet sap-suse-cluster-connector om du använder klusternoder med bindestreck i värdnamnet. Annars fungerar inte klustret.

    Kontrollera att du har installerat den nya versionen av SAP SUSE-klusteranslutningsappen. Den gamla hette sap_suse_cluster_connector och den nya heter sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector

Information for package sap-suse-cluster-connector:
---------------------------------------------------
Repository     : SLE-12-SP3-SAP-Updates
Name           : sap-suse-cluster-connector
<b>Version        : 3.0.0-2.2</b>
Arch           : noarch
Vendor         : SUSE LLC <https://www.suse.com/>
Support Level  : Level 3
Installed Size : 41.6 KiB
<b>Installed      : Yes</b>
Status         : up-to-date
Source package : sap-suse-cluster-connector-3.0.0-2.2.src
Summary        : SUSE High Availability Setup for SAP Products

  2. [A] Uppdatera SAP-resursagenter

    En korrigering för paketet resource-agents krävs för att använda den nya konfigurationen, som beskrivs i den här artikeln. Du kan kontrollera om korrigeringen redan har installerats med följande kommando

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance

    Utdata bör likna

    <parameter name="IS_ERS" unique="0" required="0">

    Om kommandot grep inte hittar parametern IS_ERS måste du installera korrigeringen som visas på SUSE-nedladdningssidan

    # example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1

  3. [A] Konfigurera värdnamnsmatchning

    Du kan antingen använda en DNS-server eller ändra /etc/hosts på alla noder. Det här exemplet visar hur du använder filen /etc/hosts. Ersätt IP-adressen och värdnamnet i följande kommandon

    sudo vi /etc/hosts

    Infoga följande rader i /etc/hosts. Ändra IP-adressen och värdnamnet så att de matchar din miljö

    # IP address of the load balancer frontend configuration for NFS
10.0.0.4 nw1-nfs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

Förbereda för SAP NetWeaver-installation

  1. [A] Skapa delade kataloger

    sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

  2. [A] Konfigurera autofs

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
+auto.master
/- /etc/auto.direct

    Skapa en fil med

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
/usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
/usr/sap/NW1/SYS -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sidsys

    Starta om autofs för att montera de nya filresurser

    sudo systemctl enable autofs
sudo service autofs restart

  3. [A] Konfigurera VÄXLINGSfil

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Starta om agenten för att aktivera ändringen

    sudo service waagent restart

Installera SAP NetWeaver ASCS/ERS

  1. [1] Skapa en virtuell IP-resurs och hälsoavsökning för ASCS-instansen

    Viktigt

    Den senaste testningen visade situationer där netcat slutar svara på begäranden på grund av förfrågningsloggar och dess begränsning av hantering av endast en anslutning. Netcat-resursen slutar att lyssna på Azure Load Balancer-begäranden och den flytande IP-adressen blir otillgänglig.
    För befintliga pacemakerkluster rekommenderar vi att du tidigare ersätter netcat med socat. För närvarande rekommenderar vi att du använder azure-lb-resursagenten, som är en del av paketresursagenter, med följande paketversionskrav:

    • För SLES 12 SP4/SP5 måste versionen minst vara resource-agents-4.3.018.a7fb5035-3.30.1.
    • För SLES 15/15 SP1 måste versionen minst vara resource-agents-4.3.0184.6ee15eb2-4.13.1.

    Observera att ändringen kräver kort stilleståndstid.
    För befintliga pacemakerkluster, om konfigurationen redan har ändrats för att använda socat enligt beskrivningen i Azure Load-Balancer Detection Hardening, finns det inget krav på att omedelbart växla till resursagenten azure-lb.

    sudo crm node standby nw1-cl-1

sudo crm configure primitive fs_NW1_ASCS Filesystem device='nw1-nfs:/NW1/ASCS' directory='/usr/sap/NW1/ASCS00' fstype='nfs4' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.0.0.7 cidr_netmask=24 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000

sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
   meta resource-stickiness=3000

    Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs.

    sudo crm_mon -r

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
# 
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

  2. [1] Installera SAP NetWeaver ASCS

    Installera SAP NetWeaver ASCS som rot på den första noden med ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen för ASCS, till exempel nw1-ascs, 10.0.0.7 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 00.

    Du kan använda parametern sapinst SAPINST_REMOTE_ACCESS_USER tillåta att en icke-rotanvändare ansluter till sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Om installationen inte kan skapa en undermapp i /usr/sap/NW1/ASCS 00 kan du prova att ange ägare och grupp för ASCS 00-mappen och försöka igen.

    chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00

  3. [1] Skapa en virtuell IP-resurs och hälsoavsökning för ERS-instansen

    sudo crm node online nw1-cl-1
sudo crm node standby nw1-cl-0

sudo crm configure primitive fs_NW1_ERS Filesystem device='nw1-nfs:/NW1/ASCSERS' directory='/usr/sap/NW1/ERS02' fstype='nfs4' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.0.0.8 cidr_netmask=24 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62102

sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS

    Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs.

    sudo crm_mon -r

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

  4. [2] Installera SAP NetWeaver ERS

    Installera SAP NetWeaver ERS som rot på den andra noden med ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen för frontend-konfigurationen för ERS, till exempel nw1-aers, 10.0.0.8 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 02.

    Du kan använda parametern sapinst SAPINST_REMOTE_ACCESS_USER tillåta att en icke-rotanvändare ansluter till sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Anteckning

    Använd SWPM SP 20 PL 05 eller senare. Lägre versioner anger inte behörigheterna korrekt och installationen misslyckas.

    Om installationen inte kan skapa en undermapp i /usr/sap/NW1/ERS 02 kan du prova att ange ägare och grupp för ERS 02-mappen och försöka igen.

    chown nw1adm /usr/sap/NW1/ERS02
chgrp sapsys /usr/sap/NW1/ERS02

  5. [1] Anpassa ASCS/SCS- och ERS-instansprofilerna

    • ASCS/SCS-profil
    sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

    För både ENSA1 och ENSA2 kontrollerar du att OS-parametrarna har angetts enligt beskrivningen i keepalive SAP-anteckningen 1410736.

    • ERS-profil
    sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Konfigurera Keep Alive

    Kommunikationen mellan SAP NetWeaver-programservern och ASCS/SCS dirigeras via en lastbalanserare för programvara. Lastbalanseraren kopplar från inaktiva anslutningar efter en konfigurerbar tidsgräns. För att förhindra detta måste du ange en parameter i SAP NetWeaver ASCS/SCS-profilen om du använder ENSA1 och ändra Linux-systeminställningarna på alla SAP-servrar för både keepalive ENSA1/ENSA2. Läs SAP Note 1410736 mer information.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  7. [A] Konfigurera SAP-användarna efter installationen

    # Add sidadm to the haclient group
sudo usermod -aG haclient nw1adm

  8. [1] Lägg till ASCS- och ERS SAP-tjänsterna i sapservice-filen

    Lägg till ASCS-tjänstposten till den andra noden och kopiera ERS-tjänstposten till den första noden.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh nw1-cl-1 "cat >>/usr/sap/sapservices"
sudo ssh nw1-cl-1 "cat /usr/sap/sapservices" | grep ERS02 | sudo tee -a /usr/sap/sapservices

  9. [1] Skapa SAP-klusterresurserna

Om du använder enqueue server 1-arkitektur (ENSA1) definierar du resurserna på följande sätt:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
    operations \$id=rsc_sap_NW1_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
    operations \$id=rsc_sap_NW1_ERS02-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000
   
   sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
   sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
   
   sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
   sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
   sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
   
   sudo crm node online nw1-cl-0
   sudo crm configure property maintenance-mode="false"

SAP införde stöd för att ta server 2 i plats, inklusive replikering, från och med SAP NW 7.52. Från och ABAP Platform 1809 installeras enqueue server 2 som standard. Se SAP-2630416 för support för server 2. Om du använder enqueue server 2-arkitektur(ENSA2)definierar du resurserna på följande sätt:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
    operations \$id=rsc_sap_NW1_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000
   
   sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
    operations \$id=rsc_sap_NW1_ERS02-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true 
   
   sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
   sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
   
   sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
   sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
   
   sudo crm node online nw1-cl-0
   sudo crm configure property maintenance-mode="false"

Om du uppgraderar från en äldre version och växlar till att ta server 2 i sekvens kan du se SAP-anteckningen 2641019.

Kontrollera att klusterstatusen är ok och att alla resurser har startats. Det är inte viktigt på vilken nod resurserna körs.

sudo crm_mon -r
   
   # Online: [ nw1-cl-0 nw1-cl-1 ]
   #
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
   #  Resource Group: g-NW1_ASCS
   #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
   #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
   #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
   #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
   #  Resource Group: g-NW1_ERS
   #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
   #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
   #      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
   #      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Förberedelse av SAP NetWeaver-programserver

Vissa databaser kräver att installationen av databasinstansen körs på en programserver. Förbered programserverns virtuella datorer så att de kan använda dem i dessa fall.

Stegen nedan förutsätter att du installerar programservern på en annan server än ASCS/SCS- och HANA-servrarna. I annat fall behövs inte några av stegen nedan (t.ex. konfiguration av värdnamnsmatchning).

  1. Konfigurera operativsystem

    Minska storleken på den filiga cachen. Mer information finns i Låg skrivprestanda på SLES 11/12-servrar med stort RAM-minne.

    sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800

  2. Konfigurera värdnamnsmatchning

    Du kan antingen använda en DNS-server eller ändra /etc/hosts på alla noder. Det här exemplet visar hur du använder filen /etc/hosts. Ersätt IP-adressen och värdnamnet i följande kommandon

    sudo vi /etc/hosts

    Infoga följande rader i /etc/hosts. Ändra IP-adressen och värdnamnet så att de matchar din miljö

    # IP address of the load balancer frontend configuration for NFS
10.0.0.4 nw1-nfs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db
# IP address of all application servers
10.0.0.20 nw1-di-0
10.0.0.21 nw1-di-1

  3. Skapa sapmnt-katalogen

    sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

  4. Konfigurera autofs

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
+auto.master
/- /etc/auto.direct

    Skapa en ny fil med

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
/usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans

    Starta om autofs för att montera de nya filresurser

    sudo systemctl enable autofs
sudo service autofs restart

  5. Konfigurera SWAP-fil

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Starta om agenten för att aktivera ändringen

    sudo service waagent restart

Installera databas

I det här exemplet är SAP NetWeaver installerat på SAP HANA. Du kan använda alla databaser som stöds för den här installationen. Mer information om hur du installerar SAP HANA i Azure finns i Hög tillgänglighet för SAP HANA på Azure Virtual Machines (VM). En lista över databaser som stöds finns i SAP Note 1928533.

  1. Köra installationen av SAP-databasinstansen

    Installera SAP NetWeaver-databasinstansen som rot med ett virtuellt värdnamn som mappar till IP-adressen för lastbalanseringskonfigurationen för databasen, till exempel nw1-db och 10.0.0.13.

    Du kan använda parametern sapinst SAPINST_REMOTE_ACCESS_USER att tillåta att en icke-rotanvändare ansluter till sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

Installation av SAP NetWeaver-programserver

Följ de här stegen för att installera en SAP-programserver.

  1. Förbereda programservern

    Följ stegen i kapitlet SAP NetWeaver-programserverförberedelse ovan för att förbereda programservern.

  2. Installera SAP NetWeaver-programservern

    Installera en primär eller ytterligare SAP NetWeaver-programserver.

    Du kan använda parametern sapinst SAPINST_REMOTE_ACCESS_USER att tillåta att en icke-rotanvändare ansluter till sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

  3. Uppdatera SAP HANA säker lagring

    Uppdatera SAP HANA säker lagring så att den pekar på det virtuella namnet på SAP HANA systemreplikering.

    Kör följande kommando för att visa posterna

    hdbuserstore List

    Detta bör lista alla poster och bör se ut ungefär så här

    DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: HN1

    Utdata visar att IP-adressen för standardposten pekar på den virtuella datorn och inte på lastbalanseringsplatsens IP-adress. Den här posten måste ändras så att den pekar på lastbalanseringsdatorns virtuella värdnamn. Se till att använda samma port (30313 i utdata ovan) och databasnamnet (HN1 i utdata ovan)!

    su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@HN1 SAPABAP1 <password of ABAP schema>

Testa klusterkonfigurationen

Följande tester är en kopia av testfallen i guiderna för bästa praxis i SUSE. De kopieras för att underlätta för dig. Läs alltid vägledningarna om bästa praxis och utför alla ytterligare tester som kan ha lagts till.

  1. Testa HAGetFailoverConfig, HACheckConfig och HACheckFailoverConfig

    Kör följande kommandon som <sapsid> adm på noden där ASCS-instansen körs. Om kommandona misslyckas med FAIL: Otillräckligt minne kan det bero på bindestreck i värdnamnet. Det här är ett känt problem som kommer att åtgärdas av SUSE i paketet sap-suse-cluster-connector.

    nw1-cl-0:nw1adm 54> sapcontrol -nr 00 -function HAGetFailoverConfig

# 15.08.2018 13:50:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: Toolchain Module
# HASAPInterfaceVersion: Toolchain Module (sap_suse_cluster_connector 3.0.1)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode:
# HANodes: nw1-cl-0, nw1-cl-1

nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -function HACheckConfig

# 15.08.2018 14:00:04
# HACheckConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
# SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
# SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
# SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
# SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
# SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
# SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
# SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
# SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
# SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (nw1-ascs_NW1_00), SAPInstance includes is-ers patch
# SUCCESS, SAP CONFIGURATION, Enqueue replication (nw1-ascs_NW1_00), Enqueue replication enabled
# SUCCESS, SAP STATE, Enqueue replication state (nw1-ascs_NW1_00), Enqueue replication active

nw1-cl-0:nw1adm 56> sapcontrol -nr 00 -function HACheckFailoverConfig

# 15.08.2018 14:04:08
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

  2. Migrera ASCS-instansen manuellt

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Kör följande kommandon som rot för att migrera ASCS-instansen.

    nw1-cl-0:~ # crm resource migrate rsc_sap_NW1_ASCS00 force
# INFO: Move constraint created for rsc_sap_NW1_ASCS00

nw1-cl-0:~ # crm resource unmigrate rsc_sap_NW1_ASCS00
# INFO: Removed migration constraints for rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  3. Testa HAFailoverToNode

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Kör följande kommandon som <sapsid> adm för att migrera ASCS-instansen.

    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -host nw1-ascs -user nw1adm <password> -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
# Remove migration constraints
nw1-cl-0:~ # crm resource clear rsc_sap_NW1_ASCS00
#INFO: Removed migration constraints for rsc_sap_NW1_ASCS00

    Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

  4. Simulera nodkrasch

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Kör följande kommando som rot på noden där ASCS-instansen körs

    nw1-cl-0:~ # echo b > /proc/sysrq-trigger

    Om du använder SBD bör pacemaker inte starta automatiskt på den avlivade noden. Statusen efter att noden har startats igen bör se ut så här.

    Online: [ nw1-cl-1 ]
OFFLINE: [ nw1-cl-0 ]

Full list of resources:

stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-1 'not running' (7): call=219, status=complete, exitreason='none',
    last-rc-change='Wed Aug 15 14:38:38 2018', queued=0ms, exec=0ms

    Använd följande kommandon för att starta Pacemaker på den avlivade noden, rensa SBD-meddelandena och rensa de resurser som misslyckades.

    # run as root
# list the SBD device(s)
nw1-cl-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

nw1-cl-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message nw1-cl-0 clear

nw1-cl-0:~ # systemctl start pacemaker
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  5. Testa manuell omstart av ASCS-instansen

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Skapa ett iqueue-lås genom att till exempel redigera en användare i transaktionen su01. Kör följande kommandon som <sapsid> adm på noden där ASCS-instansen körs. Kommandona stoppar ASCS-instansen och startar den igen. Om du använder enqueue server 1-arkitektur förväntas låset gå förlorat i det här testet. Om du använder enqueue server 2-arkitektur kommer den att behållas.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StopWait 600 2

    ASCS-instansen bör nu inaktiveras i Pacemaker

    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)

    Starta ASCS-instansen igen på samma nod.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StartWait 600 2

    Transaktions-su01-transaktionslåset bör gå förlorat och backend-enheten bör ha återställts. Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  6. Processer för att ta bort meddelandeservern

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Kör följande kommandon som rot för att identifiera processen för meddelandeservern och ta bort den.

    nw1-cl-1:~ # pgrep ms.sapNW1 | xargs kill -9

    Om du bara säger upp meddelandeservern en gång startas den om av sapstart. Om du gör det tillräckligt ofta flyttar pacemaker slutligen ASCS-instansen till den andra noden. Kör följande kommandon som rot för att rensa resurstillståndet för ASCS- och ERS-instansen efter testet.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

  7. Kill enqueue server process (Kill enqueue server process)

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Kör följande kommandon som rot på noden där ASCS-instansen körs för att ta bort den lokala servern.

    nw1-cl-0:~ # 
#If using ENSA1
pgrep en.sapNW1 | xargs kill -9
#If using ENSA2
pgrep -f enq.sapNW1 | xargs kill -9

    ASCS-instansen bör omedelbart växla över till den andra noden när det gäller ENSA1. ERS-instansen bör också redundans redundans när ASCS-instansen har startats. Kör följande kommandon som rot för att rensa resurstillståndet för ASCS- och ERS-instansen efter testet.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  8. Kill enqueue replication server process (Kill enqueue replication server process)

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Kör följande kommando som rot på noden där ERS-instansen körs för att ta bort replikeringsserverprocessen i följd.

    nw1-cl-0:~ # pgrep er.sapNW1 | xargs kill -9

    Om du bara kör kommandot en gång startar sapstart om processen. Om du kör det tillräckligt ofta startar sapstart inte om processen och resursen är i ett stoppat tillstånd. Kör följande kommandon som rot för att rensa resurstillståndet för ERS-instansen efter testet.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  9. Kill enqueue sapstartsrv process

    Resurstillstånd innan du startar testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Kör följande kommandon som rot på noden där ASCS körs.

    nw1-cl-1:~ # pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

nw1-cl-1:~ # kill -9 59545

    Sapstartsrv-processen bör alltid startas om av pacemakerns resursagent. Resurstillstånd efter testet:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Nästa steg