Vysoká dostupnost pro SAP NetWeaver na virtuálních počítačů Azure na SUSE Linux Enterprise Server pro aplikace SAP

  • Článek
  • 32 min ke čtení

Tento článek popisuje, jak nasadit virtuální počítače, nakonfigurovat virtuální počítače, nainstalovat rozhraní clusteru a nainstalovat vysoce dostupný systém SAP NetWeaver 7.50. V příkladech konfigurací, instalačních příkazů atd. Použije se číslo instance ASCS 00, číslo instance ERS 02 a ID systému SAP NW1. Názvy prostředků (například virtuální počítače, virtuální sítě) v příkladu předpokládají, že jste k vytvoření prostředků použili konvergované šablony se systémovým ID SAP NW1.

Nejprve si přečtěte následující poznámky a dokumenty SAP.

Přehled

K dosažení vysoké dostupnosti vyžaduje SAP NetWeaver server NFS. Server NFS je nakonfigurovaný v samostatném clusteru a může ho používat několik systémů SAP.

Přehled vysoké dostupnosti SAP NetWeaveru

Server NFS, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS a databáze SAP HANA používají virtuální název hostitele a virtuální IP adresy. V Azure se k používání virtuální IP adresy vyžaduje nástroj pro vyrovnávání zatížení. Doporučujeme použít nástroj pro vyrovnávání zatížení standardu. Následující seznam ukazuje konfiguraci nástroje pro vyrovnávání zatížení (A)SCS a ERS.

(A) SCS

  • Konfigurace front-endu
    • IP adresa 10.0.0.7
  • Port sondy
    • Port 620 < nr >
  • Pravidla vyrovnávání zatížení
    • Pokud používáte Standard Load Balancer, vyberte Porty pro haše.
    • Pokud používáte základní Load Balancer, vytvořte pravidla vyrovnávání zatížení pro následující porty.
      • 32 < nr > TCP
      • 36 < nr > TCP
      • 39 < nr > TCP
      • 81 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

ERS

  • Konfigurace front-endu

    • IP adresa 10.0.0.8

  • Port sondy

    • Port 621 < nr >

  • Pravidla vyrovnávání zatížení

    • Pokud používáte Standard Load Balancer, vyberte Porty pro haše.
    • Pokud používáte základní Load Balancer, vytvořte pravidla vyrovnávání zatížení pro následující porty.
      • 32 < nr > TCP
      • 33 < nr > TCP
      • 5 < nr > 13 TCP
      • 5 < nr > 14 TCP
      • 5 < nr > 16 TCP

  • Konfigurace back-endu

    • Připojení k primárním síťovým rozhraním všech virtuálních počítačů, které by měly být součástí clusteru (A)SCS/ERS

Nastavení vysoce dostupného serveru NFS

SAP NetWeaver vyžaduje sdílené úložiště pro adresář přenosu a profilu. Informace o nastavení serveru NFS pro SAP NetWeaver si můžete přečíst v tématu Vysoká dostupnost pro SYSTÉM SOUBORŮ NFS na virtuálních počítači Azure na SUSE Linux Enterprise Serveru.

Nastavení (A)SCS

Šablonu Azure z webu GitHub můžete použít k nasazení všech požadovaných prostředků Azure, včetně virtuálních počítačů, skupiny dostupnosti a nástroje pro vyrovnávání zatížení, nebo můžete prostředky nasadit ručně.

Nasazení Linuxu prostřednictvím šablony Azure

Balíček Azure Marketplace image pro SUSE Linux Enterprise Server for SAP Applications 12, kterou můžete použít k nasazení nových virtuálních počítačů. Image marketplace obsahuje agenta prostředků pro SAP NetWeaver.

K nasazení všech požadovaných prostředků můžete použít jednu GitHub šablony pro rychlý start. Šablona nasadí virtuální počítače, nástroj pro vyrovnávání zatížení, sadu dostupnosti atd. Šablonu nasadíte pomocí těchto kroků:

  1. Otevřete šablonu ASCS/SCS Multi SID nebo konvergované šablony na Azure Portal. Šablona ASCS/SCS vytvoří pouze pravidla vyrovnávání zatížení pro instance SAP NetWeaver ASCS/SCS a ERS (pouze Linux), zatímco konvergovaná šablona také vytvoří pravidla vyrovnávání zatížení pro databázi (například Microsoft SQL Server nebo SAP HANA). Pokud plánujete nainstalovat systém založený na SAP NetWeaveru a chcete také nainstalovat databázi na stejné počítače, použijte konvergované šablony.
  2. Zadejte následující parametry:
    1. Předpona prostředku (jenom šablona ASCS/SCS Multi SID)
      Zadejte předponu, kterou chcete použít. Hodnota se používá jako předpona pro prostředky, které jsou nasazeny.
    2. ID systému Sap (jenom konvergovaná šablona)
      Zadejte ID systému SAP systému SAP, který chcete nainstalovat. TOTO ID se používá jako předpona nasazených prostředků.
    3. Typ zásobníku
      Vyberte typ zásobníku SAP NetWeaver.
    4. Typ operačního systému
      Vyberte jednu z linuxových distribucí. V tomto příkladu vyberte SLES 12 BYOS.
    5. Typ databáze
      Výběr HANA
    6. Velikost systému Sap.
      Množství SYSTÉMU SAPS, které poskytuje nový systém. Pokud si nejste jistí, kolik SAPS systém vyžaduje, zeptejte se svého partnera sap technology nebo integrátora systému.
    7. Dostupnost systému
      Vyberte ha-ka.
    8. Uživatelské jméno a heslo správce
      Vytvoří se nový uživatel, který se může použít k přihlášení k počítači.
    9. ID podsítě
      Pokud chcete virtuální počítač nasadit do existující virtuální sítě, ve které máte definovanou podsíť, ke které by se měl virtuální počítač přiřadit, zadejte ID konkrétní podsítě. Toto ID obvykle vypadá jako /subscriptions/< ID > předplatného /resourceGroups/< > název skupiny prostředků < >/providers/Microsoft.Network/virtualNetworks/název virtuální sítě /subnets/název < > podsítě.

Ruční nasazení Linuxu prostřednictvím Azure Portal

Nejprve je potřeba vytvořit virtuální počítače pro tento cluster NFS. Potom vytvoříte nástroj pro vyrovnávání zatížení a použijete virtuální počítače v back-endového fondu.

  1. Vytvoření skupiny prostředků
  2. Vytvoření virtuální sítě
  3. Vytvoření skupiny dostupnosti
    Nastavení maximálního maxima aktualizační domény
  4. Vytvoření virtuálního počítače 1
    Použijte alespoň SLES4SAP 12 SP1, v tomto příkladu image SLES4SAP 12 SP1. https://portal.azure.com/#create/SUSE.SUSELinuxEnterpriseServerforSAPApplications12SP1PremiumImage-ARM
    Používá se SLES for SAP Applications 12 SP1.
    Vyberte dříve vytvořenou sadu dostupnosti.
  5. Vytvoření virtuálního počítače 2
    Použijte alespoň SLES4SAP 12 SP1, v tomto příkladu image SLES4SAP 12 SP1. https://portal.azure.com/#create/SUSE.SUSELinuxEnterpriseServerforSAPApplications12SP1PremiumImage-ARM
    Používá se SLES for SAP Applications 12 SP1.
    Vyberte dříve vytvořenou sadu dostupnosti.
  6. Přidání alespoň jednoho datového disku do obou virtuálních počítačů
    Datové disky se používají pro adresář /usr/sap/ <SAPSID>.
  7. Vytvoření nástroje pro vyrovnávání zatížení (interní, standardní):
    1. Vytvoření front-endových IP adres
      1. IP adresa 10.0.0.7 pro ASCS
        1. Otevřete nástroj pro vyrovnávání zatížení, vyberte front-endový fond IP adres a klikněte na Přidat.
        2. Zadejte název nového front-endu fondu IP adres (například nw1-ascs-frontend).
        3. Nastavte Přiřazení na Statické a zadejte IP adresu (například 10.0.0.7).
        4. Klikněte na OK.
      2. IP adresa 10.0.0.8 pro ASCS ERS
        • Zopakujte výše uvedené kroky a vytvořte IP adresu pro ERS (například 10.0.0.8 a nw1-aers-backend).
    2. Vytvoření back-endového fondu
      1. Otevřete nástroj pro vyrovnávání zatížení, vyberte back-endové fondy a klikněte na Přidat.
      2. Zadejte název nového back-end fondu (například nw1-back-end).
      3. Klikněte na Přidat virtuální počítač.
      4. Vyberte Virtuální počítač.
      5. Vyberte virtuální počítače clusteru (A)SCS a jejich IP adresy.
      6. Klikněte na tlačítko Přidat.
    3. Vytvoření sond stavu
      1. Port 620 00 pro ASCS
        1. Otevřete nástroj pro vyrovnávání zatížení, vyberte sondy stavu a klikněte na Přidat.
        2. Zadejte název nové sondy stavu (například nw1-ascs-hp).
        3. Jako protokol vyberte TCP, port 620 00, podržte Interval 5 a Prahovou hodnotu špatného stavu 2.
        4. Klikněte na OK.
      2. Port 621 02 pro ASCS ERS
        • Zopakujte výše uvedené kroky a vytvořte sondu stavu pro ERS (například 621 02 a nw1-aers-hp).
    4. Pravidla vyrovnávání zatížení
      1. Pravidla vyrovnávání zatížení pro ASCS
        1. Otevřete nástroj pro vyrovnávání zatížení, vyberte pravidla vyrovnávání zatížení a klikněte na Přidat.
        2. Zadejte název nového pravidla nástroje pro vyrovnávání zatížení (například nw1-lb-ascs).
        3. Vyberte front-endovou IP adresu, back-endový fond a sondu stavu, které jste vytvořili dříve (například nw1-ascs-frontend, nw1-backend a nw1-ascs-hp).
        4. Vyberte Porty pro haše.
        5. Nezapomeňte povolit plovoucí IP adresu.
        6. Klikněte na OK.
        • Opakováním výše uvedeného postupu vytvořte pravidla vyrovnávání zatížení pro ERS (například nw1-lb-ers).
  8. Případně pokud váš scénář vyžaduje nástroj pro vyrovnávání zatížení basic (interní), postupujte následovně:
    1. Vytvoření front-endových IP adres
      1. IP adresa 10.0.0.7 pro ASCS
        1. Otevřete nástroj pro vyrovnávání zatížení, vyberte front-endový fond IP adres a klikněte na Přidat.
        2. Zadejte název nového front-endu fondu IP adres (například nw1-ascs-frontend).
        3. Nastavte Přiřazení na Statické a zadejte IP adresu (například 10.0.0.7).
        4. Klikněte na OK.
      2. IP adresa 10.0.0.8 pro ASCS ERS
        • Zopakujte výše uvedené kroky a vytvořte IP adresu pro ERS (například 10.0.0.8 a nw1-aers-frontend).
    2. Vytvoření back-endového fondu
      1. Otevřete nástroj pro vyrovnávání zatížení, vyberte back-endové fondy a klikněte na Přidat.
      2. Zadejte název nového back-end fondu (například nw1-back-end).
      3. Klikněte na Přidat virtuální počítač.
      4. Vyberte dříve vytvořenou sadu dostupnosti.
      5. Vyberte virtuální počítače clusteru (A)SCS.
      6. Klikněte na OK.
    3. Vytvoření sond stavu
      1. Port 620 00 pro ASCS
        1. Otevřete nástroj pro vyrovnávání zatížení, vyberte sondy stavu a klikněte na Přidat.
        2. Zadejte název nové sondy stavu (například nw1-ascs-hp).
        3. Jako protokol vyberte TCP, port 620 00, podržte Interval 5 a Prahovou hodnotu špatného stavu 2.
        4. Klikněte na OK.
      2. Port 621 02 pro ASCS ERS
        • Zopakujte výše uvedené kroky a vytvořte sondu stavu pro ERS (například 621 02 a nw1-aers-hp).
    4. Pravidla vyrovnávání zatížení
      1. 32 00 TCP pro ASCS
        1. Otevřete nástroj pro vyrovnávání zatížení, vyberte pravidla vyrovnávání zatížení a klikněte na Přidat.
        2. Zadejte název nového pravidla nástroje pro vyrovnávání zatížení (například nw1-lb-3200).
        3. Vyberte front-endovou IP adresu, back-endový fond a sondu stavu, které jste vytvořili dříve (například nw1-ascs-frontend).
        4. Podržte protokol TCP a zadejte port 3200.
        5. Zvýšení časového limitu nečinnosti na 30 minut
        6. Nezapomeňte povolit plovoucí IP adresu.
        7. Klikněte na OK.
      2. Další porty pro ASCS
        • Opakujte výše uvedené kroky pro porty 36 00, 39 00, 81 00, 5 00 13, 5 00 14, 5 00 16 a TCP pro ASCS.
      3. Další porty pro ASCS ERS
        • Opakujte výše uvedené kroky pro porty 33 02, 5 02 13, 5 02 14, 5 02 16 a TCP pro ASCS ERS.

Důležité

Plovoucí IP adresa není podporována v konfiguraci sekundární IP adresy síťové karty ve scénářích vyrovnávání zatížení. Podrobnosti najdete v tématu Omezení nástroje pro vyrovnávání zatížení Azure. Pokud pro virtuální počítač potřebujete další IP adresu, nasaďte druhou kartu.

Poznámka

Pokud jsou virtuální počítače bez veřejných IP adres umístěny do back-endového fondu interního nástroje pro vyrovnávání zatížení Azure standardu (bez veřejné IP adresy), nebude odchozí připojení k internetu k dispozici, pokud není provedena další konfigurace umožňující směrování na veřejné koncové body. Podrobnosti o tom, jak dosáhnout odchozího připojení, najdete v tématu Připojení veřejného koncového bodu pro Virtual Machines s využitím Azure Standard Load Balancer ve scénářích SAP s vysokou dostupností.

Důležité

Nepo povolení časových razítek protokolu TCP na virtuálních počítači Azure umístěných za Azure Load Balancer. Povolení časových razítek protokolu TCP způsobí selhání sond stavu. Nastavte net.ipv4.tcp_timestamps parametru na 0. Podrobnosti najdete v Load Balancer sond stavu.

Vytvoření clusteru Pacemaker

postupujte podle kroků v části nastavení Pacemaker na SUSE Linux Enterprise Server v Azure a vytvořte pro tento Server (a) SCS základní cluster Pacemaker.

Instalace

Následující položky jsou předpony buď [A] – platí pro všechny uzly, [1] – platí pouze pro uzel 1 nebo [2] – platí pouze pro uzel 2.

  1. [A] instalace KONEKTORu SUSE

    sudo zypper install sap-suse-cluster-connector

    Poznámka

    Známý problém s používáním pomlčky v názvech hostitelů je opravený s verzí 3.1.1 balíčku SAP-SUSE-cluster-Connector. Pokud používáte uzly clusteru s pomlčkou v názvu hostitele, ujistěte se, že používáte aspoň verzi 3.1.1 balíčku SAP-SUSE-cluster-Connector. V opačném případě nebude cluster fungovat.

    Ujistěte se, že jste nainstalovali novou verzi konektoru SAP SUSE cluster. Stará se o to, že se navolala sap_suse_cluster_connector a ta nového se nazývá SAP-SUSE-cluster-Connector.

    sudo zypper info sap-suse-cluster-connector

Information for package sap-suse-cluster-connector:
---------------------------------------------------
Repository     : SLE-12-SP3-SAP-Updates
Name           : sap-suse-cluster-connector
<b>Version        : 3.0.0-2.2</b>
Arch           : noarch
Vendor         : SUSE LLC <https://www.suse.com/>
Support Level  : Level 3
Installed Size : 41.6 KiB
<b>Installed      : Yes</b>
Status         : up-to-date
Source package : sap-suse-cluster-connector-3.0.0-2.2.src
Summary        : SUSE High Availability Setup for SAP Products

  2. [A] aktualizace agentů prostředků SAP

    Pro použití nové konfigurace, která je popsaná v tomto článku, je nutná oprava balíčku Resource-Agents. Můžete ověřit, jestli je oprava už nainstalovaná, a to pomocí následujícího příkazu.

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance

    Výstup by měl být podobný

    <parameter name="IS_ERS" unique="0" required="0">

    Pokud příkaz grep nenajde parametr IS_ERS, je nutné nainstalovat opravu uvedenou na stránce pro stažení SUSE .

    # example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1

  3. [A] nastavení rozlišení názvu hostitele

    Můžete buď použít server DNS, nebo upravit/etc/hosts na všech uzlech. Tento příklad ukazuje, jak použít soubor/etc/hosts. V následujících příkazech nahraďte IP adresu a název hostitele.

    sudo vi /etc/hosts

    Vložte následující řádky do/etc/hosts. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of the load balancer frontend configuration for NFS
10.0.0.4 nw1-nfs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

Příprava na instalaci SAP NetWeaver

  1. [A] vytvoření sdílených adresářů

    sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

  2. [A] konfigurace AutoFS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
+auto.master
/- /etc/auto.direct

    Vytvořit soubor s

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
/usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
/usr/sap/NW1/SYS -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sidsys

    Pokud chcete připojit nové sdílené složky, restartujte autofs.

    sudo systemctl enable autofs
sudo service autofs restart

  3. [A] konfigurace odkládacího souboru

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Restartujte agenta, aby se změna aktivovala.

    sudo service waagent restart

Instalace SAP NetWeaver ASCS/OLAJÍCÍCH

  1. [1] vytvoření prostředku virtuální IP adresy a stavu – sonda pro instanci ASCS

    Důležité

    Nedávné testování odhalilo situace, kde NetCat přestane reagovat na požadavky z důvodu nevyřízených položek a omezení zpracování pouze jednoho připojení. Prostředek NetCat přestane naslouchat požadavkům nástroje pro vyrovnávání zatížení Azure a plovoucí IP adresa přestane být k dispozici.
    Pro existující clustery Pacemaker doporučujeme v minulosti nahradit NetCat pomocí Socat. V současné době doporučujeme použít agenta prostředků Azure-, který je součástí prostředků balíčku – agenti s následujícími požadavky na verzi balíčku:

    • Pro SLES 12 SP4/SP5 musí být ve verzi aspoň Resource-Agents-4.3.018. a7fb5035-3.30.1.
    • Pro SLES 15/15 SP1 musí být verze aspoň Resource-Agents-4.3.0184.6 ee15eb2-4.13.1.

    Všimněte si, že tato změna bude vyžadovat krátké výpadky.
    U existujících clusterů Pacemaker se v případě, že konfigurace již změnila tak, aby používala socat, jak je popsáno v tématu posílení zabezpečení azure Load-Balancer, neexistuje žádný požadavek na přepnutí přímo do agenta prostředků Azure-No.

    sudo crm node standby nw1-cl-1

sudo crm configure primitive fs_NW1_ASCS Filesystem device='nw1-nfs:/NW1/ASCS' directory='/usr/sap/NW1/ASCS00' fstype='nfs4' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.0.0.7 cidr_netmask=24 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000

sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
   meta resource-stickiness=3000

    Ujistěte se, že stav clusteru je OK a že všechny prostředky jsou spuštěné. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo crm_mon -r

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
# 
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

  2. [1] instalace SAP NetWeaver ASCS

    Nainstalujte SAP NetWeaver ASCS jako kořen v prvním uzlu pomocí virtuálního hostitele, který se mapuje na IP adresu konfigurace front-endu nástroje pro vyrovnávání zatížení pro ASCS, například NW1-ASCS, 10.0.0.7 a číslo instance, kterou jste použili pro sondu nástroje pro vyrovnávání zatížení, například 00.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete pro uživatele, který není rootem, připojovat se k sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Pokud se při instalaci nepovede vytvořit podsložku v/usr/SAP/NW1/ASCS 00, zkuste nastavit vlastníka a skupinu složky ASCS 00 a zkuste to znovu.

    chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00

  3. [1] vytvoření prostředku virtuální IP adresy a stavu – sonda pro instanci olajících

    sudo crm node online nw1-cl-1
sudo crm node standby nw1-cl-0

sudo crm configure primitive fs_NW1_ERS Filesystem device='nw1-nfs:/NW1/ASCSERS' directory='/usr/sap/NW1/ERS02' fstype='nfs4' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.0.0.8 cidr_netmask=24 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62102

sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS

    Ujistěte se, že stav clusteru je OK a že všechny prostředky jsou spuštěné. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo crm_mon -r

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

  4. [2] instalace SAP NetWeaver olajících

    Nainstalujte SAP NetWeaver OLAJÍCÍCH jako kořenovou složku na druhém uzlu pomocí virtuálního hostitele, který se mapuje na IP adresu konfigurace front-endu služby Vyrovnávání zatížení pro OLAJÍCÍCH, například NW1-aers, 10.0.0.8 a číslo instance, kterou jste použili pro sondu nástroje pro vyrovnávání zatížení, například 02.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete pro uživatele, který není rootem, připojovat se k sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Poznámka

    Použijte SWPM SP 20 PL 05 nebo vyšší. Nižší verze nenastaví správně oprávnění a instalace se nezdaří.

    Pokud se při instalaci nepovede vytvořit podsložku v/usr/SAP/NW1/ERS 02, zkuste nastavit vlastníka a skupinu ve složce olajících 02 a zkuste to znovu.

    chown nw1adm /usr/sap/NW1/ERS02
chgrp sapsys /usr/sap/NW1/ERS02

  5. [1] přizpůsobení profilů instancí ASCS/SCS a olajících

    • Profil ASCS/SCS
    sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

    Pro ENSA1 i ENSA2 se ujistěte, že keepalive jsou nastavené parametry operačního systému, jak je popsáno v tématu SAP note 1410736.

    • Profil OLAJÍCÍCH
    sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] konfigurace Keep Alive

    Komunikace mezi aplikačním serverem SAP NetWeaver a ASCS/SCS je směrována prostřednictvím nástroje pro vyrovnávání zatížení softwaru. Nástroj pro vyrovnávání zatížení odpojí neaktivní připojení po konfigurovatelném časovém limitu. Abyste tomu předešli, musíte nastavit parametr v profilu SAP NetWeaver ASCS/SCS, pokud používáte ENSA1, a změnit nastavení systému Linux keepalive na všech serverech SAP pro ENSA1/ENSA2. Další informace najdete v tématu SAP Note 1410736 .

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  7. [A] konfigurace uživatelů SAP po instalaci

    # Add sidadm to the haclient group
sudo usermod -aG haclient nw1adm

  8. [1] do souboru sapservice přidejte služby SAP ASCS a olajících.

    Přidejte položku služby ASCS do druhého uzlu a zkopírujte položku služby OLAJÍCÍCH do prvního uzlu.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh nw1-cl-1 "cat >>/usr/sap/sapservices"
sudo ssh nw1-cl-1 "cat /usr/sap/sapservices" | grep ERS02 | sudo tee -a /usr/sap/sapservices

  9. [1] vytvoření prostředků clusteru SAP

Pokud používáte architekturu serveru front Server 1 (ENSA1), definujte prostředky následujícím způsobem:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
    operations \$id=rsc_sap_NW1_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
    operations \$id=rsc_sap_NW1_ERS02-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000
   
   sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
   sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
   
   sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
   sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
   sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
   
   sudo crm node online nw1-cl-0
   sudo crm configure property maintenance-mode="false"

SAP představilo podporu pro front-Server 2, včetně replikace, od SAP NW 7,52. počínaje jazyk ABAP platformou 1809 se ve výchozím nastavení nainstaluje služba fronty serveru 2. Podporu služby zařazení serveru 2 pro frontu najdete v tématu SAP Note 2630416 . Pokud používáte architekturu serveru fronty 2 (ENSA2), definujte prostředky následujícím způsobem:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
    operations \$id=rsc_sap_NW1_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000
   
   sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
    operations \$id=rsc_sap_NW1_ERS02-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true 
   
   sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
   sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
   
   sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
   sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
   
   sudo crm node online nw1-cl-0
   sudo crm configure property maintenance-mode="false"

Pokud provádíte upgrade ze starší verze a přejdete na server fronty 2, přečtěte si článek SAP Note 2641019.

Ujistěte se, že stav clusteru je OK a že všechny prostředky jsou spuštěné. Není důležité, na kterém uzlu jsou prostředky spuštěné.

sudo crm_mon -r
   
   # Online: [ nw1-cl-0 nw1-cl-1 ]
   #
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
   #  Resource Group: g-NW1_ASCS
   #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
   #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
   #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
   #      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
   #  Resource Group: g-NW1_ERS
   #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
   #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
   #      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
   #      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Příprava aplikačního serveru SAP NetWeaver

Některé databáze vyžadují, aby se instalace instance databáze spustila na aplikačním serveru. Příprava virtuálních počítačů aplikačního serveru, aby je bylo možné používat v těchto případech.

Postup níže předpokládá, že instalujete aplikační server na jiný server než servery ASCS/SCS a HANA. Jinak se některé z následujících kroků (třeba konfigurace překladu názvů hostitelů) nevyžadují.

  1. Konfigurace operačního systému

    Snižte velikost nečisté mezipaměti. Další informace najdete v tématu nízký výkon zápisu na serverech SLES 11/12 s velkou pamětí RAM.

    sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800

  2. Nastavení rozlišení názvu hostitele

    Můžete buď použít server DNS, nebo upravit/etc/hosts na všech uzlech. Tento příklad ukazuje, jak použít soubor/etc/hosts. V následujících příkazech nahraďte IP adresu a název hostitele.

    sudo vi /etc/hosts

    Vložte následující řádky do/etc/hosts. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of the load balancer frontend configuration for NFS
10.0.0.4 nw1-nfs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db
# IP address of all application servers
10.0.0.20 nw1-di-0
10.0.0.21 nw1-di-1

  3. Vytvoření adresáře sapmnt

    sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

  4. Konfigurace AutoFS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
+auto.master
/- /etc/auto.direct

    Vytvořit nový soubor s

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
/usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans

    Pokud chcete připojit nové sdílené složky, restartujte autofs.

    sudo systemctl enable autofs
sudo service autofs restart

  5. Nakonfigurovat odkládací soubor

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Restartujte agenta, aby se změna aktivovala.

    sudo service waagent restart

Instalace databáze

V tomto příkladu je SAP NetWeaver nainstalovaný na SAP HANA. Pro tuto instalaci můžete použít každou podporovanou databázi. Další informace o tom, jak nainstalovat SAP HANA v Azure, najdete v tématu Vysoká dostupnost SAP HANA na Azure Virtual Machines (virtuálních počítačích). Seznam podporovaných databází najdete v tématu SAP Note 1928533.

  1. Spusťte instalaci instance databáze SAP.

    K instalaci instance databáze SAP NetWeaver jako kořenového adresáře použijte virtuální název hostitele, který se mapuje na IP adresu konfigurace front-endu služby Vyrovnávání zatížení pro databázi, například NW1-DB a 10.0.0.13.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER umožnit uživateli, který není root, připojení k sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

Instalace aplikačního serveru SAP NetWeaver

Postupujte podle těchto kroků a nainstalujte aplikační server SAP.

  1. Příprava aplikačního serveru

    Při přípravě aplikačního serveru postupujte podle kroků v kapitole Příprava aplikačního serveru SAP NetWeaver výše.

  2. Instalace aplikačního serveru SAP NetWeaver

    Nainstalujte primární nebo další server aplikací SAP NetWeaver.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER umožnit uživateli, který není root, připojení k sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

  3. Aktualizace SAP HANA úložiště

    Aktualizujte SAP HANA úložiště tak, aby odkazuje na virtuální název nastavení SAP HANA replikace systému.

    Spuštěním následujícího příkazu vyhlédněte položky.

    hdbuserstore List

    Měl by se zobrazit seznam všech položek a měl by vypadat podobně jako .

    DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: HN1

    Výstup ukazuje, že IP adresa výchozí položky ukazuje na virtuální počítač, a ne na IP adresu nástroje pro vyrovnávání zatížení. Tuto položku je potřeba změnit tak, aby odkazovat na název virtuálního hostitele nástroje pro vyrovnávání zatížení. Ujistěte se, že používáte stejný port (30313 ve výstupu výše) a název databáze (HN1 ve výstupu výše)!

    su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@HN1 SAPABAP1 <password of ABAP schema>

Testování nastavení clusteru

Následující testy jsou kopií testovacích případů v průvodcích osvědčenými postupy pro SUSE. Pro usnadnění se zkopírují. Vždy si také přečtěte průvodce osvědčenými postupy a proveďte všechny další testy, které mohly být přidány.

  1. Test HAGetFailoverConfig, HACheckConfig a HACheckFailoverConfig

    Na uzlu, kde je instance asCS aktuálně <sapsid> spuštěná, spusťte následující příkazy jako adm. Pokud příkazy selžou s příkazem FAIL: Nedostatek paměti, příčinou můžou být pomlčky v názvu hostitele. Jedná se o známý problém, který SUSE opraví v balíčku sap-suse-cluster-connector.

    nw1-cl-0:nw1adm 54> sapcontrol -nr 00 -function HAGetFailoverConfig

# 15.08.2018 13:50:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: Toolchain Module
# HASAPInterfaceVersion: Toolchain Module (sap_suse_cluster_connector 3.0.1)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode:
# HANodes: nw1-cl-0, nw1-cl-1

nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -function HACheckConfig

# 15.08.2018 14:00:04
# HACheckConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
# SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
# SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
# SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
# SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
# SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
# SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
# SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
# SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
# SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
# SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
# SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (nw1-ascs_NW1_00), SAPInstance includes is-ers patch
# SUCCESS, SAP CONFIGURATION, Enqueue replication (nw1-ascs_NW1_00), Enqueue replication enabled
# SUCCESS, SAP STATE, Enqueue replication state (nw1-ascs_NW1_00), Enqueue replication active

nw1-cl-0:nw1adm 56> sapcontrol -nr 00 -function HACheckFailoverConfig

# 15.08.2018 14:04:08
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

  2. Ruční migrace instance SLUŽBY ASCS

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Spuštěním následujících příkazů jako kořenového adresáře migrujte instanci služby ASCS.

    nw1-cl-0:~ # crm resource migrate rsc_sap_NW1_ASCS00 force
# INFO: Move constraint created for rsc_sap_NW1_ASCS00

nw1-cl-0:~ # crm resource unmigrate rsc_sap_NW1_ASCS00
# INFO: Removed migration constraints for rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  3. Test HAFailoverToNode

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Spuštěním následujících příkazů jako <sapsid> adm migrujte instanci služby ASCS.

    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -host nw1-ascs -user nw1adm <password> -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
# Remove migration constraints
nw1-cl-0:~ # crm resource clear rsc_sap_NW1_ASCS00
#INFO: Removed migration constraints for rsc_sap_NW1_ASCS00

    Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

  4. Simulace selhání uzlu

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Na uzlu, na kterém je spuštěná instance služby ASCS, spusťte následující příkaz jako root.

    nw1-cl-0:~ # echo b > /proc/sysrq-trigger

    Pokud používáte SBD, Pacemaker by se neměl automaticky spustit na uhořeeném uzlu. Stav po spuštění uzlu by měl vypadat znova.

    Online: [ nw1-cl-1 ]
OFFLINE: [ nw1-cl-0 ]

Full list of resources:

stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-1 'not running' (7): call=219, status=complete, exitreason='none',
    last-rc-change='Wed Aug 15 14:38:38 2018', queued=0ms, exec=0ms

    Pomocí následujících příkazů spusťte Pacemaker na zahořeeném uzlu, vyčistěte zprávy SBD a vyčistěte prostředky, které selhaly.

    # run as root
# list the SBD device(s)
nw1-cl-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

nw1-cl-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message nw1-cl-0 clear

nw1-cl-0:~ # systemctl start pacemaker
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  5. Otestování ručního restartování instance služby ASCS

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Vytvořte zámek zařazení do fronty například úpravou uživatele v transakci su01. Na uzlu, na kterém je spuštěná instance <sapsid> ASCS, spusťte následující příkazy jako adm. Příkazy zastaví instanci služby ASCS a znovu ji spustí. Pokud používáte architekturu zařazování do fronty serveru 1, očekává se, že v tomto testu dojde ke ztrátě zámku zařazení do fronty. Pokud používáte architekturu zařazovat do fronty serveru 2, zachovají se zařazované fronty.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StopWait 600 2

    Instance ASCS by teď měla být v Pacemakeru zakázaná.

    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)

    Znovu spusťte instanci služby ASCS na stejném uzlu.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StartWait 600 2

    Zámek zařazení transakce su01 do fronty by se měl ztratit a back-end by měl být resetován. Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  6. Dokončení procesu serveru zpráv

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Spuštěním následujících příkazů jako kořenového adresáře identifikujte proces serveru zpráv a tento proces u spusťte.

    nw1-cl-1:~ # pgrep ms.sapNW1 | xargs kill -9

    Pokud server zpráv jenom jednou uzavujete, sapstart ho restartuje. Pokud ho budete často ubíhat, Pacemaker nakonec přesune instanci ASCS do druhého uzlu. Spuštěním následujících příkazů jako kořenového adresáře vyčistěte stav prostředků ascs a instance ERS po testu.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

  7. Dokončení procesu zařazení serveru do fronty

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

    Spuštěním následujících příkazů v kořenovém adresáři uzlu, na kterém je spuštěná instance ASCS, server zařazování do fronty u spusťte.

    nw1-cl-0:~ # 
#If using ENSA1
pgrep en.sapNW1 | xargs kill -9
#If using ENSA2
pgrep -f enq.sapNW1 | xargs kill -9

    Instance ASCS by měla okamžitě pře převzetí služeb při selhání druhému uzlu v případě ENSA1. Instance služby ERS by měla také po spuštění instance ASCS pře převzetí služeb při selhání. Spuštěním následujících příkazů jako kořenového adresáře vyčistěte stav prostředků ascs a instance ERS po testu.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  8. Dokončení procesu replikačního serveru zařazování do fronty

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Spuštěním následujícího příkazu v kořenovém adresáři na uzlu, na kterém je spuštěná instance ERS, proces replikačního serveru zařazení do fronty u spusťte.

    nw1-cl-0:~ # pgrep er.sapNW1 | xargs kill -9

    Pokud příkaz spustíte jenom jednou, sapstart restartuje proces. Pokud ho spustíte dostatečně často, sapstart nerestartuje proces a prostředek bude v zastaveném stavu. Spuštěním následujících příkazů jako kořenového adresáře vyčistěte stav prostředku instance ERS po testu.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02

    Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

  9. Dokončení procesu zařazení do fronty sapstartsrv

    Stav prostředku před zahájením testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

    Na uzlu, na kterém je spuštěná služba ASCS, spusťte následující příkazy jako root.

    nw1-cl-1:~ # pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

nw1-cl-1:~ # kill -9 59545

    Proces sapstartsrv by měl vždy restartovat agent prostředků Pacemakeru. Stav prostředku po testu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_ERS
     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Další kroky