Vysoká dostupnost pro SAP NetWeaver na virtuálních počítačích Azure na SUSE Linux Enterprise Serveru s Azure NetApp Files pro aplikace SAP

  • Článek

Tento článek vysvětluje, jak nakonfigurovat vysokou dostupnost pro aplikaci SAP NetWeaver se službou Azure NetApp Files.

Pro nové implementace v SLES pro SAP Applications 15 doporučujeme nasadit vysokou dostupnost pro SAP ASCS/ERS v jednoduché konfiguraci připojení. Klasická konfigurace Pacemakeru založená na systémech souborů řízených clusterem pro adresáře centrálních služeb SAP, která je popsaná v tomto článku, je stále podporovaná.

V ukázkových konfiguracích, příkazech instalace atd., instance ASCS je číslo 00, instance ERS číslo 01, primární instance aplikace (PAS) je 02 a instance aplikace (AAS) je 03. Používá se SYSTÉMOVÁ KONTROLA KVALITY SYSTÉMU SAP. Vrstva databáze není podrobně popsána v tomto článku.

Nejprve si přečtěte následující poznámky a dokumenty SAP:

Přehled

Vysoká dostupnost (HA) pro centrální služby SAP Netweaver vyžaduje sdílené úložiště. Abyste toho dosáhli v SUSE Linuxu, bylo dosud nutné sestavit samostatný cluster NFS s vysokou dostupností.

Teď je možné dosáhnout vysoké dostupnosti SAP Netweaver pomocí sdíleného úložiště nasazených ve službě Azure NetApp Files. Použití služby Azure NetApp Files pro sdílené úložiště eliminuje potřebu dalšího clusteru NFS. Pacemaker je stále nutný pro vysokou dostupnost centrálních služeb SAP Netweaver (ASCS/SCS).

SAP NetWeaver High Availability overview

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS a databáze SAP HANA používají virtuální název hostitele a virtuální IP adresy. V Azure se k použití virtuální IP adresy vyžaduje nástroj pro vyrovnávání zatížení. Doporučujeme používat load balancer úrovně Standard. Zobrazená konfigurace ukazuje nástroj pro vyrovnávání zatížení s:

  • IP adresa front-endu 10.1.1.20 pro ASCS
  • IP adresa front-endu 10.1.1.21 pro ERS
  • Port sondy 62000 pro ASCS
  • Port sondy 62101 pro ERS

Nastavení infrastruktury Služby Azure NetApp Files

SAP NetWeaver vyžaduje sdílené úložiště pro adresář přenosu a profilu. Než budete pokračovat v nastavení infrastruktury Azure NetApp files, seznamte se s dokumentací k Azure NetApp Files. Zkontrolujte, jestli vybraná oblast Azure nabízí Azure NetApp Files. Následující odkaz ukazuje dostupnost služby Azure NetApp Files podle oblasti Azure: Dostupnost služby Azure NetApp Files podle oblasti Azure.

Soubory Azure NetApp jsou dostupné v několika oblastech Azure.

Nasazení prostředků Azure NetApp Files

Kroky předpokládají, že už máte nasazenou službu Azure Virtual Network. Prostředky Azure NetApp Files a virtuální počítače, kde se připojí prostředky Azure NetApp Files, musí být nasazené ve stejné virtuální síti Azure nebo v partnerských virtuálních sítích Azure.

  1. Vytvořte účet NetApp ve vybrané oblasti Azure podle pokynů k vytvoření účtu NetApp.
  2. Nastavte fond kapacity Služby Azure NetApp Files podle pokynů k nastavení fondu kapacity Služby Azure NetApp Files.
    Architektura SAP Netweaver uvedená v tomto článku používá jeden fond kapacity Azure NetApp Files, skladovou položku Premium. Pro úlohy aplikace SAP Netweaver v Azure doporučujeme skladovou položku Azure NetApp Files Premium.
  3. Delegujte podsíť do služby Azure NetApp Files, jak je popsáno v pokynech Delegování podsítě do služby Azure NetApp Files.
  4. Nasaďte svazky Azure NetApp Files podle pokynů k vytvoření svazku pro Azure NetApp Files. Nasaďte svazky v určené podsíti Azure NetApp Files. IP adresy svazků Azure NetApp se přiřazují automaticky. Mějte na paměti, že prostředky Azure NetApp Files a virtuální počítače Azure musí být ve stejné virtuální síti Azure nebo v partnerských virtuálních sítích Azure. V tomto příkladu používáme dva svazky Azure NetApp Files: sapQAS a trans. Cesty k souborům, které jsou připojené k odpovídajícím přípojným bodům, jsou /usrsapqas/sapmntQAS, /usrsap qas/usrsapQASsys atd.
    1. volume sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)
    2. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)
    3. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)
    4. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)
    5. multilicenční (nfs://10.1.0.4/trans)
    6. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)
    7. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)

V tomto příkladu jsme použili Azure NetApp Files pro všechny systémy souborů SAP Netweaver k předvedení toho, jak se dá použít Azure NetApp Files. Systémy souborů SAP, které není potřeba připojit přes systém souborů NFS, je možné nasadit také jako diskové úložiště Azure. V tomto příkladu musí být ve službě Azure NetApp Files a f-g (tj. /usr/sap/QAS/D02, /usr/sap/QAS/D03) jako diskové úložiště Azure.

Důležitá poznámka

Při zvažování služby Azure NetApp Files pro SAP Netweaver v architektuře vysoké dostupnosti SUSE mějte na paměti následující důležité aspekty:

  • Minimální fond kapacity je 4 TiB. Velikost fondu kapacity se dá zvětšit v přírůstcích po 1 TiB.
  • Minimální objem je 100 GiB.
  • Azure NetApp Files a všechny virtuální počítače, kde se připojí svazky Azure NetApp Files, musí být ve stejné virtuální síti Azure nebo v partnerských virtuálních sítích ve stejné oblasti. Přístup ke službě Azure NetApp Files přes partnerský vztah virtuálních sítí ve stejné oblasti se teď podporuje. Přístup k Azure NetApp přes globální partnerský vztah se zatím nepodporuje.
  • Vybraná virtuální síť musí mít podsíť delegovanou do služby Azure NetApp Files.
  • Charakteristiky propustnosti a výkonu svazku Azure NetApp Files jsou funkce kvóty svazku a úrovně služeb, jak je uvedeno na úrovni služby pro Azure NetApp Files. Při nastavování velikosti svazků SAP Azure NetApp se ujistěte, že výsledná propustnost splňuje požadavky aplikace.
  • Azure NetApp Files nabízí zásady exportu: můžete řídit povolené klienty, typ přístupu (čtení&zápis, jen pro čtení atd.).
  • Funkce Azure NetApp Files zatím není v zóně. V současné době není funkce Azure NetApp Files nasazená ve všech zónách dostupnosti v oblasti Azure. Mějte na paměti potenciální důsledky latence v některýchoblastechch
  • Svazky Azure NetApp Files je možné nasadit jako svazky NFSv3 nebo NFSv4.1. Oba protokoly jsou podporovány pro aplikační vrstvu SAP (ASCS/ERS, aplikační servery SAP).

Příprava infrastruktury

Agent prostředků pro instanci SAP je součástí SUSE Linux Enterprise Serveru pro aplikace SAP. Image pro SUSE Linux Enterprise Server pro SAP Applications 12 nebo 15 je k dispozici na Azure Marketplace. Image můžete použít k nasazení nových virtuálních počítačů.

Ruční nasazení virtuálních počítačů s Linuxem prostřednictvím webu Azure Portal

Tento dokument předpokládá, že jste už nasadili skupinu prostředků, virtuální síť Azure a podsíť.

Nasaďte virtuální počítače pomocí SLES pro image SAP Applications. Zvolte vhodnou verzi image SLES, která je podporovaná pro systém SAP. Virtuální počítač můžete nasadit v libovolné z možností dostupnosti – škálovací sada virtuálních počítačů, zóna dostupnosti nebo skupina dostupnosti.

Konfigurace nástroje pro vyrovnávání zatížení Azure

Během konfigurace virtuálního počítače máte možnost vytvořit nebo vybrat ukončení nástroje pro vyrovnávání zatížení v části Sítě. Podle následujících kroků nakonfigurujte standardní nástroj pro vyrovnávání zatížení pro nastavení systému SAP ASCS a SAP ERS s vysokou dostupností.

Postupujte podle průvodce vytvořením nástroje pro vyrovnávání zatížení a nastavte standardní nástroj pro vyrovnávání zatížení pro systém SAP s vysokou dostupností pomocí webu Azure Portal. Při nastavování nástroje pro vyrovnávání zatížení zvažte následující body.

  1. Konfigurace front-endové IP adresy: Vytvořte dvě front-endové IP adresy , jednu pro ASCS a druhou pro službu ERS. Vyberte stejnou virtuální síť a podsíť jako virtuální počítače ASCS/ERS.
  2. Back-endový fond: Vytvořte back-endový fond a přidejte virtuální počítače ASCS a ERS.
  3. Příchozí pravidla: Vytvořte dvě pravidlo vyrovnávání zatížení, jedno pro ASCS a druhé pro ERS. Pro obě pravidla vyrovnávání zatížení postupujte stejně.
    • IP adresa front-endu: Vyberte ip adresu front-endu.
    • Back-endový fond: Vyberte back-endový fond.
    • Zkontrolujte porty s vysokou dostupností.
    • Protokol: TCP
    • Sonda stavu: Vytvořte sondu stavu s následujícími podrobnostmi (platí pro ASCS nebo ERS).
      • Protokol: TCP
      • Port: [například: 620<Instance-no.> pro ASCS, 621<Instance-no.> pro ERS]
      • Interval: 5
      • Prahová hodnota sondy: 2
    • Časový limit nečinnosti (minuty): 30
    • Zaškrtněte políčko Povolit plovoucí IP adresu.

Poznámka:

Číslo vlastnosti konfigurace sondy stavuOfProbes, jinak označované jako "Prahová hodnota není v pořádku" na portálu, se nerespektuje. Chcete-li tedy řídit počet úspěšných nebo neúspěšných po sobě jdoucích sond, nastavte vlastnost probeThreshold na hodnotu 2. V současné době není možné tuto vlastnost nastavit pomocí webu Azure Portal, takže použijte příkaz Azure CLI nebo PowerShell .

Důležité

Plovoucí IP adresa není podporována v konfiguraci sekundární IP adresy síťové karty ve scénářích vyrovnávání zatížení. Podrobnosti najdete v tématu Omezení nástroje pro vyrovnávání zatížení Azure. Pokud potřebujete další IP adresu pro virtuální počítač, nasaďte druhou síťovou kartu.

Poznámka:

Pokud jsou virtuální počítače bez veřejných IP adres umístěny do back-endového fondu interního (bez veřejné IP adresy) služby Azure Load Balancer úrovně Standard, nebude k dispozici žádné odchozí připojení k internetu, pokud není provedena další konfigurace umožňující směrování do veřejných koncových bodů. Podrobnosti o tom, jak dosáhnout odchozího připojení, najdete v tématu Připojení k veřejnému koncovému bodu pro virtuální počítače pomocí Azure Standard Load Balanceru ve scénářích s vysokou dostupností SAP.

Důležité

  • Nepovolujte na virtuálních počítačích Azure umístěných za Azure Load Balancerem časové razítko TCP. Povolení časových razítek PROTOKOLU TCP způsobí selhání sond stavu. Nastavte parametr na net.ipv4.tcp_timestamps0. Podrobnosti najdete v sondách stavu Load Balanceru.
  • Pokud chcete zabránit tomu, aby saptune měnil hodnotu ručně nastavenou net.ipv4.tcp_timestamps zpět 0 na 1, měli byste aktualizovat verzi saptune na verzi 3.1.1 nebo vyšší. Další podrobnosti najdete v tématu saptune 3.1.1 – Musím aktualizovat?.

Zakázat mapování ID (pokud používáte NFSv4.1)

Pokyny v této části platí jenom v případě, že používáte svazky Azure NetApp Files s protokolem NFSv4.1. Proveďte konfiguraci na všech virtuálních počítačích, kde budou připojené svazky Azure NetApp Files NFSv4.1.

  1. Ověřte nastavení domény NFS. Ujistěte se, že je doména nakonfigurovaná jako výchozí doména Azure NetApp Files, defaultv4iddomain.com a mapování je nastavené na nikoho.

    Důležité

    Nezapomeňte na virtuálním počítači nastavit doménu /etc/idmapd.conf NFS tak, aby odpovídala výchozí konfiguraci domény ve službě Azure NetApp Files: defaultv4iddomain.com Pokud dojde k neshodě mezi konfigurací domény v klientovi NFS (tj. virtuálním počítači) a serverem NFS, tj. konfigurací Azure NetApp, zobrazí se oprávnění pro soubory na svazcích Azure NetApp připojených k virtuálním počítačům jako nobody.

    sudo cat /etc/idmapd.conf

# Example
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

  2. [A] Ověřte nfs4_disable_idmapping. Měla by být nastavená na Y. Pokud chcete vytvořit adresářovou strukturu, ve které nfs4_disable_idmapping se nachází, spusťte příkaz mount. Adresář v adresáři /sys/modules nebudete moct vytvořit ručně, protože přístup je vyhrazený pro jádro nebo ovladače.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 10.1.0.4:/sapmnt/qas /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

Nastavení (A)SCS

Dále připravíte a nainstalujete instance SAP ASCS a ERS.

Vytvoření clusteru Pacemaker

Postupujte podle kroků v nastavení Pacemakeru na SUSE Linux Enterprise Serveru v Azure a vytvořte základní cluster Pacemaker pro tento (A)SCS server.

Instalace

Následující položky mají předponu [A] – platí pro všechny uzly, [1] – platí pouze pro uzel 1 nebo [2] – platí pouze pro uzel 2.

  1. [A] Instalace Připojení oru SUSE

    sudo zypper install sap-suse-cluster-connector

    Poznámka:

    Známý problém s používáním pomlčky v názvech hostitelů je opravený ve verzi 3.1.1 balíčku sap-suse-cluster-connector. Ujistěte se, že používáte alespoň verzi 3.1.1 konektoru sap-suse-cluster-connector, pokud používáte uzly clusteru s pomlčkou v názvu hostitele. Jinak cluster nebude fungovat.

    Ujistěte se, že jste nainstalovali novou verzi konektoru clusteru SAP SUSE. Starý se nazývá sap_suse_cluster_connector a nový se nazývá sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector

# Information for package sap-suse-cluster-connector:
# ---------------------------------------------------
# Repository     : SLE-12-SP3-SAP-Updates
# Name           : sap-suse-cluster-connector
# Version        : 3.1.0-8.1
# Arch           : noarch
# Vendor         : SUSE LLC <https://www.suse.com/>
# Support Level  : Level 3
# Installed Size : 45.6 KiB
# Installed      : Yes
# Status         : up-to-date
# Source package : sap-suse-cluster-connector-3.1.0-8.1.src
# Summary        : SUSE High Availability Setup for SAP Products

  2. [A] Aktualizace agentů prostředků SAP

    K použití nové konfigurace popsané v tomto článku se vyžaduje oprava balíčku agentů prostředků. Pomocí následujícího příkazu můžete zkontrolovat, jestli je oprava už nainstalovaná.

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance

    Výstup by měl být podobný jako

    <parameter name="IS_ERS" unique="0" required="0">

    Pokud příkaz grep nenajde parametr IS_ERS, musíte nainstalovat opravu uvedenou na stránce pro stažení SUSE.

    # example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1

# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1

  3. [A] Nastavení překladu názvů hostitelů

    Můžete použít server DNS nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak používat soubor /etc/hosts. Nahraďte IP adresu a název hostitele v následujících příkazech.

    sudo vi /etc/hosts

    Do /etc/hosts vložte následující řádky. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of cluster node 1
10.1.1.18    anftstsapcl1
# IP address of cluster node 2
10.1.1.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
10.1.1.20    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
10.1.1.21    anftstsapers

  4. [1] Vytvořte adresáře SAP ve svazku Azure NetApp Files.

    Připojte dočasně svazek Azure NetApp Files na jeden z virtuálních počítačů a vytvořte adresáře SAP (cesty k souborům).

    # mount temporarily the volume
sudo mkdir -p /saptmp
# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.1.0.4:/sapQAS /saptmp
# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.1.0.4:/sapQAS /saptmp
# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas
# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

Příprava na instalaci SAP NetWeaveru

  1. [A] Vytvoření sdílených adresářů

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

  2. [A] Konfigurace autofs

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Pokud používáte NFSv3, vytvořte soubor s:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASsys

    Pokud používáte NFSv4.1, vytvořte soubor s:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASsys

    Poznámka:

    Při připojování svazků se ujistěte, že odpovídá verzi protokolu NFS svazků Azure NetApp Files. Pokud jsou svazky Azure NetApp Files vytvořené jako svazky NFSv3, použijte odpovídající konfiguraci NFSv3. Pokud jsou svazky Azure NetApp Files vytvořené jako svazky NFSv4.1, podle pokynů zakažte mapování ID a ujistěte se, že používáte odpovídající konfiguraci NFSv4.1. V tomto příkladu byly svazky Azure NetApp Files vytvořeny jako svazky NFSv3.

    Restartováním autofs připojte nové sdílené složky.

    sudo systemctl enable autofs
sudo service autofs restart

  3. [A] Konfigurace souboru SWAP

    sudo vi /etc/waagent.conf

# Check if property ResourceDisk.Format is already set to y and if not, set it
ResourceDisk.Format=y

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart

Instalace SAP NetWeaver ASCS/ERS

  1. [1] Vytvoření prostředku virtuální IP adresy a sondy stavu pro instanci ASCS

    Důležité

    Nedávné testování odhalilo situace, kdy netcat přestane reagovat na požadavky kvůli backlogu a jeho omezení zpracování pouze jednoho připojení. Prostředek netcat přestane naslouchat požadavkům azure Load Balanceru a plovoucí IP adresa přestane být k dispozici.
    Pro stávající clustery Pacemaker doporučujeme v minulosti nahradit netcat socat. V současné době doporučujeme používat agenta prostředků azure-lb, který je součástí agentů prostředků balíčku s následujícími požadavky na verzi balíčku:

    • Pro SLES 12 SP4/SP5 musí být verze alespoň resource-agents-4.3.018.a7fb5035-3.30.1.
    • Pro SLES 15/15 SP1 musí být verze alespoň resource-agents-4.3.0184.6ee15eb2-4.13.1.

    Upozorňujeme, že změna bude vyžadovat krátký výpadek.
    Pokud už konfigurace pro existující clustery Pacemaker změnila na použití socat, jak je popsáno v posílení zabezpečení detekce Nástroje pro vyrovnávání zatížení Azure, není nutné okamžitě přepnout na agenta prostředků azure-lb.

    sudo crm node standby anftstsapcl2

# If using NFSv3
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ASCS IPaddr2 \
  params ip=10.1.1.20 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ASCS fs_QAS_ASCS nc_QAS_ASCS vip_QAS_ASCS \
   meta resource-stickiness=3000

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo crm_mon -r

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
# 
# Full list of resources:
#
# Resource Group: g-QAS_ASCS
#     fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#     nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#     vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2

  2. [1] Instalace SAP NetWeaver ASCS

    Nainstalujte SAP NetWeaver ASCS jako kořen na první uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endu nástroje pro vyrovnávání zatížení pro službu ASCS, například anftstsapvh, 10.1.1.20 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 00.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu. K instalaci SAP můžete použít parametr SAPINST_USE_HOSTNAME pomocí názvu virtuálního hostitele.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Pokud se instalaci nepodaří vytvořit podsložku ve složce /usr/sap/QAS/ASCS00, zkuste nastavit vlastníka a skupinu složky ASCS00 a zkuste to znovu.

    chown qasadm /usr/sap/QAS/ASCS00
chgrp sapsys /usr/sap/QAS/ASCS00

  3. [1] Vytvořte prostředek virtuální IP adresy a sondu stavu pro instanci ERS.

    sudo crm node online anftstsapcl2
sudo crm node standby anftstsapcl1

# If using NFSv3
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ERS IPaddr2 \
  params ip=10.1.1.21 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ERS fs_QAS_ERS nc_QAS_ERS vip_QAS_ERS

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo crm_mon -r

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS  (ocf::heartbeat:IPaddr2):     Started anftstsapcl2

  4. [2] Instalace SAP NetWeaver ERS

    Nainstalujte SAP NetWeaver ERS jako kořen na druhý uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro službu ERS, například anftstsapers, 10.1.1.21 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 01.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu. K instalaci SAP můžete použít parametr SAPINST_USE_HOSTNAME pomocí názvu virtuálního hostitele.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Poznámka:

    Použijte SWPM SP 20 PL 05 nebo vyšší. Nižší verze nenastavují správně oprávnění a instalace selže.

    Pokud se instalaci nepodaří vytvořit podsložku ve složce /usr/sap/QAS/ERS01, zkuste nastavit vlastníka a skupinu složky ERS01 a zkuste to znovu.

    chown qasadm /usr/sap/QAS/ERS01
chgrp sapsys /usr/sap/QAS/ERS01

  5. [1] Přizpůsobení profilů instancí ASCS/SCS a ERS

    • Profil ASCS/SCS

      sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      V případě ENSA1 i ENSA2 se ujistěte, že keepalive jsou parametry operačního systému nastavené tak, jak je popsáno v poznámce SAP 1410736.

    • Profil ERS

      sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Konfigurace funkce Keep Alive

    Komunikace mezi aplikačním serverem SAP NetWeaver a ASCS/SCS se směruje přes nástroj pro vyrovnávání zatížení softwaru. Nástroj pro vyrovnávání zatížení po konfigurovatelném vypršení časového limitu odpojí neaktivní připojení. Abyste tomu zabránili, musíte nastavit parametr v profilu SAP NetWeaver ASCS/SCS, pokud používáte ENSA1, a změnit nastavení systému keepalive Linux na všech serverech SAP pro ENSA1/ENSA2. Další informace najdete v 1410736 SAP Note.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  7. [A] Konfigurace uživatelů SAP po instalaci

    # Add sidadm to the haclient group
sudo usermod -aG haclient qasadm

  8. [1] Přidejte do sapservice souboru služby ASCS a ERS SAP.

    Přidejte položku služby ASCS do druhého uzlu a zkopírujte položku služby ERS do prvního uzlu.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh anftstsapcl2 "cat >>/usr/sap/sapservices"
sudo ssh anftstsapcl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices

  9. [1] Vytvořte prostředky clusteru SAP.

    V závislosti na tom, jestli používáte systém ENSA1 nebo ENSA2, vyberte příslušnou kartu pro definování prostředků. SAP zavedl podporu pro ENSA2, včetně replikace, v SAP NetWeaver 7.52. Počínaje jazyk ABAP platformou 1809 je ensa2 ve výchozím nastavení nainstalovaný. Informace o podpoře ENSA2 najdete v tématu SAP Note 2630416.

    sudo crm configure property maintenance-mode="true"

# If using NFSv3
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=105 migration-threshold=1 priority=10

# If using NFSv3   
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01

sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
sudo crm configure location loc_sap_QAS_failover_to_ers rsc_sap_QAS_ASCS00 rule 2000: runs_ers_QAS eq 1
sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online anftstsapcl1
sudo crm configure property maintenance-mode="false"

Pokud upgradujete ze starší verze a přecházíte na enqueue server 2, prohlédněte si poznámku SAP 2641019.

Poznámka:

Vyšší časové limity, které se navrhují při použití NFSv4.1, jsou nezbytné kvůli pozastavení specifickému pro protokol, které souvisí s prodloužením zapůjčení NFSv4.1. Další informace najdete v tématu Nfs v osvědčených postupech NetApp.

Časový limit ve výše uvedené konfiguraci může být potřeba přizpůsobit konkrétnímu nastavení SAP.

Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

sudo crm_mon -r
  
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2

Příprava aplikačního serveru SAP NetWeaver

Některé databáze vyžadují, aby se instalace instance databáze spustila na aplikačním serveru. Připravte virtuální počítače aplikačního serveru, aby je v těchto případech mohly používat.

Kroky uvedené níže předpokládají, že nainstalujete aplikační server na server, který se liší od serverů ASCS/SCS a HANA. V opačném případě nejsou potřeba některé z následujících kroků (například konfigurace překladu názvů hostitelů).

Následující položky mají předponu [A] – platí pro PAS i AAS, [P] – platí pouze pro PAS nebo [S] – platí pouze pro AAS.

  1. [A] Konfigurace operačního systému

    Zmenšete velikost zašpiněné mezipaměti. Další informace najdete v tématu Nízký výkon zápisu na serverech SLES 11/12 s velkou pamětí RAM.

    sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800

  2. [A] Nastavení překladu názvů hostitelů

    Můžete použít server DNS nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak používat soubor /etc/hosts. Nahraďte IP adresu a název hostitele v následujících příkazech.

    sudo vi /etc/hosts

    Do /etc/hosts vložte následující řádky. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.1.1.20 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.1.1.21 anftstsapers
# IP address of all application servers
10.1.1.15 anftstsapa01
10.1.1.16 anftstsapa02

  3. [A] Vytvoření adresáře sapmnt

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

  4. [P] Vytvoření adresáře PAS

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

  5. [S] Vytvoření adresáře AAS

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

  6. [P] Konfigurace autofs na PAS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Pokud používáte NFSv3, vytvořte nový soubor s:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASpas

    Pokud používáte NFSv4.1, vytvořte nový soubor s:

    sudo vi /etc/auto.direct
# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASpas

    Restartováním autofs připojte nové sdílené složky.

    sudo systemctl enable autofs
sudo service autofs restart

  7. [P] Konfigurace autofs v AAS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Pokud používáte NFSv3, vytvořte nový soubor s:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASaas

    Pokud používáte NFSv4.1, vytvořte nový soubor s:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASaas

    Restartováním autofs připojte nové sdílené složky.

    sudo systemctl enable autofs
sudo service autofs restart

  8. [A] Konfigurace souboru SWAP

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart

Instalace databáze

V tomto příkladu se SAP NetWeaver nainstaluje do SAP HANA. Pro tuto instalaci můžete použít každou podporovanou databázi. Další informace o instalaci SAP HANA v Azure najdete v tématu Vysoká dostupnost SAP HANA na virtuálních počítačích Azure. Seznam podporovaných databází najdete v 1928533 SAP Note.

  • Spuštění instalace instance databáze SAP

    Nainstalujte instanci databáze SAP NetWeaver jako kořen pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endu nástroje pro vyrovnávání zatížení pro databázi.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Instalace aplikačního serveru SAP NetWeaver

Pokud chcete nainstalovat aplikační server SAP, postupujte podle těchto kroků.

  1. [A] Připravte aplikační server podle kroků v kapitole Příprava aplikačního serveru SAP NetWeaver výše a připravte aplikační server.

  2. [A] Nainstalujte aplikační server SAP NetWeaver Nainstalujte primární nebo další aplikační server SAP NetWeaver.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

  3. [A] Aktualizace zabezpečeného úložiště SAP HANA

    Aktualizujte zabezpečené úložiště SAP HANA tak, aby odkazovat na virtuální název instalace systémové replikace SAP HANA.

    Spuštěním následujícího příkazu zobrazte seznam položek.

    hdbuserstore List

    Měl by se zobrazit seznam všech položek a měl by vypadat nějak takto:

    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.1.1.5:30313
  USER: SAPABAP1
  DATABASE: QAS

    Výstup ukazuje, že IP adresa výchozí položky ukazuje na virtuální počítač, a ne na IP adresu nástroje pro vyrovnávání zatížení. Tuto položku je potřeba změnit tak, aby odkazovat na název virtuálního hostitele nástroje pro vyrovnávání zatížení. Ujistěte se, že používáte stejný port (30313 ve výstupu výše) a název databáze (QAS ve výstupu výše)!

    su - qasadm

hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>

Otestování nastavení clusteru

Důkladně otestujte cluster Pacemaker. Proveďte typické testy převzetí služeb při selhání.

Další kroky