Share via

Nastavení Pacemakeru v Red Hat Enterprise Linuxu v Azure

  • Článek

Tento článek popisuje, jak nakonfigurovat základní cluster Pacemaker na Red Hat Enterprise Serveru (RHEL). Pokyny zahrnují RHEL 7, RHEL 8 a RHEL 9.

Požadavky

Nejprve si přečtěte následující poznámky a dokumenty SAP:

Instalace clusteru

Diagram that shows an overview of Pacemaker on RHEL.

Poznámka:

Red Hat nepodporuje sledovací program emulovaný softwarem. Red Hat nepodporuje SBD na cloudových platformách. Další informace najdete v tématu Zásady podpory pro clustery s vysokou dostupností RHEL – sbd a fence_sbd.

Jediným podporovaným mechanismem pro clustery Pacemaker RHEL v Azure je agent plotu Azure.

Následující položky mají předponu:

  • [A]: Platí pro všechny uzly.
  • [1]: Platí pouze pro uzel 1.
  • [2]: Platí pouze pro uzel 2.

Rozdíly v příkazech nebo konfiguraci mezi RHEL 7 a RHEL 8/RHEL 9 jsou v dokumentu označené.

  1. [A] Zaregistrujte se. Tento krok je nepovinný. Pokud používáte image RHEL SAP HA, tento krok se nevyžaduje.

    Pokud například nasazujete na RHEL 7, zaregistrujte virtuální počítač a připojte ho k fondu, který obsahuje úložiště pro RHEL 7.

    sudo subscription-manager register
# List the available pools
sudo subscription-manager list --available --matches '*SAP*'
sudo subscription-manager attach --pool=<pool id>

    Když připojíte fond k imagi RHEL s průběžnýmiplatbýmimi Jednou se vám bude účtovat image s průběžnými platbou a jednou za nárok RHEL ve fondu, který připojíte. Pro zmírnění této situace teď Azure poskytuje image RHEL s vlastním předplatným. Další informace najdete v tématu Red Hat Enterprise Linux bring-your-own-subscription Azure images.

  2. [A] Povolte RHEL pro úložiště SAP. Tento krok je nepovinný. Pokud používáte image RHEL SAP HA, tento krok se nevyžaduje.

    Pokud chcete nainstalovat požadované balíčky na RHEL 7, povolte následující úložiště:

    sudo subscription-manager repos --disable "*"
sudo subscription-manager repos --enable=rhel-7-server-rpms
sudo subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms
sudo subscription-manager repos --enable=rhel-sap-for-rhel-7-server-rpms
sudo subscription-manager repos --enable=rhel-ha-for-rhel-7-server-eus-rpms

  3. [A] Nainstalujte doplněk RHEL HA.

     sudo yum install -y pcs pacemaker fence-agents-azure-arm nmap-ncat

    Důležité

    Pro zákazníky doporučujeme použít následující verze agenta azure plotu (nebo novější), aby mohli využívat rychlejší dobu převzetí služeb při selhání, pokud dojde k selhání nebo uzly clusteru už spolu nemůžou komunikovat:

    RHEL 7.7 nebo vyšší používá nejnovější dostupnou verzi balíčku plot-agents.

    RHEL 7.6: plot-agent-4.2.1-11.el7_6.8

    RHEL 7.5: plot-agent-4.0.11-86.el7_5.8

    RHEL 7.4: plot-agent-4.0.11-66.el7_4.12

    Další informace najdete v tématu Virtuální počítač Azure spuštěný jako člen clusteru s vysokou dostupností RHEL, který trvá velmi dlouhou dobu, než se virtuální počítač vypne, nebo dojde k selhání a vypršení časového limitu.

    Důležité

    Zákazníkům, kteří chtějí používat spravované identity pro prostředky Azure místo instančních názvů pro agenta plotu, doporučujeme následující verze agenta plotu (nebo novější):

    RHEL 8.4: plot-agent-4.2.1-54.el8.

    RHEL 8.2: plot-agent-4.2.1-41.el8_2.4

    RHEL 8.1: plot-agent-4.2.1-30.el8_1.4

    RHEL 7.9: plot-agent-4.2.1-41.el7_9.4.

    Důležité

    V RHEL 9 doporučujeme následující verze balíčků (nebo novější), abyste se vyhnuli problémům s agentem plotu Azure:

    plot-agents-4.10.0-20.el9_0.7

    plot-agents-common-4.10.0-20.el9_0.6

    ha-cloud-support-4.10.0-20.el9_0.6.x86_64.rpm

    Zkontrolujte verzi agenta plotu Azure. V případě potřeby ho aktualizujte na minimální požadovanou verzi nebo novější.

    # Check the version of the Azure Fence Agent
 sudo yum info fence-agents-azure-arm

    Důležité

    Pokud potřebujete aktualizovat agenta plotu Azure a pokud používáte vlastní roli, nezapomeňte aktualizovat vlastní roli tak, aby zahrnovala powerOff akce. Další informace najdete v tématu Vytvoření vlastní role pro plot agenta.

  4. Pokud nasazujete na RHEL 9, nainstalujte také agenty prostředků pro cloudové nasazení.

    sudo yum install -y resource-agents-cloud

  5. [A] Nastavte překlad názvů hostitelů.

    Můžete použít server DNS nebo upravit /etc/hosts soubor na všech uzlech. Tento příklad ukazuje, jak soubor používat /etc/hosts . V následujících příkazech nahraďte IP adresu a název hostitele.

    Důležité

    Pokud v konfiguraci clusteru používáte názvy hostitelů, je důležité mít spolehlivé překlad názvů hostitelů. Komunikace clusteru selže, pokud nejsou dostupné názvy, což může vést ke zpoždění převzetí služeb při selhání clusteru.

    Výhodou použití /etc/hosts je, že váš cluster je nezávislý na DNS, což může být také kritickým bodem selhání.

    sudo vi /etc/hosts

    Vložte následující řádky do /etc/hosts. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of the first cluster node
10.0.0.6 prod-cl1-0
# IP address of the second cluster node
10.0.0.7 prod-cl1-1

  6. [A] Změňte hacluster heslo na stejné heslo.

    sudo passwd hacluster

  7. [A] Přidejte pravidla brány firewall pro Pacemaker.

    Přidejte následující pravidla brány firewall do veškeré komunikace clusteru mezi uzly clusteru.

    sudo firewall-cmd --add-service=high-availability --permanent
sudo firewall-cmd --add-service=high-availability

  8. [A] Povolte základní služby clusteru.

    Spuštěním následujících příkazů povolte službu Pacemaker a spusťte ji.

    sudo systemctl start pcsd.service
sudo systemctl enable pcsd.service

  9. [1] Vytvořte cluster Pacemaker.

    Spuštěním následujících příkazů ověřte uzly a vytvořte cluster. Nastavte token na 30000, aby se povolila údržba zachování paměti. Další informace najdete v tomto článku pro Linux.

    Pokud vytváříte cluster na RHEL 7.x, použijte následující příkazy:

    sudo pcs cluster auth prod-cl1-0 prod-cl1-1 -u hacluster
sudo pcs cluster setup --name nw1-azr prod-cl1-0 prod-cl1-1 --token 30000
sudo pcs cluster start --all

    Pokud vytváříte cluster na RHEL 8.x/RHEL 9.x, použijte následující příkazy:

    sudo pcs host auth prod-cl1-0 prod-cl1-1 -u hacluster
sudo pcs cluster setup nw1-azr prod-cl1-0 prod-cl1-1 totem token=30000
sudo pcs cluster start --all

    Stav clusteru ověřte spuštěním následujícího příkazu:

    # Run the following command until the status of both nodes is online
sudo pcs status

# Cluster name: nw1-azr
# WARNING: no stonith devices and stonith-enabled is not false
# Stack: corosync
# Current DC: prod-cl1-1 (version 1.1.18-11.el7_5.3-2b07d5c5a9) - partition with quorum
# Last updated: Fri Aug 17 09:18:24 2018
# Last change: Fri Aug 17 09:17:46 2018 by hacluster via crmd on prod-cl1-1
#
# 2 nodes configured
# 0 resources configured
#
# Online: [ prod-cl1-0 prod-cl1-1 ]
#
# No resources
#
# Daemon Status:
#   corosync: active/disabled
#   pacemaker: active/disabled
#   pcsd: active/enabled

  10. [A] Nastavte očekávané hlasy.

    # Check the quorum votes 
pcs quorum status

# If the quorum votes are not set to 2, execute the next command
sudo pcs quorum expected-votes 2

    Tip

    Pokud vytváříte cluster s více uzly, tj. cluster s více než dvěma uzly, nenastavujte hlasy na 2.

  11. [1] Povolit souběžné akce plotu.

    sudo pcs property set concurrent-fencing=true

Vytvoření zařízení pro oplocení

Zařízení pro dělení používá spravovanou identitu pro prostředek Azure nebo instanční objekt k autorizaci v Azure.

Pokud chcete vytvořit spravovanou identitu (MSI), vytvořte spravovanou identitu přiřazenou systémem pro každý virtuální počítač v clusteru. Pokud už spravovaná identita přiřazená systémem existuje, použije se. V tuto chvíli nepoužívejte spravované identity přiřazené uživatelem s Pacemakerem. Plotové zařízení založené na spravované identitě je podporováno na RHEL 7.9 a RHEL 8.x/RHEL 9.x.

[1] Vytvoření vlastní role pro agenta plotu

Spravovaná identita i instanční objekt nemají ve výchozím nastavení oprávnění pro přístup k prostředkům Azure. Musíte udělit spravované identitě nebo instančnímu objektu oprávnění ke spuštění a zastavení (vypnutí) všech virtuálních počítačů clusteru. Pokud jste vlastní roli ještě nevytvořili, můžete ji vytvořit pomocí PowerShellunebo Azure CLI.

Pro vstupní soubor použijte následující obsah. Obsah musíte přizpůsobit svým předplatným, tedy nahradit xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx a yyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy id vašeho předplatného. Pokud máte pouze jedno předplatné, odeberte druhou položku v AssignableScopessouboru .

{
      "Name": "Linux Fence Agent Role",
      "description": "Allows to power-off and start virtual machines",
      "assignableScopes": [
              "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
              "/subscriptions/yyyyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy"
      ],
      "actions": [
              "Microsoft.Compute/*/read",
              "Microsoft.Compute/virtualMachines/powerOff/action",
              "Microsoft.Compute/virtualMachines/start/action"
      ],
      "notActions": [],
      "dataActions": [],
      "notDataActions": []
}

[A] Přiřazení vlastní role

Použijte spravovanou identitu nebo instanční objekt.

Přiřaďte vlastní roli Linux Fence Agent Role vytvořenou v poslední části ke každé spravované identitě virtuálních počítačů clusteru. Každá spravovaná identita přiřazená systémem virtuálního počítače potřebuje přiřazenou roli pro každý prostředek virtuálního počítače clusteru. Další informace najdete v tématu Přiřazení přístupu ke spravované identitě k prostředku pomocí webu Azure Portal. Ověřte, že přiřazení role spravované identity každého virtuálního počítače obsahuje všechny virtuální počítače clusteru.

Důležité

Mějte na paměti, že přiřazení a odebrání autorizace u spravovaných identit může být zpožděné až do účinnosti.

[1] Vytvoření zařízení pro šermování

Po úpravě oprávnění pro virtuální počítače můžete nakonfigurovat zařízení pro ohraničení v clusteru.

sudo pcs property set stonith-timeout=900

Poznámka:

Tato možnost pcmk_host_map se vyžaduje jenom v případě, že názvy hostitelů RHEL a názvy virtuálních počítačů Azure nejsou identické. Zadejte mapování ve formátu název hostitele:vm-name. V příkazu se podívejte na tučný oddíl. Další informace najdete v tématu Jaký formát mám použít k určení mapování uzlů na zařízení s ohraničením v pcmk_host_map?.

Pro RHEL 7.x pomocí následujícího příkazu nakonfigurujte plotové zařízení:

sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true resourceGroup="resource group" \ 
subscriptionId="subscription id" pcmk_host_map="prod-cl1-0:prod-cl1-0-vm-name;prod-cl1-1:prod-cl1-1-vm-name" \
power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
op monitor interval=3600

Pro RHEL 8.x/9.x pomocí následujícího příkazu nakonfigurujte plotové zařízení:

# Run following command if you are setting up fence agent on (two-node cluster and pacemaker version greater than 2.0.4-6.el8) OR (HANA scale out)
sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true resourceGroup="resource group" \
subscriptionId="subscription id" pcmk_host_map="prod-cl1-0:prod-cl1-0-vm-name;prod-cl1-1:prod-cl1-1-vm-name" \
power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 pcmk_monitor_retries=4 pcmk_action_limit=3 \
op monitor interval=3600

# Run following command if you are setting up fence agent on (two-node cluster and pacemaker version less than 2.0.4-6.el8)
sudo pcs stonith create rsc_st_azure fence_azure_arm msi=true resourceGroup="resource group" \
subscriptionId="subscription id" pcmk_host_map="prod-cl1-0:prod-cl1-0-vm-name;prod-cl1-1:prod-cl1-1-vm-name" \
power_timeout=240 pcmk_reboot_timeout=900 pcmk_monitor_timeout=120 pcmk_monitor_retries=4 pcmk_action_limit=3 pcmk_delay_max=15 \
op monitor interval=3600

Pokud používáte zařízení pro ohraničení založené na konfiguraci instančního objektu, přečtěte si informace o změně hlavního názvu služby (SPN) na clustery MSI pro clustery Pacemaker pomocí fencingu Azure a zjistěte, jak převést na konfiguraci spravované identity.

Tip

  • Abyste se vyhnuli plotovým závodům v clusteru pacemakeru se dvěma uzly, můžete nakonfigurovat vlastnost clusteru priority-fencing-delay . Tato vlastnost představuje další zpoždění při ohraničení uzlu, který má vyšší celkovou prioritu zdroje, když dojde ke scénáři rozděleného mozku. Další informace najdete v tématu Může Pacemaker ohražovat uzel clusteru s nejmenšími spuštěnými prostředky?.
  • Vlastnost priority-fencing-delay se vztahuje na Pacemaker verze 2.0.4-6.el8 nebo vyšší a v clusteru se dvěma uzly. Pokud nakonfigurujete vlastnost clusteru priority-fencing-delay , nemusíte tuto vlastnost nastavovat pcmk_delay_max . Pokud je ale verze Pacemaker menší než 2.0.4-6.el8, musíte vlastnost nastavit pcmk_delay_max .
  • Pokyny k nastavení vlastnosti clusteru priority-fencing-delay najdete v příslušných dokumentech SAP ASCS/ERS a SAP HANA pro vertikální navýšení kapacity.

Operace monitorování a šermování jsou deserializovány. V důsledku toho platí, že pokud je spuštěná operace monitorování a souběžná událost ohraničení, nedojde ke zpoždění převzetí služeb při selhání clusteru, protože operace monitorování je již spuštěná.

[1] Povolení použití zařízení pro oplocení

sudo pcs property set stonith-enabled=true

Tip

Agent plotu Azure vyžaduje odchozí připojení k veřejným koncovým bodům. Další informace spolu s možnými řešeními najdete v tématu Připojení veřejného koncového bodu pro virtuální počítače pomocí standardního nástroje pro vyrovnávání zatížení.

Konfigurace Pacemakeru pro naplánované události Azure

Azure nabízí naplánované události. Naplánované události se odesílají prostřednictvím služby metadat a umožňují aplikaci připravit se na tyto události.

Agent azure-events-az prostředků Pacemaker monitoruje naplánované události Azure. Pokud se zjistí události a agent prostředků určí, že je k dispozici jiný uzel clusteru, nastaví atribut stavu clusteru.

Pokud je atribut stavu clusteru nastavený pro uzel, omezení umístění aktivuje a všechny prostředky s názvy, které nezačínají health- , se migrují mimo uzel s naplánovanou událostí. Jakmile je ovlivněný uzel clusteru bez spuštěných prostředků clusteru, je naplánovaná událost potvrzena a může provést její akci, jako je restartování.

  1. [A] Ujistěte se, že je balíček pro azure-events-az agenta již nainstalovaný a aktuální.

    RHEL 8.x: sudo dnf info resource-agents
RHEL 9.x: sudo dnf info resource-agents-cloud

    Minimální požadavky na verzi:

    • RHEL 8.4: resource-agents-4.1.1-90.13
    • RHEL 8.6: resource-agents-4.9.0-16.9
    • RHEL 8.8: resource-agents-4.9.0-40.1
    • RHEL 9.0: resource-agents-cloud-4.10.0-9.6
    • RHEL 9.2 a novější: resource-agents-cloud-4.10.0-34.1

  2. [1] Nakonfigurujte prostředky v Pacemakeru.

    #Place the cluster in maintenance mode
sudo pcs property set maintenance-mode=true

  3. [1] Nastavte strategii stavu clusteru Pacemaker a omezení.

    sudo pcs property set node-health-strategy=custom
sudo pcs constraint location 'regexp%!health-.*' \
rule score-attribute='#health-azure' \
defined '#uname'

    Důležité

    Nedefinujte žádné další prostředky v clusteru počínaje health- prostředky popsanými v dalších krocích.

  4. [1] Nastavte počáteční hodnotu atributů clusteru. Spusťte pro každý uzel clusteru a pro prostředí se škálováním na více instancí, včetně virtuálního počítače tvůrce většiny.

    sudo crm_attribute --node prod-cl1-0 --name '#health-azure' --update 0
sudo crm_attribute --node prod-cl1-1 --name '#health-azure' --update 0

  5. [1] Nakonfigurujte prostředky v Pacemakeru. Ujistěte se, že zdroje začínají health-azurena .

    sudo pcs resource create health-azure-events \
ocf:heartbeat:azure-events-az op monitor interval=10s
sudo pcs resource clone health-azure-events allow-unhealthy-nodes=true

  6. Využít cluster Pacemaker z režimu údržby.

    sudo pcs property set maintenance-mode=false

  7. Vymažte všechny chyby během povolování a ověřte, že health-azure-events se prostředky úspěšně spustily na všech uzlech clusteru.

    sudo pcs resource cleanup

    První spuštění dotazu pro naplánované události může trvat až dvě minuty. Testování Pacemakeru s plánovanými událostmi může pro virtuální počítače clusteru používat akce restartování nebo opětovného nasazení. Další informace naleznete v tématu Naplánované události.

Volitelná konfigurace ohraničení

Tip

Tato část je použitelná pouze v případě, že chcete nakonfigurovat speciální šermovací zařízení fence_kdump.

Pokud potřebujete shromáždit diagnostické informace v rámci virtuálního počítače, může být užitečné nakonfigurovat jiné zařízení pro šermování na základě plotového agenta fence_kdump. Agent fence_kdump může zjistit, že uzel zadal zotavení po havárii kdump a může službě pro zotavení po havárii umožnit dokončení před vyvolání jiných metod dělení. Všimněte si, že fence_kdump při používání virtuálních počítačů Azure se nejedná o náhradu tradičních mechanismů plotu, jako je agent plotu Azure.

Důležité

Mějte na paměti, že pokud fence_kdump je nakonfigurované jako zařízení pro vyrovnávání na první úrovni, představuje zpoždění v operacích ohraničení a zpoždění při převzetí služeb při selhání prostředků aplikace.

Pokud dojde k úspěšnému zjištění výpisu stavu systému, oznamování se zpozdí, dokud se služba zotavení po havárii neskončí. Pokud je uzel, který selhal, nedostupný nebo pokud nereaguje, je ohraničení zpožděno podle času určeného časem, nakonfigurovaného počtu iterací a časového limitu fence_kdump . Další informace najdete v tématu Návody konfigurace fence_kdump v clusteru Red Hat Pacemaker?.

Navrhovaný fence_kdump časový limit může být potřeba přizpůsobit konkrétnímu prostředí.

Doporučujeme nakonfigurovat fence_kdump ohraničení pouze v případě, že je to potřeba ke shromažďování diagnostiky na virtuálním počítači a vždy v kombinaci s tradičními metodami plotu, jako je agent plotu Azure.

Následující články znalostní báze Red Hat obsahují důležité informace o konfiguraci fence_kdump šermování:

Spuštěním následujících volitelných kroků přidejte fence_kdump kromě konfigurace agenta plotu Azure konfiguraci jako první úroveň.

  1. [A] Ověřte, zda kdump je aktivní a nakonfigurovaná.

    systemctl is-active kdump
# Expected result
# active

  2. [A] Nainstalujte agenta plotu fence_kdump .

    yum install fence-agents-kdump

  3. [1] Vytvořte fence_kdump v clusteru zařízení pro ohraničení.

    pcs stonith create rsc_st_kdump fence_kdump pcmk_reboot_action="off" pcmk_host_list="prod-cl1-0 prod-cl1-1" timeout=30

  4. [1] Nakonfigurujte úrovně šermování tak, aby se nejprve zapojil mechanismus šermingu fence_kdump .

    pcs stonith create rsc_st_kdump fence_kdump pcmk_reboot_action="off" pcmk_host_list="prod-cl1-0 prod-cl1-1"
pcs stonith level add 1 prod-cl1-0 rsc_st_kdump
pcs stonith level add 1 prod-cl1-1 rsc_st_kdump
pcs stonith level add 2 prod-cl1-0 rsc_st_azure
pcs stonith level add 2 prod-cl1-1 rsc_st_azure

# Check the fencing level configuration 
pcs stonith level
# Example output
# Target: prod-cl1-0
# Level 1 - rsc_st_kdump
# Level 2 - rsc_st_azure
# Target: prod-cl1-1
# Level 1 - rsc_st_kdump
# Level 2 - rsc_st_azure

  5. [A] Povolte požadované porty pro fence_kdump průchod bránou firewall.

    firewall-cmd --add-port=7410/udp
firewall-cmd --add-port=7410/udp --permanent

  6. [A] Ujistěte se, že soubor obrázku initramfs obsahuje fence_kdump soubory a hosts soubory. Další informace najdete v tématu Návody konfigurace fence_kdump v clusteru Red Hat Pacemaker?.

    lsinitrd /boot/initramfs-$(uname -r)kdump.img | egrep "fence|hosts"
# Example output 
# -rw-r--r--   1 root     root          208 Jun  7 21:42 etc/hosts
# -rwxr-xr-x   1 root     root        15560 Jun 17 14:59 usr/libexec/fence_kdump_send

  7. [A] Proveďte konfiguraci/etc/kdump.conf, fence_kdump_nodes abyste se vyhnuli fence_kdump selhání s vypršením časového limitu pro některé kexec-tools verze. Další informace najdete v tématu fence_kdump vypršení časového limitu v případě, že fence_kdump_nodes není zadaný pomocí nástrojů kexec-tools verze 2.0.15 nebo novější a fence_kdump selže s časovým limitem po X sekundách v clusteru RHEL 6 nebo 7 s verzemi kexec-tools staršími než 2.0.14. Tady je uvedena příklad konfigurace clusteru se dvěma uzly. Po provedení změny musí /etc/kdump.confbýt image kdump znovu vygenerována. Pokud chcete službu znovu vygenerovat, restartujte kdump ji.

    vi /etc/kdump.conf
# On node prod-cl1-0 make sure the following line is added
fence_kdump_nodes  prod-cl1-1
# On node prod-cl1-1 make sure the following line is added
fence_kdump_nodes  prod-cl1-0

# Restart the service on each node
systemctl restart kdump

  8. Otestujte konfiguraci chybovým ukončením uzlu. Další informace najdete v tématu Návody konfigurace fence_kdump v clusteru Red Hat Pacemaker?.

    Důležité

    Pokud je cluster již produktivní, naplánujte test odpovídajícím způsobem, protože selhání uzlu má vliv na aplikaci.

    echo c > /proc/sysrq-trigger

Další kroky