Hoge beschikbaarheid van SAP HANA uitschaalsysteem in Red Hat Enterprise Linux

In dit artikel wordt beschreven hoe u een maximaal beschikbaar SAP HANA systeem implementeert in een uitschaalconfiguratie. De configuratie maakt specifiek gebruik van HANA-systeemreplicatie (HSR) en Pacemaker op virtuele Azure Red Hat Enterprise Linux-machines (VM's). Azure NetApp Files biedt de gedeelde bestandssystemen in de gepresenteerde architectuur en deze bestandssystemen worden gekoppeld via Network File System (NFS).

In de voorbeeldconfiguraties en installatieopdrachten is 03 het HANA-exemplaar en de HANA-systeem-id.HN1 De voorbeelden zijn gebaseerd op HANA 2.0 SP4 en Red Hat Enterprise Linux (RHEL) voor SAP 7.6.

Vereisten

Sommige lezers profiteren van het raadplegen van diverse SAP-notities en -resources voordat ze verdergaan met de onderwerpen in dit artikel:

Overzicht

Als u hoge beschikbaarheid van HANA wilt bereiken voor HANA-uitschaalinstallaties, kunt u HANA-systeemreplicatie configureren en de oplossing beveiligen met een Pacemaker-cluster om automatische failover toe te staan. Wanneer een actief knooppunt uitvalt, voert het cluster een failover uit van de HANA-resources naar de andere site.

In het volgende diagram bevinden zich drie HANA-knooppunten op elke site en een knooppunt van de meerderheidsmaker om een 'split-brain'-scenario te voorkomen. De instructies kunnen worden aangepast om meer VM's op te nemen als HANA DB-knooppunten.

Azure NetApp Files biedt het gedeelde HANA-bestandssysteem. /hana/shared Deze wordt gekoppeld via NFS v4.1 op elk HANA-knooppunt in dezelfde HANA-systeemreplicatiesite. Bestandssystemen /hana/data en /hana/log zijn lokale bestandssystemen en worden niet gedeeld tussen de HANA DB-knooppunten. SAP HANA wordt geïnstalleerd in niet-gedeelde modus.

Diagram of SAP HANA scale-out with HSR and Pacemaker cluster.

In het voorgaande diagram ziet u drie subnetten die worden weergegeven in één virtueel Azure-netwerk, volgens de aanbevelingen van het SAP HANA netwerk:

  • Voor clientcommunicatie: client 10.23.0.0/24
  • Voor interne communicatie tussen HANA-knooppunten: inter 10.23.1.128/26
  • Voor HANA-systeemreplicatie: hsr 10.23.1.192/26

Omdat /hana/data en /hana/log worden geïmplementeerd op lokale schijven, is het niet nodig om afzonderlijke subnets en afzonderlijke virtuele netwerkkaarten te implementeren voor communicatie met de opslag.

De Azure NetApp-volumes worden geïmplementeerd in een afzonderlijk subnet, gedelegeerd aan Azure NetApp Files: anf 10.23.1.0/26.

De infrastructuur instellen

In de volgende instructies wordt ervan uitgegaan dat u de resourcegroep, het virtuele Azure-netwerk met drie Azure-netwerksubnetten hebt gemaakt: clientinter en hsr.

Virtuele Linux-machines implementeren via de Azure Portal

  1. Implementeer de Azure-VM's. Implementeer zeven virtuele machines voor deze configuratie:

    • Drie virtuele machines die fungeren als HANA DB-knooppunten voor HANA-replicatiesite 1: hana-s1-db1, hana-s1-db2 en hana-s1-db3.
    • Drie virtuele machines die fungeren als HANA DB-knooppunten voor HANA-replicatiesite 2: hana-s2-db1, hana-s2-db2 en hana-s2-db3.
    • Een kleine virtuele machine die als meerderheidsmaker moet fungeren: hana-s-mm.

    De VM's die zijn geïmplementeerd als SAP DB HANA-knooppunten, moeten worden gecertificeerd door SAP for HANA, zoals gepubliceerd in de SAP HANA hardwaremap. Wanneer u de HANA DB-knooppunten implementeert, moet u een versneld netwerk selecteren.

    Voor het grootste knooppunt van de maker kunt u een kleine VM implementeren, omdat deze VM geen van de SAP HANA resources uitvoert. De meeste maker-VM wordt gebruikt in de clusterconfiguratie om een oneven aantal clusterknooppunten in een split-brain-scenario te bereiken. De meeste maker-VM's hebben slechts één virtuele netwerkinterface nodig in het client subnet in dit voorbeeld.

    Lokale beheerde schijven implementeren voor /hana/data en /hana/log. De minimaal aanbevolen opslagconfiguratie voor /hana/data en /hana/log wordt beschreven in SAP HANA opslagconfiguraties van Azure-VM's.

    Implementeer de primaire netwerkinterface voor elke VIRTUELE machine in het subnet van het client virtuele netwerk. Wanneer de VIRTUELE machine wordt geïmplementeerd via Azure Portal, wordt de naam van de netwerkinterface automatisch gegenereerd. In dit artikel verwijzen we naar de automatisch gegenereerde primaire netwerkinterfaces als hana-s1-db1-client, hana-s1-db2-client, hana-s1-db3-client, enzovoort. Deze netwerkinterfaces zijn gekoppeld aan het subnet van het client virtuele Azure-netwerk.

    Belangrijk

    Zorg ervoor dat het besturingssysteem dat u selecteert SAP-gecertificeerd is voor SAP HANA op de specifieke VM-typen die u gebruikt. Zie SAP HANA gecertificeerde IaaS-platforms voor een lijst met SAP HANA gecertificeerde VM-typen en besturingssysteemreleases voor deze typen. Zoom in op de details van het vermelde VM-type om de volledige lijst met SAP HANA ondersteunde besturingssysteemreleases voor dat type op te halen.

  2. Maak zes netwerkinterfaces, één voor elke virtuele HANA DB-machine, in het subnet van het inter virtuele netwerk (in dit voorbeeld hana-s1-db1-inter, hana-s1-db2-inter, hana-s1-db3-inter, hana-s2-db1-inter, hana-s2-db2-inter en hana-s2-db3-inter).

  3. Maak zes netwerkinterfaces, één voor elke virtuele HANA DB-machine, in het subnet van het hsr virtuele netwerk (in dit voorbeeld hana-s1-db1-hsr, hana-s1-db2-hsr, hana-s1-db3-hsr, hana-s2-db1-hsr, hana-s2-hsr en hana-s2-db3-hsr).

  4. Koppel de zojuist gemaakte virtuele netwerkinterfaces aan de bijbehorende virtuele machines:

    1. Ga naar de virtuele machine in de Azure Portal.

    2. Selecteer Virtual Machines in het linkerdeelvenster. Filter op de naam van de virtuele machine (bijvoorbeeld hana-s1-db1) en selecteer vervolgens de virtuele machine.

    3. Selecteer in het deelvenster Overzichtde optie Stoppen om de toewijzing van de virtuele machine ongedaan te maken.

    4. Selecteer Netwerken en koppel vervolgens de netwerkinterface. Selecteer in de vervolgkeuzelijst Netwerkinterface koppelen de al gemaakte netwerkinterfaces voor de inter en hsr subnetten.

    5. Selecteer Opslaan.

    6. Herhaal stap b tot en met e voor de resterende virtuele machines (in ons voorbeeld hana-s1-db2, hana-s1-db3, hana-s2-db1, hana-s2-db2 en hana-s2-db3).

    7. Laat de virtuele machines voorlopig gestopt.

  5. Schakel versneld netwerken in voor de extra netwerkinterfaces voor de inter en hsr subnetten door het volgende te doen:

    1. Open Azure Cloud Shell in de Azure Portal.

    2. Voer de volgende opdrachten uit om versneld netwerken in te schakelen voor de extra netwerkinterfaces die zijn gekoppeld aan de inter en hsr subnetten.

    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-inter --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-inter --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-inter --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-inter --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-inter --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-inter --accelerated-networking true
    
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-hsr --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-hsr --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-hsr --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-hsr --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-hsr --accelerated-networking true
    az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-hsr --accelerated-networking true
    
  6. Startmenu de virtuele HANA DB-machines.

Azure Load Balancer implementeren

U kunt de standard load balancer het beste gebruiken. U doet dit als volgt:

  1. Een front-end-IP-adresgroep maken:

    1. Open de load balancer, selecteer front-end-IP-pool en selecteer Toevoegen.
    2. Voer de naam in van de nieuwe front-end-IP-pool (bijvoorbeeld hana-front-end).
    3. Stel de toewijzing in op Statisch en voer het IP-adres in (bijvoorbeeld 10.23.0.18).
    4. Selecteer OK.
    5. Nadat de nieuwe front-end-IP-adresgroep is gemaakt, noteert u het IP-adres van de pool.
  2. Maak een back-endpool en voeg alle cluster-VM's toe aan de back-endpool:

    1. Open de load balancer, selecteer back-endpools en selecteer Toevoegen.
    2. Voer de naam in van de nieuwe back-endpool (bijvoorbeeld hana-back-end).
    3. Selecteer Een virtuele machine> toevoegen.
    4. Selecteer de virtuele machines van het SAP HANA-cluster en hun IP-adressen voor het client subnet.
    5. Selecteer Toevoegen.
  3. Een statustest maken:

    1. Open de load balancer, selecteer statustests en selecteer Toevoegen.
    2. Voer de naam in van de nieuwe statustest (bijvoorbeeld hana-hp).
    3. Selecteer TCP als protocol en poort 62503. Houd de intervalwaarde ingesteld op 5 en de drempelwaarde voor slechte status is ingesteld op 2.
    4. Selecteer OK.
  4. Maak de taakverdelingsregels:

    1. Open de load balancer, selecteer taakverdelingsregels en selecteer Toevoegen.
    2. Voer de naam in van de nieuwe load balancer-regel (bijvoorbeeld hana-lb).
    3. Selecteer het front-end-IP-adres, de back-endpool en de statustest die u eerder hebt gemaakt (bijvoorbeeld hana-front-end, hana-backend en hana-hp).
    4. Selecteer HA-poorten.
    5. Zorg ervoor dat u zwevend IP-adres inschakelt.
    6. Selecteer OK.

    Belangrijk

    Zwevend IP-adres wordt niet ondersteund in een secundaire IP-configuratie van een NIC in scenario's voor taakverdeling. Zie Azure Load Balancer beperkingen voor meer informatie. Als u een extra IP-adres voor de VIRTUELE machine nodig hebt, implementeert u een tweede NIC.

Wanneer u de standaard load balancer gebruikt, moet u rekening houden met de volgende beperking. Wanneer u VIRTUELE machines zonder openbare IP-adressen in de back-endpool van een interne load balancer plaatst, is er geen uitgaande internetverbinding. Als u routering naar openbare eindpunten wilt toestaan, moet u aanvullende configuratie uitvoeren. Zie Openbare eindpuntconnectiviteit voor Virtual Machines met behulp van Azure Standard Load Balancer in scenario's met hoge beschikbaarheid van SAP voor meer informatie.

Belangrijk

Schakel TCP-tijdstempels niet in op Azure-VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, mislukken de statustests. Stel de parameter in net.ipv4.tcp_timestamps op 0. Zie Load Balancer statustests en SAP-notitie 2382421 voor meer informatie.

De Azure NetApp Files-infrastructuur implementeren

Implementeer de Azure NetApp Files volumes voor het /hana/shared bestandssysteem. U hebt een afzonderlijk /hana/shared volume nodig voor elke HANA-systeemreplicatiesite. Zie De Azure NetApp Files-infrastructuur instellen voor meer informatie.

In dit voorbeeld gebruikt u de volgende Azure NetApp Files volumes:

  • volume HN1-shared-s1 (nfs://10.23.1.7/ HN1-shared-s1)
  • volume HN1-shared-s2 (nfs://10.23.1.7/ HN1-shared-s2)

Configuratie en voorbereiding van het besturingssysteem

De instructies in de volgende secties worden voorafgegaan door een van de volgende afkortingen:

  • [A]: Van toepassing op alle knooppunten
  • [AH]: van toepassing op alle HANA DB-knooppunten
  • [M]: van toepassing op het knooppunt van de meerderheidsmaker
  • [AH1]: Van toepassing op alle HANA DB-knooppunten op SITE 1
  • [AH2]: Van toepassing op alle HANA DB-knooppunten op SITE 2
  • [1]: alleen van toepassing op HANA DB-knooppunt 1, SITE 1
  • [2]: Alleen van toepassing op HANA DB-knooppunt 1, SITE 2

Configureer en bereid uw besturingssysteem als volgt voor:

  1. [A] Onderhoud de hostbestanden op de virtuele machines. Vermeldingen voor alle subnetten opnemen. De volgende vermeldingen worden toegevoegd aan /etc/hosts dit voorbeeld.

     # Client subnet
     10.23.0.11 hana-s1-db1
     10.23.0.12 hana-s1-db1
     10.23.0.13 hana-s1-db2
     10.23.0.14 hana-s2-db1
     10.23.0.15 hana-s2-db2
     10.23.0.16 hana-s2-db3
     10.23.0.17 hana-s-mm
     # Internode subnet
     10.23.1.138 hana-s1-db1-inter
     10.23.1.139 hana-s1-db2-inter
     10.23.1.140 hana-s1-db3-inter
     10.23.1.141 hana-s2-db1-inter
     10.23.1.142 hana-s2-db2-inter
     10.23.1.143 hana-s2-db3-inter
     # HSR subnet
     10.23.1.202 hana-s1-db1-hsr
     10.23.1.203 hana-s1-db2-hsr
     10.23.1.204 hana-s1-db3-hsr
     10.23.1.205 hana-s2-db1-hsr
     10.23.1.206 hana-s2-db2-hsr
     10.23.1.207 hana-s2-db3-hsr
    
  2. [A] Bereid het besturingssysteem voor op het uitvoeren van SAP HANA. Zie SAP-opmerking 3024346 - Linux-kernel Instellingen voor NetApp NFS voor meer informatie. Maak configuratiebestand /etc/sysctl.d/netapp-hana.conf voor de Azure NetApp Files configuratie-instellingen.

    
     vi /etc/sysctl.d/netapp-hana.conf
     # Add the following entries in the configuration file
     net.core.rmem_max = 16777216
     net.core.wmem_max = 16777216
     net.ipv4.tcp_rmem = 4096 131072 16777216
     net.ipv4.tcp_wmem = 4096 16384 16777216
     net.core.netdev_max_backlog = 300000 
     net.ipv4.tcp_slow_start_after_idle=0 
     net.ipv4.tcp_no_metrics_save = 1
     net.ipv4.tcp_moderate_rcvbuf = 1
     net.ipv4.tcp_window_scaling = 1    
     net.ipv4.tcp_sack = 1
     
  3. [A] Maak configuratiebestand /etc/sysctl.d/ms-az.conf met aanvullende optimalisatie-instellingen.

    
     vi /etc/sysctl.d/ms-az.conf
     # Add the following entries in the configuration file
     net.ipv6.conf.all.disable_ipv6 = 1
     net.ipv4.tcp_max_syn_backlog = 16348
     net.ipv4.conf.all.rp_filter = 0
     sunrpc.tcp_slot_table_entries = 128
     vm.swappiness=10
     

    Tip

    Vermijd het instellen net.ipv4.ip_local_port_range en net.ipv4.ip_local_reserved_ports expliciet in de sysctl configuratiebestanden, zodat de SAP-hostagent de poortbereiken kan beheren. Zie SAP-notitie 2382421 voor meer informatie.

  4. [A] Pas de sunrpc instellingen aan, zoals wordt aanbevolen in SAP-notitie 3024346 - Linux-kernel Instellingen voor NetApp NFS.

    
     vi /etc/modprobe.d/sunrpc.conf
     # Insert the following line
     options sunrpc tcp_max_slot_table_entries=128
     
  5. [A] Installeer het NFS-clientpakket.

    yum install nfs-utils

  6. [AH] Red Hat voor HANA-configuratie.

    Configureer RHEL, zoals beschreven in de Red Hat-klantportal en in de volgende SAP-opmerkingen:

De bestandssystemen voorbereiden

De volgende secties bevatten stappen voor het voorbereiden van uw bestandssystemen.

De gedeelde bestandssystemen koppelen

In dit voorbeeld worden de gedeelde HANA-bestandssystemen geïmplementeerd op Azure NetApp Files en gekoppeld via NFS v4.

  1. [AH] Koppelpunten maken voor de HANA-databasevolumes.

    mkdir -p /hana/shared
    
  2. [AH] Controleer de NFS-domeininstelling. Zorg ervoor dat het domein is geconfigureerd als het standaarddomein Azure NetApp Files: defaultv4iddomain.com. Zorg ervoor dat de toewijzing is ingesteld op nobody.
    (Deze stap is alleen nodig als u Azure NetAppFiles NFS v4.1 gebruikt.)

    Belangrijk

    Zorg ervoor dat het NFS-domein op /etc/idmapd.conf de VIRTUELE machine overeenkomt met de standaarddomeinconfiguratie op Azure NetApp Files: defaultv4iddomain.com. Als de domeinconfiguratie op de NFS-client en de NFS-server niet overeenkomt, worden de machtigingen voor bestanden op Azure NetApp-volumes die zijn gekoppeld op de VM's weergegeven als nobody.

    sudo cat /etc/idmapd.conf
    # Example
    [General]
    Domain = defaultv4iddomain.com
    [Mapping]
    Nobody-User = nobody
    Nobody-Group = nobody
    
  3. [AH] Controleer nfs4_disable_idmapping. Deze moet worden ingesteld op Y. Voer de koppelingsopdracht uit om de mapstructuur te maken.nfs4_disable_idmapping U kunt de map niet handmatig maken onder /sys/modules, omdat de toegang is gereserveerd voor de kernel of stuurprogramma's.
    Deze stap is alleen nodig als u Azure NetAppFiles NFSv4.1 gebruikt.

    # Check nfs4_disable_idmapping 
    cat /sys/module/nfs/parameters/nfs4_disable_idmapping
    # If you need to set nfs4_disable_idmapping to Y
    mkdir /mnt/tmp
    mount 10.9.0.4:/HN1-shared /mnt/tmp
    umount  /mnt/tmp
    echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
    # Make the configuration permanent
    echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
    

    Zie de Red Hat-klantportal voor meer informatie over het wijzigen van de nfs4_disable_idmapping parameter.

  4. [AH1] Koppel de gedeelde Azure NetApp Files volumes op de SITE1 HANA DB-VM's.

    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.23.1.7:/HN1-shared-s1 /hana/shared
    
  5. [AH2] Koppel de gedeelde Azure NetApp Files volumes op de SITE2 HANA DB-VM's.

    sudo mount -o rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys 10.23.1.7:/HN1-shared-s2 /hana/shared
    
  6. [AH] Controleer of de bijbehorende /hana/shared/ bestandssystemen zijn gekoppeld op alle HANA DB-VM's, met versie NFSv4 van het NFS-protocol.

    sudo nfsstat -m
    # Verify that flag vers is set to 4.1 
    # Example from SITE 1, hana-s1-db1
    /hana/shared from 10.23.1.7:/HN1-shared-s1
     Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.11,local_lock=none,addr=10.23.1.7
    # Example from SITE 2, hana-s2-db1
    /hana/shared from 10.23.1.7:/HN1-shared-s2
     Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.14,local_lock=none,addr=10.23.1.7
    

De lokale bestandssystemen voor gegevens en logboeken voorbereiden

In de gepresenteerde configuratie implementeert u bestandssystemen /hana/data en /hana/log op een beheerde schijf en koppelt u deze bestandssystemen lokaal aan elke HANA DB-VM. Voer de volgende stappen uit om de lokale gegevens en logboekvolumes te maken op elke virtuele machine van HANA DB.

Stel de schijfindeling in met LVM (Logical Volume Manager). In het volgende voorbeeld wordt ervan uitgegaan dat elke virtuele HANA-machine drie gegevensschijven heeft gekoppeld en dat deze schijven worden gebruikt om twee volumes te maken.

  1. [AH] Geef alle beschikbare schijven weer:

    ls /dev/disk/azure/scsi1/lun*
    

    Voorbeelduitvoer:

    /dev/disk/azure/scsi1/lun0  /dev/disk/azure/scsi1/lun1  /dev/disk/azure/scsi1/lun2 
    
  2. [AH] Maak fysieke volumes voor alle schijven die u wilt gebruiken:

    sudo pvcreate /dev/disk/azure/scsi1/lun0
    sudo pvcreate /dev/disk/azure/scsi1/lun1
    sudo pvcreate /dev/disk/azure/scsi1/lun2
    
  3. [AH] Maak een volumegroep voor de gegevensbestanden. Gebruik één volumegroep voor de logboekbestanden en één voor de gedeelde map van SAP HANA:

    sudo vgcreate vg_hana_data_HN1 /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1
    sudo vgcreate vg_hana_log_HN1 /dev/disk/azure/scsi1/lun2
    
  4. [AH] Maak de logische volumes. Er wordt een lineair volume gemaakt wanneer u zonder de -i schakelaar gebruiktlvcreate. We raden u aan om een gestreept volume te maken voor betere I/O-prestaties. Lijn de stripegrootten uit op de waarden die worden beschreven in SAP HANA VM-opslagconfiguraties. Het -i argument moet het aantal onderliggende fysieke volumes zijn en het -I argument is de stripegrootte. In dit artikel worden twee fysieke volumes gebruikt voor het gegevensvolume, dus het -i schakelargument is ingesteld op 2. De stripegrootte voor het gegevensvolume is 256 KiB. Er wordt één fysiek volume gebruikt voor het logboekvolume, dus u hoeft geen expliciete -i switches -I te gebruiken voor de logboekvolumeopdrachten.

    Belangrijk

    Gebruik de schakeloptie en stel deze -i in op het nummer van het onderliggende fysieke volume wanneer u meer dan één fysiek volume gebruikt voor elk gegevens- of logboekvolume. Gebruik de -I schakeloptie om de stripegrootte op te geven wanneer u een gestreept volume maakt. Zie SAP HANA VM-opslagconfiguraties voor aanbevolen opslagconfiguraties, waaronder stripegrootten en het aantal schijven.

    sudo lvcreate -i 2 -I 256 -l 100%FREE -n hana_data vg_hana_data_HN1
    sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_HN1
    sudo mkfs.xfs /dev/vg_hana_data_HN1/hana_data
    sudo mkfs.xfs /dev/vg_hana_log_HN1/hana_log
    
  5. [AH] Maak de koppelmappen en kopieer de UUID van alle logische volumes:

    sudo mkdir -p /hana/data/HN1
    sudo mkdir -p /hana/log/HN1
    # Write down the ID of /dev/vg_hana_data_HN1/hana_data and /dev/vg_hana_log_HN1/hana_log
    sudo blkid
    
  6. [AH] Vermeldingen fstab voor de logische volumes maken en koppelen:

    sudo vi /etc/fstab
    

    Voeg de volgende regel in het /etc/fstab bestand in:

    /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_data_HN1-hana_data /hana/data/HN1 xfs  defaults,nofail  0  2
    /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_log_HN1-hana_log /hana/log/HN1 xfs  defaults,nofail  0  2
    

    Koppel de nieuwe volumes:

    sudo mount -a
    

Installatie

In dit voorbeeld voor het implementeren van SAP HANA in een uitschaalconfiguratie met HSR op Azure-VM's gebruikt u HANA 2.0 SP4.

HANA-installatie voorbereiden

  1. [AH] Voordat de HANA-installatie wordt uitgevoerd, stelt u het hoofdwachtwoord in. U kunt het hoofdwachtwoord uitschakelen nadat de installatie is voltooid. Voer als root opdracht passwd uit om het wachtwoord in te stellen.

  2. [1,2] Wijzig de machtigingen voor /hana/shared.

    chmod 775 /hana/shared
    
  3. [1] Controleer of u zich kunt aanmelden bij hana-s1-db2 en hana-s1-db3 via secure shell (SSH), zonder dat u om een wachtwoord wordt gevraagd. Als dat niet het geval is, wisselt ssh u sleutels uit, zoals beschreven in Verificatie op basis van sleutels.

    ssh root@hana-s1-db2
    ssh root@hana-s1-db3
    
  4. [2] Controleer of u zich kunt aanmelden bij hana-s2-db2 en hana-s2-db3 via SSH, zonder dat u om een wachtwoord wordt gevraagd. Als dat niet het geval is, wisselt ssh u sleutels uit, zoals beschreven in Verificatie op basis van sleutels.

    ssh root@hana-s2-db2
    ssh root@hana-s2-db3
    
  5. [AH] Installeer aanvullende pakketten, die vereist zijn voor HANA 2.0 SP4. Zie SAP Note 2593824 voor RHEL 7 voor meer informatie.

    # If using RHEL 7
    yum install libgcc_s1 libstdc++6 compat-sap-c++-7 libatomic1
    # If using RHEL 8
    yum install libatomic libtool-ltdl.x86_64
    
  6. [A] Schakel de firewall tijdelijk uit, zodat deze de HANA-installatie niet verstoort. U kunt deze opnieuw inschakelen nadat de HANA-installatie is voltooid.

    # Execute as root
    systemctl stop firewalld
    systemctl disable firewalld
    

HANA-installatie op het eerste knooppunt op elke site

  1. [1] Installeer SAP HANA door de instructies in de installatie- en updatehandleiding van SAP HANA 2.0 te volgen. In de volgende instructies ziet u de SAP HANA installatie op het eerste knooppunt op SITE 1.

    1. Startmenu het hdblcm programma op root basis van de HANA-installatiesoftwaremap. Gebruik de internal_network parameter en geef de adresruimte door voor het subnet, dat wordt gebruikt voor de interne communicatie tussen HANA-knooppunten.

      ./hdblcm --internal_network=10.23.1.128/26
      
    2. Voer bij de prompt de volgende waarden in:

    • Voer voor Een actie kiezen1 in (voor installatie).
    • Voer 2, 3 in voor aanvullende onderdelen voor installatie.
    • Druk voor het installatiepad op Enter (standaard ingesteld op /hana/shared).
    • Druk voor de lokale hostnaam op Enter om de standaardwaarde te accepteren.
    • Voer n in als u hosts wilt toevoegen aan het systeem?.
    • Voer voor SAP HANA Systeem-idHN1 in.
    • Voer bijvoorbeeld nummer [00] 03 in.
    • Druk voor lokale hostwerkgroep [standaard]op Enter om de standaardwaarde te accepteren.
    • Voer voor Systeemgebruik selecteren /Index invoeren [4], voer 4 in (voor aangepast).
    • Voor Locatie van gegevensvolumes [/hana/data/HN1], drukt u op Enter om de standaardwaarde te accepteren.
    • Voor locatie van logboekvolumes [/hana/log/HN1], drukt u op Enter om de standaardwaarde te accepteren.
    • Voor Maximale geheugentoewijzing beperken? [n], voert u n in.
    • Voor de naam van de certificaathost voor host hana-s1-db1 [hana-s1-db1], drukt u op Enter om de standaardwaarde te accepteren.
    • Voer het wachtwoord in voor sap Host Agent User (sapadm).
    • Voer het wachtwoord in om het wachtwoord van de SAP Host Agent-gebruiker (sapadm) te bevestigen.
    • Voer voor hn1adm-wachtwoord (hn1adm) het wachtwoord in.
    • Voor systeembeheerder Home Directory [/usr/sap/HN1/home], drukt u op Enter om de standaardwaarde te accepteren.
    • Druk voor systeembeheerdersaanmeldingsshell [/bin/sh] op Enter om de standaardwaarde te accepteren.
    • Voor de gebruikers-id van de systeembeheerder [1001] drukt u op Enter om de standaardwaarde te accepteren.
    • Voor Enter-id van gebruikersgroep (sapsys) [79], drukt u op Enter om de standaardwaarde te accepteren.
    • Voer het wachtwoord van de systeemdatabasegebruiker (systeem) in voor het wachtwoord van de systeemdatabase.
    • Voer het wachtwoord van het systeemdatabasegebruiker (systeem) in als u het wachtwoord van de systeemdatabase wilt bevestigen.
    • Als u het systeem opnieuw wilt opstarten nadat de computer opnieuw is opgestart? [n], voert u n in.
    • Als u wilt doorgaan (y/n), valideert u de samenvatting en als alles er goed uitziet, voert u y in.
  2. [2] Herhaal de vorige stap om SAP HANA te installeren op het eerste knooppunt op SITE 2.

  3. [1,2] Controleer global.ini.

    Geef global.iniweer en zorg ervoor dat de configuratie voor de interne SAP HANA communicatie tussen knooppunten aanwezig is. Controleer de communication sectie. Deze moet de adresruimte voor het inter subnet hebben en listeninterface moet worden ingesteld op .internal. Controleer de internal_hostname_resolution sectie. Het moet de IP-adressen hebben voor de virtuele HANA-machines die deel uitmaken van het inter subnet.

      sudo cat /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
      # Example from SITE1 
      [communication]
      internal_network = 10.23.1.128/26
      listeninterface = .internal
      [internal_hostname_resolution]
      10.23.1.138 = hana-s1-db1
      10.23.1.139 = hana-s1-db2
      10.23.1.140 = hana-s1-db3
    
  4. [1,2] Bereid global.ini voor op installatie in een niet-gedeelde omgeving, zoals beschreven in SAP note 2080991.

     sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
     [persistence]
     basepath_shared = no
    
  5. [1,2] Start SAP HANA opnieuw om de wijzigingen te activeren.

     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem
     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem
    
  6. [1,2] Controleer of de clientinterface de IP-adressen van het client subnet gebruikt voor communicatie.

    # Execute as hn1adm
    /usr/sap/HN1/HDB03/exe/hdbsql -u SYSTEM -p "password" -i 03 -d SYSTEMDB 'select * from SYS.M_HOST_INFORMATION'|grep net_publicname
    # Expected result - example from SITE 2
    "hana-s2-db1","net_publicname","10.23.0.14"
    

    Zie SAP Note 2183363 - Configuratie van SAP HANA intern netwerk voor meer informatie over het controleren van de configuratie.

  7. [AH] Wijzig machtigingen voor de gegevens en logboekmappen om een HANA-installatiefout te voorkomen.

     sudo chmod o+w -R /hana/data /hana/log
    
  8. [1] Installeer de secundaire HANA-knooppunten. De voorbeeldinstructies in deze stap zijn voor SITE 1.

    1. Startmenu het resident hdblcm programma als root.

       cd /hana/shared/HN1/hdblcm
       ./hdblcm 
      
    2. Voer bij de prompt de volgende waarden in:

    • Voer voor Een actie kiezen2 in (voor hosts toevoegen).
    • Als u door komma's gescheiden hostnamen wilt toevoegen, voert u hana-s1-db2, hana-s1-db3 in.
    • Voer 2, 3 in voor aanvullende onderdelen voor installatie.
    • Druk voor Enter Root User Name [root] op Enter om de standaardwaarde te accepteren.
    • Voor Rollen selecteren voor host 'hana-s1-db2' [1], selecteert u 1 (voor werkrol).
    • Voor Enter hostfailovergroep voor host 'hana-s1-db2' [standaard], drukt u op Enter om de standaardwaarde te accepteren.
    • Voor Enter Storage partitienummer voor host 'hana-s1-db2' [<<automatisch>> toewijzen], drukt u op Enter om de standaardwaarde te accepteren.
    • Druk voor Enter Worker Group voor host 'hana-s1-db2' [standaard], op Enter om de standaardwaarde te accepteren.
    • Voor Rollen selecteren voor host 'hana-s1-db3' [1], selecteert u 1 (voor werkrol).
    • Voor Enter Host Failover Group voor host 'hana-s1-db3' [standaard], drukt u op Enter om de standaardwaarde te accepteren.
    • Voor Enter Storage partitienummer voor host 'hana-s1-db3' [<<automatisch>> toewijzen], drukt u op Enter om de standaardwaarde te accepteren.
    • Voor Enter Worker Group voor host 'hana-s1-db3' [standaard], drukt u op Enter om de standaardwaarde te accepteren.
    • Voer voor hn1adm-wachtwoord (hn1adm) het wachtwoord in.
    • Voer het wachtwoord in voor Het invoeren van het wachtwoord van de SAP Host Agent-gebruiker (sapadm).
    • Voer het wachtwoord in om het wachtwoord van de SAP Host Agent-gebruiker (sapadm) te bevestigen.
    • Voor de naam van de certificaathost voor Host hana-s1-db2 [hana-s1-db2], drukt u op Enter om de standaardwaarde te accepteren.
    • Voor de naam van de certificaathost voor Host hana-s1-db3 [hana-s1-db3], drukt u op Enter om de standaardwaarde te accepteren.
    • Als u wilt doorgaan (y/n), valideert u de samenvatting en als alles er goed uitziet, voert u y in.
  9. [2] Herhaal de vorige stap om de secundaire SAP HANA knooppunten op SITE 2 te installeren.

Systeemreplicatie van SAP HANA 2.0 configureren

Met de volgende stappen wordt u ingesteld voor systeemreplicatie:

  1. [1] Systeemreplicatie configureren op SITE 1:

    Maak een back-up van de databases als hn1adm:

    hdbsql -d SYSTEMDB -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupSYS')"
    hdbsql -d HN1 -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupHN1')"
    

    Kopieer de PKI-systeembestanden naar de secundaire site:

    scp /usr/sap/HN1/SYS/global/security/rsecssfs/data/SSFS_HN1.DAT hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/data/
    scp /usr/sap/HN1/SYS/global/security/rsecssfs/key/SSFS_HN1.KEY  hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/key/
    

    De primaire site maken:

    hdbnsutil -sr_enable --name=HANA_S1
    
  2. [2] Systeemreplicatie configureren op SITE 2:

    Registreer de tweede site om de systeemreplicatie te starten. Voer de volgende opdracht uit als <hanasid>adm:

    sapcontrol -nr 03 -function StopWait 600 10
    hdbnsutil -sr_register --remoteHost=hana-s1-db1 --remoteInstance=03 --replicationMode=sync --name=HANA_S2
    sapcontrol -nr 03 -function StartSystem
    
  3. [1] Controleer de replicatiestatus en wacht totdat alle databases zijn gesynchroniseerd.

    sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
     # | Database | Host          | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary     | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
     # |          |               |       |              |           |         |           | Host          | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
     # | -------- | ------------- | ----- | ------------ | --------- | ------- | --------- | ------------- | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
     # | HN1      | hana-s1-db3   | 30303 | indexserver  |         5 |       1 | HANA_S1   | hana-s2-db3   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
     # | SYSTEMDB | hana-s1-db1   | 30301 | nameserver   |         1 |       1 | HANA_S1   | hana-s2-db1   |     30301 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
     # | HN1      | hana-s1-db1   | 30307 | xsengine     |         2 |       1 | HANA_S1   | hana-s2-db1   |     30307 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
     # | HN1      | hana-s1-db1   | 30303 | indexserver  |         3 |       1 | HANA_S1   | hana-s2-db1   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
     # | HN1      | hana-s1-db2   | 30303 | indexserver  |         4 |       1 | HANA_S1   | hana-s2-db2   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
     #
     # status system replication site "2": ACTIVE
     # overall system replication status: ACTIVE
     #
     # Local System Replication State
     #	
     # mode: PRIMARY
     # site id: 1
     # site name: HANA_S1
    
  4. [1,2] Wijzig de HANA-configuratie zodat communicatie voor HANA-systeemreplicatie wordt omgeleid via de virtuele netwerkinterfaces van het HANA-systeemreplicatie.

    1. Stop HANA op beide sites.

      sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem HDB
      
    2. Bewerk global.ini om de hosttoewijzing toe te voegen voor HANA-systeemreplicatie. Gebruik de IP-adressen van het hsr subnet.

      sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
      #Add the section
      [system_replication_hostname_resolution]
      10.23.1.202 = hana-s1-db1
      10.23.1.203 = hana-s1-db2
      10.23.1.204 = hana-s1-db3
      10.23.1.205 = hana-s2-db1
      10.23.1.206 = hana-s2-db2
      10.23.1.207 = hana-s2-db3
      
    3. Startmenu HANA op beide sites.

     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem HDB
    

    Zie Hostnaamomzetting voor systeemreplicatie voor meer informatie.

  5. [AH] Schakel de firewall opnieuw in en open de benodigde poorten.

    1. Schakel de firewall opnieuw in.

      # Execute as root
      systemctl start firewalld
      systemctl enable firewalld
      
    2. Open de benodigde firewallpoorten. U moet de poorten voor uw HANA-exemplaarnummer aanpassen.

      Belangrijk

      Maak firewallregels om communicatie tussen HANA en clientverkeer toe te staan. De vereiste poorten worden vermeld op TCP/IP-poorten van alle SAP-producten. De volgende opdrachten zijn slechts een voorbeeld. In dit scenario gebruikt u systeemnummer 03.

       # Execute as root
       sudo firewall-cmd --zone=public --add-port=30301/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30301/tcp
       sudo firewall-cmd --zone=public --add-port=30303/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30303/tcp
       sudo firewall-cmd --zone=public --add-port=30306/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30306/tcp
       sudo firewall-cmd --zone=public --add-port=30307/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30307/tcp
       sudo firewall-cmd --zone=public --add-port=30313/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30313/tcp
       sudo firewall-cmd --zone=public --add-port=30315/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30315/tcp
       sudo firewall-cmd --zone=public --add-port=30317/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30317/tcp
       sudo firewall-cmd --zone=public --add-port=30340/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30340/tcp
       sudo firewall-cmd --zone=public --add-port=30341/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30341/tcp
       sudo firewall-cmd --zone=public --add-port=30342/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30342/tcp
       sudo firewall-cmd --zone=public --add-port=1128/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=1128/tcp
       sudo firewall-cmd --zone=public --add-port=1129/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=1129/tcp
       sudo firewall-cmd --zone=public --add-port=40302/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=40302/tcp
       sudo firewall-cmd --zone=public --add-port=40301/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=40301/tcp
       sudo firewall-cmd --zone=public --add-port=40307/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=40307/tcp
       sudo firewall-cmd --zone=public --add-port=40303/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=40303/tcp
       sudo firewall-cmd --zone=public --add-port=40340/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=40340/tcp
       sudo firewall-cmd --zone=public --add-port=50313/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=50313/tcp
       sudo firewall-cmd --zone=public --add-port=50314/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=50314/tcp
       sudo firewall-cmd --zone=public --add-port=30310/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30310/tcp
       sudo firewall-cmd --zone=public --add-port=30302/tcp --permanent
       sudo firewall-cmd --zone=public --add-port=30302/tcp
      

Een Pacemaker-cluster maken

Als u een eenvoudig Pacemaker-cluster voor deze HANA-server wilt maken, volgt u de stappen in Het instellen van Pacemaker op Red Hat Enterprise Linux in Azure. Neem alle virtuele machines op, inclusief de meerderheidsmaker in het cluster.

Belangrijk

Niet ingesteld quorum expected-votes op 2. Dit is geen cluster met twee knooppunten. Zorg ervoor dat de clustereigenschap concurrent-fencing is ingeschakeld, zodat knooppuntafscherming wordt gedeserialiseerd.

Bestandssysteembronnen maken

Voor het volgende deel van dit proces moet u bestandssysteembronnen maken. U doet dit als volgt:

  1. [1,2] Stop SAP HANA op beide replicatiesites. <Als sid>adm uitvoeren.

    sapcontrol -nr 03 -function StopSystem
    
  2. [AH] Ontkoppel het bestandssysteem /hana/shared, dat tijdelijk is gekoppeld voor de installatie op alle HANA DB-VM's. Voordat u deze kunt ontkoppelen, moet u alle processen en sessies die gebruikmaken van het bestandssysteem stoppen.

    umount /hana/shared 
    
  3. [1] Maak de bestandssysteemclusterbronnen voor /hana/shared de status Uitgeschakeld. U gebruikt --disabled omdat u de locatiebeperkingen moet definiëren voordat de koppels zijn ingeschakeld.

    # /hana/shared file system for site 1
    pcs resource create fs_hana_shared_s1 --disabled ocf:heartbeat:Filesystem device=10.23.1.7:/HN1-shared-s1  directory=/hana/shared \
    fstype=nfs options='defaults,rw,hard,timeo=600,rsize=262144,wsize=262144,proto=tcp,intr,noatime,sec=sys,vers=4.1,lock,_netdev' op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 \
    op start interval=0 timeout=120 op stop interval=0 timeout=120
    
    # /hana/shared file system for site 2	
    pcs resource create fs_hana_shared_s2 --disabled ocf:heartbeat:Filesystem device=10.23.1.7:/HN1-shared-s1 directory=/hana/shared \
    fstype=nfs options='defaults,rw,hard,timeo=600,rsize=262144,wsize=262144,proto=tcp,intr,noatime,sec=sys,vers=4.1,lock,_netdev' op monitor interval=20s on-fail=fence timeout=40s OCF_CHECK_LEVEL=20 \
    op start interval=0 timeout=120 op stop interval=0 timeout=120
    
     # clone the /hana/shared file system resources for both site1 and site2
    pcs resource clone fs_hana_shared_s1 meta clone-node-max=1 interleave=true
    pcs resource clone fs_hana_shared_s2 meta clone-node-max=1 interleave=true
    

    Het OCF_CHECK_LEVEL=20 kenmerk wordt toegevoegd aan de bewakingsbewerking, zodat bewakingsbewerkingen een lees-/schrijftest uitvoeren op het bestandssysteem. Zonder dit kenmerk controleert de bewakingsbewerking alleen of het bestandssysteem is gekoppeld. Dit kan een probleem zijn omdat wanneer de verbinding is verbroken, het bestandssysteem mogelijk gekoppeld blijft, ondanks dat het niet toegankelijk is.

    Het on-fail=fence kenmerk wordt ook toegevoegd aan de monitorbewerking. Als de bewakingsbewerking op een knooppunt mislukt, wordt dat knooppunt onmiddellijk omheining geplaatst. Zonder deze optie is het standaardgedrag om alle resources te stoppen die afhankelijk zijn van de mislukte resource, start de mislukte resource opnieuw en start vervolgens alle resources die afhankelijk zijn van de mislukte resource. Niet alleen kan dit gedrag lang duren wanneer een SAP HANA resource afhankelijk is van de mislukte resource, maar het kan ook helemaal mislukken. De SAP HANA resource kan niet worden gestopt als de NFS-share met de binaire HANA-bestanden niet toegankelijk is.

  4. [1] Configureer en controleer de knooppuntkenmerken. Alle SAP HANA DB-knooppunten op replicatiesite 1 zijn toegewezen kenmerk S1en alle SAP HANA DB-knooppunten op replicatiesite 2 worden toegewezen.S2

    # HANA replication site 1
    pcs node attribute hana-s1-db1 NFS_SID_SITE=S1
    pcs node attribute hana-s1-db2 NFS_SID_SITE=S1
    pcs node attribute hana-s1-db3 NFS_SID_SITE=S1
     # HANA replication site 2
    pcs node attribute hana-s2-db1 NFS_SID_SITE=S2
    pcs node attribute hana-s2-db2 NFS_SID_SITE=S2
    pcs node attribute hana-s2-db3 NFS_SID_SITE=S2
     #To verify the attribute assignment to nodes execute
    pcs node attribute
    
  5. [1] Configureer de beperkingen die bepalen waar de NFS-bestandssystemen worden gekoppeld en schakel de bestandssysteembronnen in.

    # Configure the constraints
    pcs constraint location fs_hana_shared_s1-clone rule resource-discovery=never score=-INFINITY NFS_SID_SITE ne S1
    pcs constraint location fs_hana_shared_s2-clone rule resource-discovery=never score=-INFINITY NFS_SID_SITE ne S2
    # Enable the file system resources
    pcs resource enable fs_hana_shared_s1
    pcs resource enable fs_hana_shared_s2
    

    Wanneer u de bestandssysteembronnen inschakelt, koppelt het cluster de /hana/shared bestandssystemen.

  6. [AH] Controleer of de Azure NetApp Files volumes zijn gekoppeld onder /hana/shared, op alle VM's van HANA DB op beide sites.

    sudo nfsstat -m
    # Verify that flag vers is set to 4.1 
    # Example from SITE 1, hana-s1-db1
    /hana/shared from 10.23.1.7:/HN1-shared-s1
     Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.11,local_lock=none,addr=10.23.1.7
    # Example from SITE 2, hana-s2-db1
    /hana/shared from 10.23.1.7:/HN1-shared-s2
     Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.14,local_lock=none,addr=10.23.1.7
    
  7. [1] Configureer en kloon de kenmerkbronnen en configureer de beperkingen als volgt:

    # Configure the attribute resources
    pcs resource create hana_nfs_s1_active ocf:pacemaker:attribute active_value=true inactive_value=false name=hana_nfs_s1_active
    pcs resource create hana_nfs_s2_active ocf:pacemaker:attribute active_value=true inactive_value=false name=hana_nfs_s2_active
     # Clone the attribute resources
    pcs resource clone hana_nfs_s1_active meta clone-node-max=1 interleave=true
    pcs resource clone hana_nfs_s2_active meta clone-node-max=1 interleave=true
     # Configure the constraints, which will set the attribute values
    pcs constraint order fs_hana_shared_s1-clone then hana_nfs_s1_active-clone
    pcs constraint order fs_hana_shared_s2-clone then hana_nfs_s2_active-clone
    

    Tip

    Als uw configuratie andere bestandssystemen dan /hana/sharedbevat en deze bestandssystemen zijn gekoppeld aan NFS, neemt u de sequential=false optie op. Deze optie zorgt ervoor dat er geen volgordeafhankelijkheden zijn tussen de bestandssystemen. Alle gekoppelde NFS-bestandssystemen moeten worden gestart vóór de bijbehorende kenmerkresource, maar ze hoeven niet te beginnen in een willekeurige volgorde ten opzichte van elkaar. Zie voor meer informatie Hoe kan ik SAP HANA uitschalen van HSR configureren in een Pacemaker-cluster wanneer de HANA-bestandssystemen NFS-shares zijn.

  8. [1] Plaats Pacemaker in onderhoudsmodus, ter voorbereiding op het maken van de HANA-clusterbronnen.

    pcs property set maintenance-mode=true
    

SAP HANA clusterbronnen maken

U kunt nu de clusterresources maken:

  1. [A] Installeer de HANA scale-out-resourceagent op alle clusterknooppunten, inclusief de maker van de meerderheid.

    yum install -y resource-agents-sap-hana-scaleout 
    

    Notitie

    Zie Ondersteuningsbeleid voor RHEL HA-clusters - Beheer van SAP HANA in een cluster voor de minimaal ondersteunde versie van het pakket resource-agents-sap-hana-scaleout voor uw besturingssysteem.

  2. [1,2] Installeer de HANA-systeemreplicatiehook op één HANA DB-knooppunt op elke systeemreplicatiesite. SAP HANA moet nog steeds offline zijn.

    1. Bereid de haak voor als root.

       mkdir -p /hana/shared/myHooks
       cp /usr/share/SAPHanaSR-ScaleOut/SAPHanaSR.py /hana/shared/myHooks
       chown -R hn1adm:sapsys /hana/shared/myHooks
      
    2. global.ini aanpassen.

      # add to global.ini
      [ha_dr_provider_SAPHanaSR]
      provider = SAPHanaSR
      path = /hana/shared/myHooks
      execution_order = 1
      
      [trace]
      ha_dr_saphanasr = info
      
  3. [AH] Het cluster vereist sudoers-configuratie op het clusterknooppunt voor <sid>adm. In dit voorbeeld bereikt u dit door een nieuw bestand te maken. Voer de opdrachten uit als root.

    sudo visudo -f /etc/sudoers.d/20-saphana
    # Insert the following lines and then save
    Cmnd_Alias SOK = /usr/sbin/crm_attribute -n hana_hn1_glob_srHook -v SOK -t crm_config -s SAPHanaSR
    Cmnd_Alias SFAIL = /usr/sbin/crm_attribute -n hana_hn1_glob_srHook -v SFAIL -t crm_config -s SAPHanaSR
    hn1adm ALL=(ALL) NOPASSWD: SOK, SFAIL
    Defaults!SOK, SFAIL !requiretty
    
  4. [1,2] Startmenu SAP HANA op beide replicatiesites. <Als sid>adm uitvoeren.

    sapcontrol -nr 03 -function StartSystem 
    
  5. [1] Controleer de hookinstallatie. Voer als <sid>adm uit op de actieve replicatiesite van het HANA-systeem.

    cdtrace
     awk '/ha_dr_SAPHanaSR.*crm_attribute/ \
     { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_*
    
     # Example entries
      # 2020-07-21 22:04:32.364379 ha_dr_SAPHanaSR SFAIL
      # 2020-07-21 22:04:46.905661 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:52.092016 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:52.782774 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:53.117492 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:06:35.599324 ha_dr_SAPHanaSR SOK
    
  6. [1] Maak de HANA-clusterbronnen. Voer de volgende opdrachten uit als root.

    1. Zorg ervoor dat het cluster zich al in de onderhoudsmodus bevindt.

    2. Maak vervolgens de HANA-topologieresource.
      Als u een RHEL 7.x-cluster bouwt, gebruikt u de volgende opdrachten:

      pcs resource create SAPHanaTopology_HN1_HDB03 SAPHanaTopologyScaleOut \
       SID=HN1 InstanceNumber=03 \
       op start timeout=600 op stop timeout=300 op monitor interval=10 timeout=600
      
      pcs resource clone SAPHanaTopology_HN1_HDB03 meta clone-node-max=1 interleave=true
      

      Als u een RHEL 8.x-cluster bouwt, gebruikt u de volgende opdrachten:

      pcs resource create SAPHanaTopology_HN1_HDB03 SAPHanaTopology \
       SID=HN1 InstanceNumber=03 meta clone-node-max=1 interleave=true \
       op methods interval=0s timeout=5 \
       op start timeout=600 op stop timeout=300 op monitor interval=10 timeout=600
      
      pcs resource clone SAPHanaTopology_HN1_HDB03 meta clone-node-max=1 interleave=true
      
    3. Maak de HANA-exemplaarresource.

      Notitie

      Dit artikel bevat verwijzingen naar de term slaaf, een term die Microsoft niet meer gebruikt. Zodra de term uit de software wordt verwijderd, verwijderen we deze uit dit artikel.

      Als u een RHEL 7.x-cluster bouwt, gebruikt u de volgende opdrachten:

      pcs resource create SAPHana_HN1_HDB03 SAPHanaController \
       SID=HN1 InstanceNumber=03 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false \
       op start interval=0 timeout=3600 op stop interval=0 timeout=3600 op promote interval=0 timeout=3600 \
       op monitor interval=60 role="Master" timeout=700 op monitor interval=61 role="Slave" timeout=700
      
      pcs resource master msl_SAPHana_HN1_HDB03 SAPHana_HN1_HDB03 \
       meta master-max="1" clone-node-max=1 interleave=true
      

      Als u een RHEL 8.x-cluster bouwt, gebruikt u de volgende opdrachten:

      pcs resource create SAPHana_HN1_HDB03 SAPHanaController \
       SID=HN1 InstanceNumber=03 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false \
       op demote interval=0s timeout=320 op methods interval=0s timeout=5 \
       op start interval=0 timeout=3600 op stop interval=0 timeout=3600 op promote interval=0 timeout=3600 \
       op monitor interval=60 role="Master" timeout=700 op monitor interval=61 role="Slave" timeout=700
      
      pcs resource promotable SAPHana_HN1_HDB03 \
       meta master-max="1" clone-node-max=1 interleave=true
      

      Belangrijk

      Het is een goed idee om in te stellen AUTOMATED_REGISTER op false, terwijl u failovertests uitvoert, om te voorkomen dat een mislukt primair exemplaar automatisch als secundaire instantie wordt geregistreerd. Na het testen, als best practice, ingesteld AUTOMATED_REGISTER op true, zodat systeemreplicatie na overname automatisch kan worden hervat.

    4. Maak het virtuele IP-adres en de bijbehorende resources.

      pcs resource create vip_HN1_03 ocf:heartbeat:IPaddr2 ip=10.23.0.18 op monitor interval="10s" timeout="20s"
      sudo pcs resource create nc_HN1_03 azure-lb port=62503
      sudo pcs resource group add g_ip_HN1_03 nc_HN1_03 vip_HN1_03
      
    5. Maak de clusterbeperkingen.
      Als u een RHEL 7.x-cluster bouwt, gebruikt u de volgende opdrachten:

      #Start HANA topology, before the HANA instance
      pcs constraint order SAPHanaTopology_HN1_HDB03-clone then msl_SAPHana_HN1_HDB03
      
      pcs constraint colocation add g_ip_HN1_03 with master msl_SAPHana_HN1_HDB03 4000
      #HANA resources are only allowed to run on a node, if the node's NFS file systems are mounted. The constraint also avoids the majority maker node
      pcs constraint location SAPHanaTopology_HN1_HDB03-clone rule resource-discovery=never score=-INFINITY hana_nfs_s1_active ne true and hana_nfs_s2_active ne true
      

      Als u een RHEL 8.x-cluster bouwt, gebruikt u de volgende opdrachten:

      #Start HANA topology, before the HANA instance
      pcs constraint order SAPHanaTopology_HN1_HDB03-clone then SAPHana_HN1_HDB03-clone
      
      pcs constraint colocation add g_ip_HN1_03 with master SAPHana_HN1_HDB03-clone 4000
      #HANA resources are only allowed to run on a node, if the node's NFS file systems are mounted. The constraint also avoids the majority maker node
      pcs constraint location SAPHanaTopology_HN1_HDB03-clone rule resource-discovery=never score=-INFINITY hana_nfs_s1_active ne true and hana_nfs_s2_active ne true
      
  7. [1] Plaats het cluster buiten de onderhoudsmodus. Zorg ervoor dat de clusterstatus is oken dat alle resources zijn gestart.

    sudo pcs property set maintenance-mode=false
    #If there are failed cluster resources, you may need to run the next command
    pcs resource cleanup
    

    Notitie

    De time-outs in de voorgaande configuratie zijn slechts voorbeelden en moeten mogelijk worden aangepast aan de specifieke HANA-installatie. U moet bijvoorbeeld de time-out voor het starten verhogen als het langer duurt om de SAP HANA-database te starten.

HANA active/read-enabled systeemreplicatie configureren

Vanaf SAP HANA 2.0 SPS 01 staat SAP actieve/lees-ingeschakelde setups toe voor SAP HANA systeemreplicatie. Met deze mogelijkheid kunt u de secundaire systemen van SAP HANA systeemreplicatie actief gebruiken voor leesintensieve workloads. Als u een dergelijke installatie in een cluster wilt ondersteunen, hebt u een tweede virtueel IP-adres nodig, waarmee clients toegang hebben tot de secundaire database met leesbewerkingen SAP HANA database. Om ervoor te zorgen dat de secundaire replicatiesite nog steeds toegankelijk is nadat een overname is uitgevoerd, moet het cluster het virtuele IP-adres verplaatsen met de secundaire van de SAP HANA-resource.

In deze sectie worden de aanvullende stappen beschreven die u moet uitvoeren om dit type systeemreplicatie te beheren in een Red Hat-cluster met hoge beschikbaarheid, met een tweede virtueel IP-adres.

Voordat u verdergaat, moet u ervoor zorgen dat u een Red Hat-cluster met hoge beschikbaarheid volledig hebt geconfigureerd, waarbij u een SAP HANA-database beheert, zoals eerder in dit artikel is beschreven.

SAP HANA scale-out high availability with read-enabled secondary

Aanvullende installatie in Azure Load Balancer voor installatie met actief/lezen ingeschakeld

Als u wilt doorgaan met het inrichten van uw tweede virtuele IP-adres, moet u ervoor zorgen dat u Azure Load Balancer hebt geconfigureerd, zoals beschreven in Deploy Azure Load Balancer.

Volg deze aanvullende stappen voor de standaard load balancer voor dezelfde load balancer die u in de vorige sectie hebt gemaakt.

  1. Maak een tweede front-end-IP-pool:

    1. Open de load balancer, selecteer front-end-IP-pool en selecteer Toevoegen.
    2. Voer de naam in van de tweede front-end-IP-pool (bijvoorbeeld hana-secondaryIP).
    3. Stel de toewijzing in op Statisch en voer het IP-adres in (bijvoorbeeld 10.23.0.19).
    4. Selecteer OK.
    5. Nadat de nieuwe front-end-IP-adresgroep is gemaakt, noteert u het IP-adres van de pool.
  2. Maak vervolgens een statustest:

    1. Open de load balancer, selecteer statustests en selecteer Toevoegen.
    2. Voer de naam in van de nieuwe statustest (bijvoorbeeld hana-secondaryhp).
    3. Selecteer TCP als protocol en poort 62603. Houd de intervalwaarde ingesteld op 5 en de drempelwaarde voor slechte status is ingesteld op 2.
    4. Selecteer OK.
  3. Maak vervolgens de taakverdelingsregels:

    1. Open de load balancer, selecteer taakverdelingsregels en selecteer Toevoegen.
    2. Voer de naam in van de nieuwe load balancer-regel (bijvoorbeeld hana-secondarylb).
    3. Selecteer het front-end-IP-adres, de back-endpool en de statustest die u eerder hebt gemaakt (bijvoorbeeld hana-secondaryIP, hana-backend en hana-secondaryhp).
    4. Selecteer HA-poorten.
    5. Zorg ervoor dat u zwevend IP-adres inschakelt.
    6. Selecteer OK.

HANA active/read-enabled systeemreplicatie configureren

De stappen voor het configureren van HANA-systeemreplicatie worden beschreven in de sectie SAP HANA 2.0-systeemreplicatie configureren. Als u een secundair scenario met leesbewerkingen implementeert, voert u tijdens het configureren van systeemreplicatie op het tweede knooppunt de volgende opdracht uit als hanasidadm:

sapcontrol -nr 03 -function StopWait 600 10 

hdbnsutil -sr_register --remoteHost=hana-s1-db1 --remoteInstance=03 --replicationMode=sync --name=HANA_S2 --operationMode=logreplay_readaccess 

Een secundaire virtuele IP-adresresource toevoegen voor een installatie waarvoor actief/lezen is ingeschakeld

U kunt het tweede virtuele IP-adres en de aanvullende beperkingen configureren met de volgende opdrachten. Als het secundaire exemplaar niet beschikbaar is, wordt het secundaire virtuele IP-adres overgeschakeld naar de primaire instantie.

pcs property set maintenance-mode=true

pcs resource create secvip_HN1_03 ocf:heartbeat:IPaddr2 ip="10.23.0.19"
pcs resource create secnc_HN1_03 ocf:heartbeat:azure-lb port=62603
pcs resource group add g_secip_HN1_03 secnc_HN1_03 secvip_HN1_03

# RHEL 8.x: 
pcs constraint location g_ip_HN1_03 rule score=500 role=master hana_hn1_roles eq "master1:master:worker:master" and hana_hn1_clone_state eq PROMOTED
pcs constraint location g_secip_HN1_03 rule score=50  hana_hn1_roles eq 'master1:master:worker:master'
pcs constraint order promote  SAPHana_HN1_HDB03-clone then start g_ip_HN1_03
pcs constraint order start g_ip_HN1_03 then start g_secip_HN1_03
pcs constraint colocation add g_secip_HN1_03 with Slave SAPHana_HN1_HDB03-clone 5

# RHEL 7.x:
pcs constraint location g_ip_HN1_03 rule score=500 role=master hana_hn1_roles eq "master1:master:worker:master" and hana_hn1_clone_state eq PROMOTED
pcs constraint location g_secip_HN1_03 rule score=50  hana_hn1_roles eq 'master1:master:worker:master'
pcs constraint order promote  msl_SAPHana_HN1_HDB03 then start g_ip_HN1_03
pcs constraint order start g_ip_HN1_03 then start g_secip_HN1_03
pcs constraint colocation add g_secip_HN1_03 with Slave msl_SAPHana_HN1_HDB03 5

pcs property set maintenance-mode=false

Zorg ervoor dat de clusterstatus is oken dat alle resources zijn gestart. Het tweede virtuele IP-adres wordt uitgevoerd op de secundaire site, samen met SAP HANA secundaire resource.

# Example output from crm_mon
#Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#
#Active resources:
#
#rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
#Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
#    Started: [ hana--s1-db1 hana-s1-db2 hana-s1-db3 ]
#Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
#    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
#    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
#Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
#    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
#    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
#    Masters: [ hana-s1-db1 ]
#    Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Resource Group: g_ip_HN1_03
#    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s1-db1
#    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
#Resource Group: g_secip_HN1_03
#    secnc_HN1_03       (ocf::heartbeat:azure-lb):      Started hana-s2-db1
#    secvip_HN1_03      (ocf::heartbeat:IPaddr2):       Started hana-s2-db1

In de volgende sectie vindt u de typische set failovertests die moeten worden uitgevoerd.

Wanneer u een HANA-cluster test dat is geconfigureerd met een secundaire functie voor lezen, moet u rekening houden met het volgende gedrag van het tweede virtuele IP-adres:

  • Wanneer clusterresource SAPHana_HN1_HDB03 naar de secundaire site (S2) wordt verplaatst, wordt het tweede virtuele IP-adres verplaatst naar de andere site, hana-s1-db1. Als u de replicatie van het HANA-systeem niet automatisch hebt geconfigureerd AUTOMATED_REGISTER="false", wordt het tweede virtuele IP-adres uitgevoerd op hana-s2-db1.

  • Wanneer u de server vastloopt, worden de tweede virtuele IP-resources (secvip_HN1_03) en de Azure Load Balancer poortresource (secnc_HN1_03) uitgevoerd op de primaire server, naast de primaire virtuele IP-resources. Terwijl de secundaire server niet beschikbaar is, maken de toepassingen die zijn verbonden met de HANA-database met leesfunctionaliteit verbinding met de primaire HANA-database. Dit gedrag is verwacht. Hiermee kunnen toepassingen die zijn verbonden met de HANA-database met leesfunctionaliteit werken terwijl een secundaire server niet beschikbaar is.

  • Tijdens failover en terugval worden de bestaande verbindingen voor toepassingen die gebruikmaken van het tweede virtuele IP-adres, mogelijk onderbroken om verbinding te maken met de HANA-database.

Failover SAP HANA testen

  1. Voordat u een test start, controleert u het cluster en SAP HANA de status van de systeemreplicatie.

    1. Controleer of er geen mislukte clusteracties zijn.

      #Verify that there are no failed cluster actions
      pcs status
      # Example
      #Stack: corosync
      #Current DC: hana-s-mm (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
      #Last updated: Thu Sep 24 06:00:20 2020
      #Last change: Thu Sep 24 05:59:17 2020 by root via crm_attribute on hana-s1-db1
      #
      #7 nodes configured
      #45 resources configured
      #
      #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #
      #Active resources:
      #
      #rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
      #Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
      #    Started: [ hana--s1-db1 hana-s1-db2 hana-s1-db3 ]
      #Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
      #    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
      #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
      #Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
      #    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
      #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
      #    Masters: [ hana-s1-db1 ]
      #    Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Resource Group: g_ip_HN1_03
      #    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s1-db1
      #    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
      
    2. Controleer of SAP HANA systeemreplicatie is gesynchroniseerd.

      # Verify HANA HSR is in sync
      sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
      #| Database | Host        | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary     | Secondary| Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
      #|          |             |       |              |           |         |           | Host          | Port     | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
      #| -------- | ----------- | ----- | ------------ | --------- | ------- | --------- | ------------- | -------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
      #| HN1      | hana-s1-db3 | 30303 | indexserver  |         5 |       2 | HANA_S1   | hana-s2-db3 |     30303  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      #| HN1      | hana-s1-db2 | 30303 | indexserver  |         4 |       2 | HANA_S1   | hana-s2-db2 |     30303  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |  
      #| SYSTEMDB | hana-s1-db1 | 30301 | nameserver   |         1 |       2 | HANA_S1   | hana-s2-db1 |     30301  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      #| HN1      | hana-s1-db1 | 30307 | xsengine     |         2 |       2 | HANA_S1   | hana-s2-db1 |     30307  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      #| HN1      | hana-s1-db1 | 30303 | indexserver  |         3 |       2 | HANA_S1   | hana-s2-db1 |     30303  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      
      #status system replication site "1": ACTIVE
      #overall system replication status: ACTIVE
      
      #Local System Replication State
      #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
      
      #mode: PRIMARY
      #site id: 1
      #site name: HANA_S1
      
  2. Controleer de clusterconfiguratie voor een foutscenario wanneer een knooppunt geen toegang meer heeft tot de NFS-share (/hana/shared).

    De SAP HANA resourceagenten zijn afhankelijk van binaire bestanden, opgeslagen op/hana/shared, om bewerkingen uit te voeren tijdens de failover. /hana/shared Bestandssysteem wordt gekoppeld via NFS in de gepresenteerde configuratie. Een test die u kunt uitvoeren, is door het /hana/shared bestandssysteem opnieuw te koppelen als alleen-lezen. Deze methode valideert dat het cluster een failover uitvoert als de toegang tot /hana/shared het cluster verloren gaat op de actieve systeemreplicatiesite.

    Verwacht resultaat: wanneer u opnieuw als alleen-lezen wordt gekoppeld/hana/shared, mislukt de bewakingsbewerking waarmee een lees-/schrijfbewerking op het bestandssysteem wordt uitgevoerd. Dit komt omdat het niet kan schrijven naar het bestandssysteem en HANA-resourcefailover activeert. Hetzelfde resultaat wordt verwacht wanneer uw HANA-knooppunt geen toegang meer heeft tot de NFS-share.

    U kunt de status van de clusterbronnen controleren door deze uit te voeren crm_mon of pcs status. Resourcestatus voordat u de test start:

    # Output of crm_mon
    #7 nodes configured
    #45 resources configured
    
    #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    #
    #Active resources:
    
    #rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
    # Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
    #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
    #     Masters: [ hana-s1-db1 ]
    #     Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Resource Group: g_ip_HN1_03
    #     nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s1-db1
    #     vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
    

    Als u een fout wilt simuleren voor /hana/shared een van de primaire replicatiesite-VM's, voert u de volgende opdracht uit:

    # Execute as root 
    mount -o ro /hana/shared
    # Or if the preceding command returns an error
    sudo mount -o ro 10.23.1.7/HN1-shared-s1 /hana/shared
    

    De HANA-VM waartoe de toegang /hana/shared is verbroken, moet opnieuw worden opgestart of gestopt, afhankelijk van de clusterconfiguratie. De clusterresources worden gemigreerd naar de andere HANA-systeemreplicatiesite.

    Als het cluster niet is gestart op de VM die opnieuw is opgestart, start u het cluster door het volgende uit te voeren:

    # Start the cluster 
    pcs cluster start
    

    Wanneer het cluster wordt gestart, wordt het bestandssysteem /hana/shared automatisch gekoppeld. Als u deze optie insteltAUTOMATED_REGISTER="false", moet u SAP HANA systeemreplicatie op de secundaire site configureren. In dit geval kunt u deze opdrachten uitvoeren om SAP HANA opnieuw te configureren als secundair.

    # Execute on the secondary 
    su - hn1adm
    # Make sure HANA is not running on the secondary site. If it is started, stop HANA
    sapcontrol -nr 03 -function StopWait 600 10
    # Register the HANA secondary site
    hdbnsutil -sr_register --name=HANA_S1 --remoteHost=hana-s2-db1 --remoteInstance=03 --replicationMode=sync
    # Switch back to root and clean up failed resources
    pcs resource cleanup SAPHana_HN1_HDB03
    

    De status van de resources na de test:

    # Output of crm_mon
    #7 nodes configured
    #45 resources configured
    
    #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    
    #Active resources:
    
    #rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
    # Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
    #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
    #     Masters: [ hana-s2-db1 ]
    #     Slaves: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db2 hana-s2-db3 ]
    # Resource Group: g_ip_HN1_03
    #     nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s2-db1
    #     vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s2-db1
    

Het is een goed idee om de SAP HANA clusterconfiguratie grondig te testen, door ook de tests uit te voeren die worden beschreven in HA voor SAP HANA op Azure-VM's op RHEL.

Volgende stappen