Azure Virtual Machines HA för SAP NetWeaver på RHEL med Azure NetApp Files för SAP-program

Artikel
01/19/2024

Den här artikeln beskriver hur du distribuerar virtuella datorer (VM), konfigurerar de virtuella datorerna, installerar klusterramverket och installerar ett SAP NetWeaver 7.50-system med hög tillgänglighet med hjälp av Azure NetApp Files. I exempelkonfigurationer och installationskommandon är ASCS-instansen nummer 00, ERS-instansen är nummer 01, den primära programinstansen (PAS) är 02 och Programinstansen (AAS) är 03. SAP System ID QAS används.

Databaslagret beskrivs inte i detalj i den här artikeln.

Förutsättningar

Läs följande SAP-anteckningar och dokument först:

Dokumentation om Azure NetApp Files
SAP Note 1928533, som har:
- En lista över storlekar på virtuella Azure-datorer som stöds för distribution av SAP-programvara.
- Viktig kapacitetsinformation för vm-storlekar i Azure.
- SAP-programvara och operativsystem (OS) och databaskombinationer som stöds.
- Nödvändig SAP-kernelversion för Windows och Linux på Microsoft Azure.
SAP Note 2015553 listar krav för SAP-programdistributioner som stöds i Azure.
SAP Obs 2002167 har rekommenderade operativsysteminställningar för Red Hat Enterprise Linux.
SAP Note 2009879 har SAP HANA-riktlinjer för Red Hat Enterprise Linux.
SAP Note 2178632 innehåller detaljerad information om alla övervakningsmått som rapporterats för SAP i Azure.
SAP Note 2191498 har den sap-värdagentversion som krävs för Linux i Azure.
SAP Note 2243692 har information om SAP-licensiering på Linux i Azure.
SAP Note 1999351 innehåller mer felsökningsinformation för Azure Enhanced Monitoring Extension för SAP.
SAP Community WIKI har alla nödvändiga SAP-anteckningar för Linux.
Planering och implementering av Azure Virtual Machines för SAP i Linux
Distribution av virtuella Azure-datorer för SAP i Linux
Azure Virtual Machines DBMS-distribution för SAP på Linux
SAP NetWeaver i Pacemaker-kluster
Allmän Dokumentation om Red Hat Enterprise Linux (RHEL):
Azure-specifik RHEL-dokumentation:
- Supportprinciper för RHEL-kluster med hög tillgänglighet – Microsoft Azure Virtual Machines som klustermedlemmar
- Installera och konfigurera ett Red Hat Enterprise Linux 7.4-kluster (och senare) med hög tillgänglighet i Microsoft Azure
NetApp SAP-program på Microsoft Azure med Azure NetApp Files
Metodtips för NetApp NFS

Översikt

Hög tillgänglighet (HA) för CENTRALA SAP NetWeaver-tjänster kräver delad lagring. Fram tills nu för att uppnå HA på Red Hat Linux var det nödvändigt att skapa ett separat GlusterFS-kluster med hög tillgänglighet.

Nu är det möjligt att uppnå SAP NetWeaver HA med hjälp av delad lagring som distribuerats på Azure NetApp Files. Om du använder Azure NetApp Files för delad lagring eliminerar du behovet av fler GlusterFS-kluster. Pacemaker behövs fortfarande för HA för SAP NetWeaver centraltjänster (ASCS/SCS).

Diagram that shows SAP NetWeaver high-availability overview.

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS och SAP HANA-databasen använder virtuellt värdnamn och virtuella IP-adresser. I Azure krävs en lastbalanserare för att använda en virtuell IP-adress. Vi rekommenderar att du använder Azure Load Balancer Standard. Konfigurationen här visar en lastbalanserare med en:

Klientdelens IP-adress 192.168.14.9 för ASCS.
Klientdelens IP-adress 192.168.14.10 för ERS.
Avsökningsport 62000 för ASCS.
Avsökningsport 62101 för ERS.

Konfigurera Azure NetApp Files-infrastrukturen

SAP NetWeaver kräver delad lagring för transport- och profilkatalogen. Innan du fortsätter med konfigurationen för Azure NetApp Files-infrastrukturen bör du bekanta dig med Dokumentationen om Azure NetApp Files. Kontrollera om den valda Azure-regionen erbjuder Azure NetApp Files. Information om tillgängligheten för Azure NetApp Files per Azure-region finns i Tillgänglighet för Azure NetApp Files per Azure-region.

Azure NetApp Files är tillgängliga i flera Azure-regioner.

Distribuera Azure NetApp Files-resurser

Stegen förutsätter att du redan har distribuerat Azure Virtual Network. Azure NetApp Files-resurserna och de virtuella datorerna, där Azure NetApp Files-resurserna ska monteras, måste distribueras i samma virtuella Azure-nätverk eller i peerkopplade virtuella Azure-nätverk.

Skapa Azure NetApp Files-kontot i den valda Azure-regionen genom att följa anvisningarna för att skapa ett Azure NetApp Files-konto.
Konfigurera en Azure NetApp Files-kapacitetspool genom att följa anvisningarna om hur du konfigurerar en Azure NetApp Files-kapacitetspool. Sap NetWeaver-arkitekturen som presenteras i den här artikeln använder en enda Azure NetApp Files-kapacitetspool, Premium SKU. Vi rekommenderar Azure NetApp Files Premium SKU för SAP NetWeaver-programarbetsbelastningen i Azure.
Delegera ett undernät till Azure NetApp Files enligt anvisningarna i anvisningarna om hur du delegerar ett undernät till Azure NetApp Files.
Distribuera Azure NetApp Files-volymer genom att följa anvisningarna för att skapa en volym för Azure NetApp Files. Distribuera volymerna i det avsedda Azure NetApp Files-undernätet. IP-adresserna för Azure NetApp-volymerna tilldelas automatiskt. Azure NetApp Files-resurserna och de virtuella Azure-datorerna måste finnas i samma virtuella Azure-nätverk eller i peerkopplade virtuella Azure-nätverk. I det här exemplet använder vi två Azure NetApp Files-volymer: sapQAS och transSAP. De filsökvägar som monteras på motsvarande monteringspunkter är /usrsapqas/sapmntQAS och /usrsapqas/usrsapQASsys.
1. Volume sapQAS (nfs://192.168.24.5/usrsapqas/sapmntQAS)
2. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASascs)
3. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASsys)
4. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASers)
5. VolymtransSAP (nfs://192.168.24.4/transSAP)
6. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASpas)
7. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASaas)

I det här exemplet använde vi Azure NetApp Files för alla SAP NetWeaver-filsystem för att visa hur du kan använda Azure NetApp Files. DE SAP-filsystem som inte behöver monteras via NFS kan också distribueras som Azure-disklagring. I det här exemplet måste a-e finnas på Azure NetApp Files och f-g (det vill säga /usr/sap/QAS/D02 och /usr/sap/QAS/D03) kan distribueras som Azure-disklagring.

Viktigt!

Tänk på följande viktiga överväganden när du tänker på Azure NetApp Files för SAP NetWeaver i RHEL HA-arkitekturen:

Den minsta kapacitetspoolen är 4 TiB. Du kan öka kapacitetspoolens storlek i steg om 1 TiB.
Den minsta volymen är 100 GiB.
Azure NetApp Files och alla virtuella datorer, där Azure NetApp Files-volymer monteras, måste finnas i samma virtuella Azure-nätverk eller i peerkopplade virtuella nätverk i samma region. Azure NetApp Files-åtkomst via peering för virtuella nätverk i samma region stöds nu. Azure NetApp Files-åtkomst via global peering stöds inte ännu.
Det valda virtuella nätverket måste ha ett undernät delegerat till Azure NetApp Files.
Dataflödet och prestandaegenskaperna för en Azure NetApp Files-volym är en funktion av volymkvoten och tjänstnivån. Mer information finns i Tjänstnivå för Azure NetApp Files. När du har storleken på SAP Azure NetApp-volymerna kontrollerar du att det resulterande dataflödet uppfyller programkraven.
Azure NetApp Files erbjuder exportprincip. Du kan styra de tillåtna klienterna och åtkomsttypen (som Läs/Skriv och Skrivskyddad).
Funktionen Azure NetApp Files är inte zonmedveten ännu. För närvarande distribueras inte Azure NetApp Files-funktionen i alla tillgänglighetszoner i en Azure-region. Tänk på de potentiella fördröjningskonsekvenserna i vissa Azure-regioner.
Du kan distribuera Azure NetApp Files-volymer som NFSv3- eller NFSv4.1-volymer. Båda protokollen stöds för SAP-programskiktet (ASCS/ERS, SAP-programservrar).

Förbered infrastrukturen

Azure Marketplace innehåller avbildningar som är kvalificerade för SAP med tillägget Hög tillgänglighet, som du kan använda för att distribuera nya virtuella datorer med hjälp av olika versioner av Red Hat.

Distribuera virtuella Linux-datorer manuellt via Azure-portalen

Det här dokumentet förutsätter att du redan har distribuerat ett virtuellt Azure-nätverk, undernät och en resursgrupp.

Distribuera virtuella datorer för SAP ASCS-, ERS- och programservrar. Välj en lämplig RHEL-avbildning som stöds för SAP-systemet. Du kan distribuera en virtuell dator i något av tillgänglighetsalternativen: VM-skalningsuppsättning, tillgänglighetszon eller tillgänglighetsuppsättning.

Konfigurera Azure-lastbalanserare

Under konfigurationen av den virtuella datorn kan du skapa eller välja att avsluta lastbalanseraren i nätverksavsnittet. Följ stegen nedan för att konfigurera en standardlastbalanserare för konfiguration av hög tillgänglighet för SAP ASCS och SAP ERS.

Följ guiden skapa lastbalanserare för att konfigurera en standardlastbalanserare för ett SAP-system med hög tillgänglighet med hjälp av Azure-portalen. Under installationen av lastbalanseraren bör du överväga följande punkter.

Ip-konfiguration för klientdelen: Skapa två klientdels-IP-adresser, en för ASCS och en annan för ERS. Välj samma virtuella nätverk och undernät som dina virtuella ASCS/ERS-datorer.
Serverdelspool: Skapa serverdelspool och lägg till virtuella ASCS- och ERS-datorer.
Regler för inkommande trafik: Skapa två belastningsutjämningsregler, en för ASCS och en annan för ERS. Följ samma steg för båda belastningsutjämningsreglerna.
- Klientdels-IP-adress: Välj klientdels-IP
- Serverdelspool: Välj serverdelspool
- Kontrollera "Portar med hög tillgänglighet"
- Protokoll: TCP
- Hälsoavsökning: Skapa hälsoavsökning med information nedan (gäller för både ASCS eller ERS)
  - Protokoll: TCP
  - Port: [till exempel: 620<Instance-no.> for ASCS, 621<Instance-no.> for ERS]
  - Intervall: 5
  - Tröskelvärde för avsökning: 2
- Tidsgräns för inaktivitet (minuter): 30
- Kontrollera "Aktivera flytande IP"

Kommentar

Egenskapsnummer för hälsoavsökningskonfigurationOfProbes, även kallat "Tröskelvärde för feltillstånd" i portalen, respekteras inte. Så om du vill kontrollera antalet lyckade eller misslyckade efterföljande avsökningar anger du egenskapen "probeThreshold" till 2. Det går för närvarande inte att ange den här egenskapen med Hjälp av Azure-portalen, så använd antingen Azure CLI - eller PowerShell-kommandot .

Följ stegen nedan om du vill skapa en standardlastbalanserare i Azure för installation av SAP-system med hög tillgänglighet med Hjälp av Azure CLI.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Expandera för att visa fullständig CLI-kod

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Följ stegen nedan om du vill skapa en azure-standardlastbalanserare för installation av SAP-system med hög tillgänglighet med Hjälp av Azure PowerShell.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Expandera för att visa fullständig PowerShell-kod

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Viktigt!

Flytande IP stöds inte på en sekundär IP-konfiguration för nätverkskort i belastningsutjämningsscenarier. Mer information finns i Begränsningar för Azure Load Balancer. Om du behöver fler IP-adresser för den virtuella datorn distribuerar du ett andra nätverkskort.

Kommentar

När virtuella datorer utan offentliga IP-adresser placeras i serverdelspoolen för en intern (ingen offentlig IP-adress) standardlastbalanserare, finns det ingen utgående Internetanslutning om inte mer konfiguration utförs för att tillåta routning till offentliga slutpunkter. Mer information om hur du uppnår utgående anslutning finns i Offentlig slutpunktsanslutning för virtuella datorer med hjälp av Azure Standard Load Balancer i SAP-scenarier med hög tillgänglighet.

Viktigt!

Aktivera inte TCP-tidsstämplar på virtuella Azure-datorer som placeras bakom Azure Load Balancer. Om du aktiverar TCP-tidsstämplar kan hälsoavsökningarna misslyckas. Ange parametern net.ipv4.tcp_timestamps till 0. Mer information finns i Load Balancer-hälsoavsökningar.

Inaktivera ID-mappning (om du använder NFSv4.1)

Anvisningarna i det här avsnittet gäller endast om du använder Azure NetApp Files-volymer med NFSv4.1-protokollet. Utför konfigurationen på alla virtuella datorer där Azure NetApp Files NFSv4.1-volymer monteras.

Verifiera NFS-domäninställningen. Kontrollera att domänen har konfigurerats som standarddomänen för Azure NetApp Files, dvs defaultv4iddomain.com. och att mappningen är inställd på ingen.

Viktigt!

Se till att ange NFS-domänen /etc/idmapd.conf på den virtuella datorn så att den matchar standarddomänkonfigurationen på Azure NetApp Files: defaultv4iddomain.com. Om det finns ett matchningsfel mellan domänkonfigurationen på NFS-klienten (dvs. den virtuella datorn) och NFS-servern (dvs. Azure NetApp-konfigurationen) visas behörigheterna för filer på Azure NetApp-volymer som är monterade på de virtuella datorerna som nobody.
```
sudo cat /etc/idmapd.conf

# Example
[General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody
```

Följande [A] prefix gäller för både PAS och AAS.

[A] Verifiera nfs4_disable_idmapping. Den ska vara inställd på Y. Kör monteringskommandot för att skapa katalogstrukturen där nfs4_disable_idmapping den finns. Du kommer inte att kunna skapa katalogen manuellt under /sys/modules eftersom åtkomst är reserverad för kerneln och drivrutinerna.

# Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 192.168.24.5:/sapQAS
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

Konfigurera (A)SCS

Nu ska du förbereda och installera SAP ASCS- och ERS-instanserna.

Skapa ett Pacemaker-kluster

Följ stegen i Konfigurera Pacemaker på Red Hat Enterprise Linux i Azure för att skapa ett grundläggande Pacemaker-kluster för den här (A)SCS-servern.

Förbereda för SAP NetWeaver-installationen

Följande objekt är prefix med antingen:

[A]: Gäller för alla noder
[1]: Gäller endast för nod 1
[2]: Gäller endast för nod 2

[A] Konfigurera värdnamnsmatchning.

Du kan antingen använda en DNS-server eller ändra /etc/hosts filen på alla noder. Det här exemplet visar hur du /etc/hosts använder filen. Ersätt IP-adressen och värdnamnet i följande kommandon:

sudo vi /etc/hosts

Infoga följande rader i /etc/hosts. Ändra IP-adressen och värdnamnet så att de matchar din miljö.

# IP address of cluster node 1
192.168.14.5    anftstsapcl1
# IP address of cluster node 2
192.168.14.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
192.168.14.9    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
192.168.14.10    anftstsapers

[1] Skapa SAP-kataloger i Azure NetApp Files-volymen. Montera Azure NetApp Files-volymen tillfälligt på en av de virtuella datorerna och skapa SAP-katalogerna (filsökvägar).

# mount temporarily the volume
sudo mkdir -p /saptmp

# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 192.168.24.5:/sapQAS /saptmp

# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 192.168.24.5:/sapQAS /saptmp

# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas

# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Skapa de delade katalogerna.

sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

[A] Installera NFS-klienten och andra krav.

sudo yum -y install nfs-utils resource-agents resource-agents-sap

[A] Kontrollera versionen av resource-agents-sap.

Kontrollera att versionen av det installerade resource-agents-sap paketet är minst 3.9.5-124.el7.

sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

[A] Lägg till monteringsposter.

Om du använder NFSv3:

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

Om du använder NFSv4.1:

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

Kommentar

Se till att matcha NFS-protokollversionen av Azure NetApp Files-volymerna när du monterar volymerna. Om Azure NetApp Files-volymerna skapas som NFSv3-volymer använder du motsvarande NFSv3-konfiguration. Om Azure NetApp Files-volymerna skapas som NFSv4.1-volymer följer du anvisningarna för att inaktivera ID-mappning och ser till att använda motsvarande NFSv4.1-konfiguration. I det här exemplet skapades Azure NetApp Files-volymerna som NFSv3-volymer.

Montera de nya resurserna.

sudo mount -a

[A] Konfigurera SWAP-filen.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Starta om agenten för att aktivera ändringen.

sudo service waagent restart

[A] Utför RHEL OS-konfiguration.

Baserat på RHEL-versionen utför du konfigurationen som nämns i SAP Note 2002167, 2772999 eller 3108316.

Installera SAP NetWeaver ASCS/ERS

[1] Konfigurera standardegenskaper för kluster.

pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

[1] Skapa en virtuell IP-resurs och hälsoavsökning för ASCS-instansen.

sudo pcs node standby anftstsapcl2

# If using NFSv3
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
  --group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
  --group g-QAS_ASCS

sudo pcs resource create vip_QAS_ASCS IPaddr2 \
  ip=192.168.14.9 \
  --group g-QAS_ASCS

sudo pcs resource create nc_QAS_ASCS azure-lb port=62000 \
  --group g-QAS_ASCS

Kontrollera att klusterstatusen är okej och att alla resurser har startats. Vilken nod resurserna körs på är inte viktigt.

sudo pcs status

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1

[1] Installera SAP NetWeaver ASCS.

Installera SAP NetWeaver ASCS som rot på den första noden med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för lastbalanserarens klientdelskonfiguration för ASCS, till exempel anftstsapvh, 192.168.14.9 och det instansnummer som du använde för avsökningen av lastbalanseraren, till exempel 00.

Du kan använda parametern sapinstSAPINST_REMOTE_ACCESS_USER för att tillåta att en icke-root-användare ansluter till sapinst.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
Om installationen inte kan skapa en undermapp i /usr/sap/QAS/ASCS00 kan du prova att ange ägare och grupp för ASCS00-mappen och försöka igen.
```
sudo chown qasadm /usr/sap/QAS/ASCS00
sudo chgrp sapsys /usr/sap/QAS/ASCS00
```

[1] Skapa en virtuell IP-resurs och hälsoavsökning för ERS-instansen.

sudo pcs node unstandby anftstsapcl2
sudo pcs node standby anftstsapcl1

# If using NFSv3
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
 --group g-QAS_AERS

sudo pcs resource create vip_QAS_AERS IPaddr2 \
  ip=192.168.14.10 \
 --group g-QAS_AERS

sudo pcs resource create nc_QAS_AERS azure-lb port=62101 \
 --group g-QAS_AERS

Kontrollera att klusterstatusen är okej och att alla resurser har startats. Vilken nod resurserna körs på är inte viktigt.

sudo pcs status

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2<
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2

[2] Installera SAP NetWeaver ERS.

Installera SAP NetWeaver ERS som rot på den andra noden med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för lastbalanserarens klientdelskonfiguration för ERS, till exempel anftstsapers, 192.168.14.10 och instansnumret som du använde för avsökningen av lastbalanseraren, till exempel 01.

Du kan använda parametern sapinstSAPINST_REMOTE_ACCESS_USER för att tillåta att en icke-root-användare ansluter till sapinst.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
Om installationen inte kan skapa en undermapp i /usr/sap/QAS/ERS01 kan du prova att ange ägare och grupp för mappen ERS01 och försöka igen.
```
sudo chown qaadm /usr/sap/QAS/ERS01
sudo chgrp sapsys /usr/sap/QAS/ERS01
```

[1] Anpassa ASCS/SCS- och ERS-instansprofilerna.

ASCS/SCS-profil

sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

För både ENSA1 och ENSA2 kontrollerar du att OS-parametrarna anges enligt beskrivningen keepalive i SAP Note 1410736.

ERS-profil

sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

[A] Konfigurera Keep Alive.

Kommunikationen mellan SAP NetWeaver-programservern och ASCS/SCS dirigeras via en lastbalanserare för programvara. Lastbalanseraren kopplar från inaktiva anslutningar efter en konfigurerbar tidsgräns. Om du vill förhindra den här åtgärden anger du en parameter i SAP NetWeaver ASCS/SCS-profilen, om du använder ENSA1, och ändrar Linux-systeminställningarna keepalive på alla SAP-servrar för både ENSA1/ENSA2. Mer information finns i SAP Note 1410736.
```
# Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300
```
[A] Uppdatera /usr/sap/sapservices filen.

För att förhindra att instanserna startas av sapinit startskriptet måste alla instanser som hanteras av Pacemaker kommenteras ut från /usr/sap/sapservices filen.
```
sudo vi /usr/sap/sapservices

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ASCS00/exe/sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh -D -u qasadm
# systemctl --no-ask-password start SAPQAS_00 # sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ERS01/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ERS01/exe/sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers -D -u qasadm
# systemctl --no-ask-password start SAPQAS_01 # sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers
```
Viktigt!

Med det systembaserade SAP Startup Framework kan SAP-instanser nu hanteras av systemd. Den lägsta nödvändiga Versionen av Red Hat Enterprise Linux (RHEL) är RHEL 8 för SAP. Som beskrivs i SAP Note 3115048 resulterar en ny installation av en SAP-kernel med integrerat systembaserat SAP Startup Framework-stöd alltid i en systemkontrollerad SAP-instans. Efter en SAP-kerneluppgradering av en befintlig SAP-installation till en kernel som har systembaserat STÖD för SAP Startup Framework måste dock vissa manuella steg utföras enligt beskrivningen i SAP Note 3115048 för att konvertera den befintliga SAP-startmiljön till en som är systemkontrollerad.

När du använder Red Hat HA-tjänster för SAP (klusterkonfiguration) för att hantera SAP-programserverinstanser som SAP ASCS och SAP ERS, krävs ytterligare ändringar för att säkerställa kompatibilitet mellan SAPInstance-resursagenten och det nya systembaserade SAP-startramverket. Så när SAP-programserverinstanserna har installerats eller växlats till en systemaktiverad SAP-kernel enligt SAP Note 3115048 måste stegen som anges i Red Hat KBA 6884531 slutföras korrekt på alla klusternoder.

[1] Skapa SAP-klusterresurserna.

Beroende på om du kör ett ENSA1- eller ENSA2-system väljer du respektive flik för att definiera resurserna. SAP introducerade stöd för ENSA2, inklusive replikering, i SAP NetWeaver 7.52. Från och med ABAP Platform 1809 installeras ENSA2 som standard. För STÖD FÖR ENSA2. Se SAP Note 2630416 för stöd för enqueue server 2.

Om du använder enqueue server 2-arkitektur (ENSA2) installerar du resource agent resource-agents-sap-4.1.1-12.el7.x86_64 eller senare och definierar resurserna enligt följande:

ENSA1
ENSA2

sudo pcs property set maintenance-mode=true

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=105 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

sudo pcs resource meta g-QAS_ASCS resource-stickiness=3000

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=105 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
sudo pcs constraint location rsc_sap_QAS_ASCS00 rule score=2000 runs_ers_QAS eq 1
sudo pcs constraint order start g-QAS_ASCS then stop g-QAS_AERS kind=Optional symmetrical=false

sudo pcs node unstandby anftstsapcl1
sudo pcs property set maintenance-mode=false

sudo pcs property set maintenance-mode=true

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 \
op monitor interval=20 on-fail=restart timeout=105 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

sudo pcs resource meta g-QAS_ASCS resource-stickiness=3000

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=105 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

sudo pcs resource meta rsc_sap_QAS_ERS01  resource-stickiness=3000

sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
sudo pcs constraint order start g-QAS_ASCS then start g-QAS_AERS kind=Optional symmetrical=false
sudo pcs constraint order start g-QAS_ASCS then stop g-QAS_AERS kind=Optional symmetrical=false

sudo pcs node unstandby anftstsapcl1
sudo pcs property set maintenance-mode=false

Om du uppgraderar från en äldre version och växlar till enqueue server 2 läser du SAP Note 2641322.

Kommentar

De högre tidsgränser som föreslås när du använder NFSv4.1 är nödvändiga på grund av protokollspecifik paus, vilket är relaterat till NFSv4.1-låneförnyelser. Mer information finns i Metodtips för NFS i NetApp. Tidsgränserna i föregående konfiguration är bara exempel och kan behöva anpassas till den specifika SAP-konfigurationen.

Kontrollera att klusterstatusen är okej och att alla resurser har startats. Vilken nod resurserna körs på är inte viktigt.

sudo pcs status

# Online: [ anftstsapcl1 anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1

[1] Kör följande steg för att konfigurera priority-fencing-delay (gäller endast pacemaker-2.0.4-6.el8 eller senare).

Kommentar

Om du har ett kluster med två noder kan du konfigurera klusteregenskapen priority-fencing-delay . Den här egenskapen medför mer fördröjning vid stängsel av en nod som har högre total resursprioritet när ett scenario med delad hjärna inträffar. Mer information finns i Can Pacemaker fence the cluster node with the fewest running resources?.

Egenskapen priority-fencing-delay gäller för pacemaker-2.0.4-6.el8 version eller senare. Om du konfigurerar priority-fencing-delay i ett befintligt kluster måste du rensa pcmk_delay_max inställningen i fäktningsenheten.
```
sudo pcs resource defaults update priority=1
sudo pcs resource update rsc_sap_QAS_ASCS00 meta priority=10

sudo pcs property set priority-fencing-delay=15s
```

[A] Lägg till brandväggsregler för ASCS och ERS på båda noderna.

# Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp

Förberedelse av SAP NetWeaver-programserver

Vissa databaser kräver att installationen av databasinstansen körs på en programserver. Förbered de virtuella datorerna på programservern för att kunna använda dem i dessa fall.

Följande steg förutsätter att du installerar programservern på en annan server än ASCS/SCS- och HANA-servrarna. Annars behövs inte några av stegen (som att konfigurera värdnamnsmatchning).

Följande objekt är prefix med antingen:

[A]: Gäller för både PAS och AAS
[P]: Gäller endast för PAS
[S]: Gäller endast för AAS

[A] Konfigurera värdnamnsmatchning.

Du kan antingen använda en DNS-server eller ändra /etc/hosts filen på alla noder. Det här exemplet visar hur du /etc/hosts använder filen. Ersätt IP-adressen och värdnamnet i följande kommandon:
```
sudo vi /etc/hosts
```
Infoga följande rader i /etc/hosts. Ändra IP-adressen och värdnamnet så att de matchar din miljö.
```
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
192.168.14.9 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
192.168.14.10 anftstsapers
192.168.14.7 anftstsapa01
192.168.14.8 anftstsapa02
```

[A] Skapa sapmnt katalogen.

sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

[A] Installera NFS-klienten och andra krav.
```
sudo yum -y install nfs-utils uuidd
```

[A] Lägg till monteringsposter.

Om du använder NFSv3:

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

Om du använder NFSv4.1:

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

Montera de nya resurserna.

sudo mount -a

[P] Skapa och montera PAS-katalogen.

Om du använder NFSv3:

sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

Om du använder NFSv4.1:

sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

[S] Skapa och montera AAS-katalogen.

Om du använder NFSv3:

sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

Om du använder NFSv4.1:

sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

[A] Konfigurera SWAP-filen.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Starta om agenten för att aktivera ändringen.

sudo service waagent restart

Installera databasen

I det här exemplet installeras SAP NetWeaver på SAP HANA. Du kan använda alla databaser som stöds för den här installationen. Mer information om hur du installerar SAP HANA i Azure finns i Hög tillgänglighet för SAP HANA på virtuella Azure-datorer i Red Hat Enterprise Linux. En lista över databaser som stöds finns i SAP Note 1928533.

Kör installationen av SAP-databasinstansen.

Installera SAP NetWeaver-databasinstansen som rot med hjälp av ett virtuellt värdnamn som mappar till IP-adressen för klientdelskonfigurationen för lastbalanseraren för databasen.

Du kan använda parametern sapinstSAPINST_REMOTE_ACCESS_USER för att tillåta att en icke-root-användare ansluter till sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```

Installation av SAP NetWeaver-programserver

Följ de här stegen för att installera en SAP-programserver.

Förbered programservern.

Följ stegen i föregående avsnitt SAP NetWeaver-programserverförberedelser för att förbereda programservern.
Installera SAP NetWeaver-programservern.

Installera en primär eller ytterligare SAP NetWeaver-programserver.

Du kan använda parametern sapinstSAPINST_REMOTE_ACCESS_USER för att tillåta att en icke-root-användare ansluter till sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Uppdatera SAP HANA-säkerhetsarkivet.

Uppdatera DET säkra SAP HANA-arkivet så att det pekar på det virtuella namnet på installationsprogrammet för SAP HANA-systemreplikering.

Kör följande kommando för att lista posterna som <sapsid>adm.
```
hdbuserstore List
```
Alla poster bör visas och se ut ungefär så här:
```
DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 192.168.14.4:30313
  USER: SAPABAP1
  DATABASE: QAS
```
Utdata visar att IP-adressen för standardposten pekar på den virtuella datorn och inte på lastbalanserarens IP-adress. Du måste ändra den här posten så att den pekar på lastbalanserarens virtuella värdnamn. Se till att använda samma port (30313 i föregående utdata) och databasnamn (QAS i föregående utdata).
```
su - qasadm
hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>
```

Testa klusterkonfigurationen

Testa pacemakerklustret noggrant. Mer information finns i Köra vanliga redundanstester.

Nästa steg

Information om hur du distribuerar ett scenario för kostnadsoptimering där PAS- och AAS-instanserna distribueras med SAP NetWeaver HA-klustret på RHEL finns i Installera SAP-dialoginstansen med virtuella SAP ASCS/SCS-datorer med hög tillgänglighet på RHEL.
Se HA för SAP NW på virtuella Azure-datorer på RHEL för SAP-program med flera SID-guider.
Se Planering och implementering av Azure Virtual Machines för SAP.
Se Azure Virtual Machines-distribution för SAP.
Se Azure Virtual Machines DBMS-distribution för SAP.
Information om hur du upprättar ha och planerar för haveriberedskap för SAP HANA i Azure (stora instanser) finns i HÖG tillgänglighet och haveriberedskap för SAP HANA (stora instanser) i Azure.
Information om hur du upprättar ha och planerar för haveriberedskap för SAP HANA på virtuella Azure-datorer finns i Hög tillgänglighet för SAP HANA på virtuella Azure-datorer.

Azure Virtual Machines HA för SAP NetWeaver på RHEL med Azure NetApp Files för SAP-program

Förutsättningar

Översikt

Konfigurera Azure NetApp Files-infrastrukturen

Distribuera Azure NetApp Files-resurser

Viktigt!

Förbered infrastrukturen

Distribuera virtuella Linux-datorer manuellt via Azure-portalen

Konfigurera Azure-lastbalanserare

Inaktivera ID-mappning (om du använder NFSv4.1)

Konfigurera (A)SCS

Skapa ett Pacemaker-kluster

Förbereda för SAP NetWeaver-installationen

Installera SAP NetWeaver ASCS/ERS

Förberedelse av SAP NetWeaver-programserver

Installera databasen

Installation av SAP NetWeaver-programserver

Testa klusterkonfigurationen

Nästa steg

Ytterligare resurser