Disponibilità elevata per SAP NetWeaver in macchine virtuali di Azure in Red Hat Enterprise Linux per le applicazioni SAP guida a più SIDHigh availability for SAP NetWeaver on Azure VMs on Red Hat Enterprise Linux for SAP applications multi-SID guide

Questo articolo descrive come distribuire più sistemi SAP NetWeaver a disponibilità elevata (ovvero multi-SID) in un cluster a due nodi in macchine virtuali di Azure con Red Hat Enterprise Linux per le applicazioni SAP.This article describes how to deploy multiple SAP NetWeaver highly available systems(that is, multi-SID) in a two node cluster on Azure VMs with Red Hat Enterprise Linux for SAP applications.

Nelle configurazioni di esempio, i comandi di installazione e così via tre sistemi SAP NetWeaver 7,50 vengono distribuiti in un singolo cluster a disponibilità elevata a due nodi.In the example configurations, installation commands etc. three SAP NetWeaver 7.50 systems are deployed in a single, two node high availability cluster. I SID dei sistemi SAP sono:The SAP systems SIDs are:

  • NW1: ASC Numero di istanza 00 e nome host virtuale msnw1ascs; Numero di istanza ERS 02 e nome host virtuale msnw1ers.NW1: ASCS instance number 00 and virtual host name msnw1ascs; ERS instance number 02 and virtual host name msnw1ers.
  • NW2: ASC Numero di istanza 10 e nome host virtuale msnw2ascs; Numero di istanza ERS 12 e nome host virtuale msnw2ers.NW2: ASCS instance number 10 and virtual hostname msnw2ascs; ERS instance number 12 and virtual host name msnw2ers.
  • NW3: ASC Numero di istanza 20 e nome host virtuale msnw3ascs; Numero di istanza di ERS 22 e nome host virtuale msnw3ers.NW3: ASCS instance number 20 and virtual hostname msnw3ascs; ERS instance number 22 and virtual host name msnw3ers.

L'articolo non copre il livello di database e la distribuzione delle condivisioni NFS di SAP.The article doesn't cover the database layer and the deployment of the SAP NFS shares. Negli esempi di questo articolo si usa Azure NetApp files volume sapMSID per le condivisioni NFS, supponendo che il volume sia già distribuito.In the examples in this article, we are using Azure NetApp Files volume sapMSID for the NFS shares, assuming that the volume is already deployed. Si presuppone inoltre che il volume Azure NetApp Files venga distribuito con il protocollo NFSv3 e che esistano i percorsi di file seguenti per le risorse cluster per le istanze ASC e ERS dei sistemi SAP NW1, NW2 e NW3:We are also assuming, that the Azure NetApp Files volume is deployed with NFSv3 protocol and that the following file paths exist for the cluster resources for the ASCS and ERS instances of SAP systems NW1, NW2 and NW3:

  • volume sapMSID (nfs://10.42.0.4/sapmntNW1)volume sapMSID (nfs://10.42.0.4/sapmntNW1)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ASC)volume sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1sys)volume sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ERS)volume sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW2)volume sapMSID (nfs://10.42.0.4/sapmntNW2)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ASC)volume sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2sys)volume sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ERS)volume sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW3)volume sapMSID (nfs://10.42.0.4/sapmntNW3)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ASC)volume sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ERS)volume sapMSID (nfs://10.42.0.4/usrsapNW3ers)

Prima di iniziare, consultare innanzitutto le note e i documenti SAP seguenti:Before you begin, refer to the following SAP Notes and papers first:

PanoramicaOverview

Le macchine virtuali che fanno parte del cluster devono essere dimensionate per poter eseguire tutte le risorse, se si verifica il failover.The virtual machines, that participate in the cluster must be sized to be able to run all resources, in case failover occurs. Ogni SID SAP può eseguire il failover indipendente l'uno dall'altro nel cluster a disponibilità elevata a più SID.Each SAP SID can fail over independent from each other in the multi-SID high availability cluster.

Per ottenere la disponibilità elevata, SAP NetWeaver richiede condivisioni a disponibilità elevata.To achieve high availability, SAP NetWeaver requires highly available shares. In questa documentazione vengono presentati gli esempi con le condivisioni SAP distribuite in Azure NetApp files volumi NFS.In this documentation, we present the examples with the SAP shares deployed on Azure NetApp Files NFS volumes. È anche possibile ospitare le condivisioni in un cluster GlusterFSa disponibilità elevata, che può essere usato da più sistemi SAP.It is also possible to host the shares on highly available GlusterFS cluster, which can be used by multiple SAP systems.

Panoramica della disponibilità elevata di SAP NetWeaver

Importante

Il supporto per il clustering a più SID di SAP ASC/ERS con Red Hat Linux come sistema operativo guest nelle macchine virtuali di Azure è limitato a cinque SID SAP nello stesso cluster.The support for multi-SID clustering of SAP ASCS/ERS with Red Hat Linux as guest operating system in Azure VMs is limited to five SAP SIDs on the same cluster. Ogni nuovo SID aumenta la complessità.Each new SID increases the complexity. Non è supportata una combinazione di server di replica SAP di Accodamento e di Accodamento del server di replica 2 nello stesso cluster.A mix of SAP Enqueue Replication Server 1 and Enqueue Replication Server 2 on the same cluster is not supported. Il clustering a più SID descrive l'installazione di più istanze di SAP ASC/ERS con SID diversi in un cluster pacemaker.Multi-SID clustering describes the installation of multiple SAP ASCS/ERS instances with different SIDs in one Pacemaker cluster. Attualmente il clustering a più SID è supportato solo per ASC/ERS.Currently multi-SID clustering is only supported for ASCS/ERS.

Suggerimento

Il clustering a più SID di SAP ASC/ERS è una soluzione con maggiore complessità.The multi-SID clustering of SAP ASCS/ERS is a solution with higher complexity. È più complesso da implementare.It is more complex to implement. Comporta inoltre un lavoro amministrativo più elevato, quando si eseguono attività di manutenzione, ad esempio l'applicazione di patch del sistema operativo.It also involves higher administrative effort, when executing maintenance activities (like OS patching). Prima di iniziare l'implementazione effettiva, è opportuno pianificare attentamente la distribuzione e tutti i componenti necessari, ad esempio macchine virtuali, montaggi NFS, VIP, configurazioni del servizio di bilanciamento del carico e così via.Before you start the actual implementation, take time to carefully plan out the deployment and all involved components like VMs, NFS mounts, VIPs, load balancer configurations and so on.

SAP NetWeaver ASC, SAP NetWeaver SCS e SAP NetWeaver ERS usano un nome host virtuale e indirizzi IP virtuali.SAP NetWeaver ASCS, SAP NetWeaver SCS and SAP NetWeaver ERS use virtual hostname and virtual IP addresses. Per usare un indirizzo IP virtuale in Azure, occorre il bilanciamento del carico.On Azure, a load balancer is required to use a virtual IP address. È consigliabile usare Load Balancer Standard.We recommend using Standard load balancer.

L'elenco seguente mostra la configurazione del servizio di bilanciamento del carico (A) SCS e ERS per questo esempio di cluster a più SID con tre sistemi SAP.The following list shows the configuration of the (A)SCS and ERS load balancer for this multi-SID cluster example with three SAP systems. Per ognuno dei SID sono necessari un indirizzo IP front-end, Probe di integrità e regole di bilanciamento del carico distinti per ogni istanza di ASC e ERS.You will need separate frontend IP, health probes, and load-balancing rules for each ASCS and ERS instance for each of the SIDs. Assegnare tutte le VM che fanno parte del cluster ASC/ASC a un pool back-end di un singolo ILB.Assign all VMs, that are part of the ASCS/ASCS cluster to one backend pool of a single ILB.

(A)SCS(A)SCS

  • Configurazione front-endFrontend configuration

    • Indirizzo IP per NW1:10.3.1.50IP address for NW1: 10.3.1.50
    • Indirizzo IP per NW2:10.3.1.52IP address for NW2: 10.3.1.52
    • Indirizzo IP per NW3:10.3.1.54IP address for NW3: 10.3.1.54
  • Porte ProbeProbe Ports

    • Porta 620 < Nr >, pertanto per le porte Probe NW1, NW2 e NW3 620 00, 620 10 e 620 20Port 620 <nr>, therefore for NW1, NW2, and NW3 probe ports 620 00, 620 10 and 620 20
  • Regole di bilanciamento del carico: crearne una per ogni istanza, ovvero NW1/ASC, NW2/ASC e NW3/ASC.Load-balancing rules - create one for each instance, that is, NW1/ASCS, NW2/ASCS and NW3/ASCS.

    • Se si usa Load Balancer Standard, selezionare Porte a disponibilità elevataIf using Standard Load Balancer, select HA ports
    • Se si usa Load Balancer Basic, creare regole di bilanciamento del carico per le porte seguentiIf using Basic Load Balancer, create Load balancing rules for the following ports
      • 32<nr> TCP32<nr> TCP
      • 36<nr> TCP36<nr> TCP
      • 39<nr> TCP39<nr> TCP
      • 81<nr> TCP81<nr> TCP
      • 5<nr>13 TCP5<nr>13 TCP
      • 5<nr>14 TCP5<nr>14 TCP
      • 5<nr>16 TCP5<nr>16 TCP

ERSERS

  • Configurazione front-endFrontend configuration

    • Indirizzo IP per NW1 10.3.1.51IP address for NW1 10.3.1.51
    • Indirizzo IP per NW2 10.3.1.53IP address for NW2 10.3.1.53
    • Indirizzo IP per NW3 10.3.1.55IP address for NW3 10.3.1.55
  • Porta probeProbe Port

    • Porta 621 < Nr >, quindi per le porte Probe NW1, NW2 e N3 621 02, 621 12 e 621 22Port 621 <nr>, therefore for NW1, NW2, and N3 probe ports 621 02, 621 12 and 621 22
  • Regole di bilanciamento del carico: crearne una per ogni istanza, ovvero NW1/ERS, NW2/ERS e NW3/ERS.Load-balancing rules - create one for each instance, that is, NW1/ERS, NW2/ERS and NW3/ERS.

    • Se si usa Load Balancer Standard, selezionare Porte a disponibilità elevataIf using Standard Load Balancer, select HA ports
    • Se si usa Load Balancer Basic, creare regole di bilanciamento del carico per le porte seguentiIf using Basic Load Balancer, create Load balancing rules for the following ports
      • 32<nr> TCP32<nr> TCP
      • 33<nr> TCP33<nr> TCP
      • 5<nr>13 TCP5<nr>13 TCP
      • 5<nr>14 TCP5<nr>14 TCP
      • 5<nr>16 TCP5<nr>16 TCP
  • Configurazione back-endBackend configuration

    • Connessione alle interfacce di rete primarie di tutte le macchine virtuali che devono far parte del cluster (A)SCS/ERSConnected to primary network interfaces of all virtual machines that should be part of the (A)SCS/ERS cluster

Importante

L'IP mobile non è supportato in una configurazione IP secondaria di NIC negli scenari di bilanciamento del carico.Floating IP is not supported on a NIC secondary IP configuration in load-balancing scenarios. Per informazioni dettagliate, vedere limitazioni del servizio di bilanciamento del carico di Azure.For details see Azure Load balancer Limitations. Se è necessario un indirizzo IP aggiuntivo per la macchina virtuale, distribuire una seconda scheda di interfaccia di rete.If you need additional IP address for the VM, deploy a second NIC.

Nota

Se vengono inserite macchine virtuali senza indirizzi IP pubblici nel pool back-end di Load Balancer Standard interno ad Azure (nessun indirizzo IP pubblico), non sarà presente alcuna connettività Internet in uscita, a meno che non venga eseguita una configurazione aggiuntiva per consentire il routing a endpoint pubblici.When VMs without public IP addresses are placed in the backend pool of internal (no public IP address) Standard Azure load balancer, there will be no outbound internet connectivity, unless additional configuration is performed to allow routing to public end points. Per informazioni dettagliate su come ottenere la connettività in uscita, vedere Connettività degli endpoint pubblici per le macchine virtuali usando Load Balancer Standard di Azure negli scenari a disponibilità elevata SAP.For details on how to achieve outbound connectivity see Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios.

Importante

Non abilitare i timestamp TCP nelle macchine virtuali di Azure che si trovano dietro Azure Load Balancer.Do not enable TCP timestamps on Azure VMs placed behind Azure Load Balancer. Se si abilitano i timestamp TCP, i probe di integrità avranno esito negativo.Enabling TCP timestamps will cause the health probes to fail. Impostare il parametro net.ipv4.tcp_timestamps su 0.Set parameter net.ipv4.tcp_timestamps to 0. Per informazioni dettagliate, vedere Probe di integrità di Load Balancer.For details see Load Balancer health probes.

Condivisioni SAPSAP shares

SAP NetWeaver richiede l'archiviazione condivisa per il trasporto, la directory del profilo e così via.SAP NetWeaver requires shared storage for the transport, profile directory, and so on. Per il sistema SAP a disponibilità elevata, è importante avere condivisioni a disponibilità elevata.For highly available SAP system, it is important to have highly available shares. Sarà necessario scegliere l'architettura per le condivisioni SAP.You will need to decide on the architecture for your SAP shares. Una delle opzioni consiste nel distribuire le condivisioni nei volumi Azure NetApp files NFS.One option is to deploy the shares on Azure NetApp Files NFS volumes. Con Azure NetApp Files, sarà possibile ottenere la disponibilità elevata predefinita per le condivisioni NFS di SAP.With Azure NetApp Files, you will get built-in high availability for the SAP NFS shares.

Un'altra opzione consiste nel creare GlusterFS in macchine virtuali di Azure in Red Hat Enterprise Linux per SAP NetWeaver, che può essere condiviso tra più sistemi SAP.Another option is to build GlusterFS on Azure VMs on Red Hat Enterprise Linux for SAP NetWeaver, which can be shared between multiple SAP systems.

Distribuire il primo sistema SAP nel clusterDeploy the first SAP system in the cluster

Ora che è stata decisa l'architettura per le condivisioni SAP, distribuire il primo sistema SAP nel cluster, seguendo la documentazione corrispondente.Now that you have decided on the architecture for the SAP shares, deploy the first SAP system in the cluster, following the corresponding documentation.

I documenti elencati sopra illustrano i passaggi per preparare l'infrastruttura necessaria, compilare il cluster, preparare il sistema operativo per l'esecuzione dell'applicazione SAP.The documents listed above will guide you through the steps to prepare the necessary infrastructure, build the cluster, prepare the OS for running the SAP application.

Suggerimento

Testare sempre la funzionalità di failover del cluster, dopo aver distribuito il primo sistema, prima di aggiungere i SID SAP aggiuntivi al cluster.Always test the fail over functionality of the cluster, after the first system is deployed, before adding the additional SAP SIDs to the cluster. In questo modo si saprà che la funzionalità del cluster funziona, prima di aggiungere la complessità dei sistemi SAP aggiuntivi al cluster.That way you will know that the cluster functionality works, before adding the complexity of additional SAP systems to the cluster.

Distribuire sistemi SAP aggiuntivi nel clusterDeploy additional SAP systems in the cluster

In questo esempio si presuppone che il sistema NW1 sia già stato distribuito nel cluster.In this example, we assume that system NW1 was already deployed in the cluster. Viene illustrato come eseguire la distribuzione nei sistemi SAP del cluster NW2 e NW3.We will show how to deploy in the cluster SAP systems NW2 and NW3.

Gli elementi seguenti sono preceduti dall'indicazione [A] - applicabile a tutti i nodi, [1] - applicabile solo al nodo 1 o [2] - applicabile solo al nodo 2.The following items are prefixed with either [A] - applicable to all nodes, [1] - only applicable to node 1 or [2] - only applicable to node 2.

PrerequisitiPrerequisites

Importante

Prima di seguire le istruzioni per la distribuzione di sistemi SAP aggiuntivi nel cluster, seguire le istruzioni per distribuire il primo sistema SAP nel cluster, in quanto sono necessari passaggi solo durante la prima distribuzione del sistema.Before following the instructions to deploy additional SAP systems in the cluster, follow the instructions to deploy the first SAP system in the cluster, as there are steps which are only necessary during the first system deployment.

In questa documentazione si presuppone che:This documentation assumes that:

  • Il cluster Pacemaker è già configurato e in esecuzione.The Pacemaker cluster is already configured and running.
  • Almeno un sistema SAP (istanza ASC/ERS) è già distribuito ed è in esecuzione nel cluster.At least one SAP system (ASCS / ERS instance) is already deployed and is running in the cluster.
  • La funzionalità di failover del cluster è stata testata.The cluster failover functionality has been tested.
  • Verranno distribuite le condivisioni NFS per tutti i sistemi SAP.The NFS shares for all SAP systems are deployed.

Preparare l'installazione di SAP NetWeaverPrepare for SAP NetWeaver Installation

  1. Aggiungere la configurazione per il sistema appena distribuito, ovvero NW2, NW3, al Azure Load Balancer esistente, seguendo le istruzioni distribuire Azure Load Balancer manualmente tramite portale di Azure.Add configuration for the newly deployed system (that is, NW2, NW3) to the existing Azure Load Balancer, following the instructions Deploy Azure Load Balancer manually via Azure portal. Modificare gli indirizzi IP, le porte Probe di integrità, le regole di bilanciamento del carico per la configurazione.Adjust the IP addresses, health probe ports, load-balancing rules for your configuration.

  2. [A] configurare la risoluzione dei nomi per i sistemi SAP aggiuntivi.[A] Setup name resolution for the additional SAP systems. È possibile usare il server DNS o modificare /etc/hosts in tutti i nodi.You can either use DNS server or modify /etc/hosts on all nodes. In questo esempio viene illustrato come utilizzare il /etc/hosts file.This example shows how to use the /etc/hosts file. Adattare gli indirizzi IP e i nomi host all'ambiente.Adapt the IP addresses and the host names to your environment.

    sudo vi /etc/hosts
    # IP address of the load balancer frontend configuration for NW2 ASCS
    10.3.1.52 msnw2ascs
    # IP address of the load balancer frontend configuration for NW3 ASCS
    10.3.1.54 msnw3ascs
    # IP address of the load balancer frontend configuration for NW2 ERS
    10.3.1.53 msnw2ers
    # IP address of the load balancer frontend configuration for NW3 ERS
    10.3.1.55 msnw3ers
    
  3. [A] creare le directory condivise per i sistemi SAP NW2 e NW3 aggiuntivi che si intende distribuire nel cluster.[A] Create the shared directories for the additional NW2 and NW3 SAP systems that you are deploying to the cluster.

    sudo mkdir -p /sapmnt/NW2
    sudo mkdir -p /usr/sap/NW2/SYS
    sudo mkdir -p /usr/sap/NW2/ASCS10
    sudo mkdir -p /usr/sap/NW2/ERS12
    sudo mkdir -p /sapmnt/NW3
    sudo mkdir -p /usr/sap/NW3/SYS
    sudo mkdir -p /usr/sap/NW3/ASCS20
    sudo mkdir -p /usr/sap/NW3/ERS22
    
    
    sudo chattr +i /sapmnt/NW2
    sudo chattr +i /usr/sap/NW2/SYS
    sudo chattr +i /usr/sap/NW2/ASCS10
    sudo chattr +i /usr/sap/NW2/ERS12
    sudo chattr +i /sapmnt/NW3
    sudo chattr +i /usr/sap/NW3/SYS
    sudo chattr +i /usr/sap/NW3/ASCS20
    sudo chattr +i /usr/sap/NW3/ERS22
    
  4. [A] aggiungere le voci di montaggio per i file System/Sapmnt/SID e/usr/sap/SID/sys per i sistemi SAP aggiuntivi che si intende distribuire nel cluster.[A] Add the mount entries for the /sapmnt/SID and /usr/sap/SID/SYS file systems for the additional SAP systems that you are deploying to the cluster. In questo esempio NW2 e NW3.In this example NW2 and NW3.

    Aggiornare il file /etc/fstab con i file System per i sistemi SAP aggiuntivi che si sta distribuendo nel cluster.Update file /etc/fstab with the file systems for the additional SAP systems that you are deploying to the cluster.

    • Se si usa Azure NetApp Files, seguire le istruzioni riportate quiIf using Azure NetApp Files, follow the instructions here
    • Se si usa il cluster GlusterFS, seguire le istruzioni riportate quiIf using GlusterFS cluster, follow the instructions here

Installare ASC/ERSInstall ASCS / ERS

  1. Creare le risorse del cluster IP virtuale e probe di integrità per le istanze ASC dei sistemi SAP aggiuntivi da distribuire nel cluster.Create the virtual IP and health probe cluster resources for the ASCS instances of the additional SAP systems you are deploying to the cluster. L'esempio illustrato di seguito è per NW2 e NW3 ASC, usando NFS in Azure NetApp files volumi con il protocollo NFSv3.The example shown here is for NW2 and NW3 ASCS, using NFS on Azure NetApp Files volumes with NFSv3 protocol.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
    directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_ASCS
    
    sudo pcs resource create vip_NW2_ASCS IPaddr2 \
    ip=10.3.1.52 cidr_netmask=24 \
     --group g-NW2_ASCS
    
    sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
     --group g-NW2_ASCS
    
    sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
    directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
    --group g-NW3_ASCS
    
    sudo pcs resource create vip_NW3_ASCS IPaddr2 \
    ip=10.3.1.54 cidr_netmask=24 \
    --group g-NW3_ASCS
    
    sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
    --group g-NW3_ASCS
    

    Verificare che lo stato del cluster sia OK e che tutte le risorse siano avviate.Make sure the cluster status is ok and that all resources are started. Non è importante il nodo su cui sono in esecuzione le risorse.It is not important on which node the resources are running.

  2. [1] Installare SAP NetWeaver ASCS[1] Install SAP NetWeaver ASCS

    Installare SAP NetWeaver ASC come root, usando un nome host virtuale che esegue il mapping all'indirizzo IP della configurazione front-end del servizio di bilanciamento del carico per il ASC.Install SAP NetWeaver ASCS as root, using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ASCS. Ad esempio, per NW2 di sistema, il nome host virtuale è msnw2ascs, 10.3.1.52 e il numero di istanza usato per il probe del servizio di bilanciamento del carico, ad esempio 10.For example, for system NW2, the virtual hostname is msnw2ascs, 10.3.1.52 and the instance number that you used for the probe of the load balancer, for example 10. Per NW3 di sistema, il nome host virtuale è msnw3ascs, 10.3.1.54 e il numero di istanza usato per il probe del servizio di bilanciamento del carico, ad esempio 20.For system NW3, the virtual hostname is msnw3ascs, 10.3.1.54 and the instance number that you used for the probe of the load balancer, for example 20. Prendere nota del nodo del cluster installato ASC per ogni SID SAP.Note down on which cluster node you installed ASCS for each SAP SID.

    È possibile usare il parametro sapinst SAPINST_REMOTE_ACCESS_USER per consentire a un utente non ROOT di connettersi a sapinst.You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst. È possibile usare il parametro SAPINST_USE_HOSTNAME per installare SAP, usando il nome host virtuale.You can use parameter SAPINST_USE_HOSTNAME to install SAP, using virtual host name.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Se l'installazione non riesce a creare una sottocartella in/usr/SAP/SID/ASCS instance #, provare a impostare il proprietario su SID ADM e il gruppo su sapsys dell'istanza ASC # e riprovare.If the installation fails to create a subfolder in /usr/sap/SID/ASCS Instance#, try setting the owner to sid adm and group to sapsys of the ASCS Instance# and retry.

  3. [1] creare una risorsa IP virtuale e un cluster di probe di integrità per l'istanza ERS del sistema SAP aggiuntivo che si sta distribuendo nel cluster.[1] Create a virtual IP and health-probe cluster resources for the ERS instance of the additional SAP system you are deploying to the cluster. L'esempio illustrato di seguito è per NW2 e NW3 ERS, usando NFS su volumi di Azure NetApp files con il protocollo NFSv3.The example shown here is for NW2 and NW3 ERS, using NFS on Azure NetApp Files volumes with NFSv3 protocol.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
    directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW2_AERS
    
    sudo pcs resource create vip_NW2_AERS IPaddr2 \
    ip=10.3.1.53 cidr_netmask=24 \
     --group g-NW2_AERS
    
    sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
     --group g-NW2_AERS
    
    sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
    directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
    op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
     --group g-NW3_AERS
    
    sudo pcs resource create vip_NW3_AERS IPaddr2 \
    ip=10.3.1.55 cidr_netmask=24 \
     --group g-NW3_AERS
    
    sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
     --group g-NW3_AERS
    

    Verificare che lo stato del cluster sia OK e che tutte le risorse siano avviate.Make sure the cluster status is ok and that all resources are started.

    Assicurarsi quindi che le risorse del gruppo ERS appena creato siano in esecuzione nel nodo del cluster, opposto al nodo del cluster in cui è stata installata l'istanza di ASC per lo stesso sistema SAP.Next, make sure that the resources of the newly created ERS group, are running on the cluster node, opposite to the cluster node where the ASCS instance for the same SAP system was installed. Ad esempio, se è stato installato NW2 ASC rhelmsscl1 , verificare che il gruppo NW2 ERS sia in esecuzione in rhelmsscl2 .For example, if NW2 ASCS was installed on rhelmsscl1, then make sure the NW2 ERS group is running on rhelmsscl2. È possibile eseguire la migrazione del gruppo NW2 ERS a rhelmsscl2 eseguendo il comando seguente per una delle risorse cluster nel gruppo:You can migrate the NW2 ERS group to rhelmsscl2 by running the following command for one of the cluster resources in the group:

      pcs resource move fs_NW2_AERS rhelmsscl2
    
  4. [2] Installare SAP NetWeaver ERS[2] Install SAP NetWeaver ERS

    Installare SAP NetWeaver ERS come root nell'altro nodo usando un nome host virtuale mappato all'indirizzo IP della configurazione front-end del servizio di bilanciamento del carico per ERS.Install SAP NetWeaver ERS as root on the other node, using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ERS. Ad esempio, per NW2 di sistema, il nome host virtuale sarà msnw2ers, 10.3.1.53 e il numero di istanza usato per il probe del servizio di bilanciamento del carico, ad esempio 12.For example for system NW2, the virtual host name will be msnw2ers, 10.3.1.53 and the instance number that you used for the probe of the load balancer, for example 12. Per NW3 di sistema, il nome host virtuale msnw3ers, 10.3.1.55 e il numero di istanza usato per il probe del servizio di bilanciamento del carico, ad esempio 22.For system NW3, the virtual host name msnw3ers, 10.3.1.55 and the instance number that you used for the probe of the load balancer, for example 22.

    È possibile usare il parametro sapinst SAPINST_REMOTE_ACCESS_USER per consentire a un utente non ROOT di connettersi a sapinst.You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst. È possibile usare il parametro SAPINST_USE_HOSTNAME per installare SAP, usando il nome host virtuale.You can use parameter SAPINST_USE_HOSTNAME to install SAP, using virtual host name.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
    sudo firewall-cmd --zone=public --add-port=4237/tcp
    sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Nota

    Usare SWPM SP 20 PL 05 o versione successiva.Use SWPM SP 20 PL 05 or higher. Le versioni precedenti non impostano correttamente le autorizzazioni e l'installazione avrà esito negativo.Lower versions do not set the permissions correctly and the installation will fail.

    Se l'installazione non riesce a creare una sottocartella in/usr/SAP/NW2/ERS instance #, provare a impostare il proprietario su SID ADM e il gruppo su sapsys della cartella dell'istanza ERS # e riprovare.If the installation fails to create a subfolder in /usr/sap/NW2/ERS Instance#, try setting the owner to sid adm and the group to sapsys of the ERS Instance# folder and retry.

    Se è necessario eseguire la migrazione del gruppo ERS del sistema SAP appena distribuito in un altro nodo del cluster, non dimenticare di rimuovere il vincolo location per il gruppo ERS.If it was necessary for you to migrate the ERS group of the newly deployed SAP system to a different cluster node, don't forget to remove the location constraint for the ERS group. È possibile rimuovere il vincolo eseguendo il comando seguente (l'esempio viene fornito per i sistemi SAP NW2 e NW3).You can remove the constraint by running the following command (the example is given for SAP systems NW2 and NW3). Assicurarsi di rimuovere i vincoli temporanei per la stessa risorsa usata nel comando per spostare il gruppo di cluster ERS.Make sure to remove the temporary constraints for the same resource you used in the command to move the ERS cluster group.

      pcs resource clear fs_NW2_AERS
      pcs resource clear fs_NW3_AERS
    
  5. [1] adattare i profili dell'istanza ASC/SCS e ERS per i sistemi SAP appena installati.[1] Adapt the ASCS/SCS and ERS instance profiles for the newly installed SAP system(s). L'esempio illustrato di seguito è relativo a NW2.The example shown below is for NW2. Sarà necessario adattare i profili ASC/SCS e ERS per tutte le istanze di SAP aggiunte al cluster.You will need to adapt the ASCS/SCS and ERS profiles for all SAP instances added to the cluster.

    • Profilo ASCS/SCSASCS/SCS profile

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      Per ENSA1 e ENSA2, assicurarsi che i parametri del keepalive sistema operativo siano impostati come descritto nella nota SAP 1410736.For both ENSA1 and ENSA2, make sure that the keepalive OS parameters are set as described in SAP note 1410736.

    • Profilo ERSERS profile

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] Aggiornare il file /usr/sap/sapservices[A] Update the /usr/sap/sapservices file

    Per evitare l'avvio delle istanze dallo script di avvio sapinit, tutte le istanze gestite da pacemaker devono essere impostate come commento dal /usr/sap/sapservices file.To prevent the start of the instances by the sapinit startup script, all instances managed by Pacemaker must be commented out from /usr/sap/sapservices file. L'esempio illustrato di seguito riguarda i sistemi SAP NW2 e NW3.The example shown below is for SAP systems NW2 and NW3.

     # On the node where ASCS was installed, comment out the line for the ASCS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
    
     # On the node where ERS was installed, comment out the line for the ERS instacnes
     #LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
     #LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
    
  7. [1] creare le risorse del cluster SAP per il sistema SAP appena installato.[1] Create the SAP cluster resources for the newly installed SAP system.

    Se si usa l'architettura di Accodamento server 1 (ENSA1), definire le risorse per i sistemi SAP NW2 e NW3 come indicato di seguito:If using enqueue server 1 architecture (ENSA1), define the resources for SAP systems NW2 and NW3 as follows:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
    sudo pcs constraint order g-NW2_ASCS then g-NW2_AERS kind=Optional symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
    sudo pcs constraint order g-NW3_ASCS then g-NW3_AERS kind=Optional symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    SAP ha introdotto il supporto per il server di accodamento 2, inclusa la replica, a partire da SAP NW 7.52.SAP introduced support for enqueue server 2, including replication, as of SAP NW 7.52. A partire dalla piattaforma ABAP 1809, il server di accodamento 2 viene installato per impostazione predefinita.Starting with ABAP Platform 1809, enqueue server 2 is installed by default. Vedere la nota SAP 2630416 per il supporto del server di accodamento 2.See SAP note 2630416 for enqueue server 2 support. Se si usa l'architettura di Accodamento server 2 (ENSA2), definire le risorse per i sistemi SAP NW2 e NW3 come indicato di seguito:If using enqueue server 2 architecture (ENSA2), define the resources for SAP systems NW2 and NW3 as follows:

     sudo pcs property set maintenance-mode=true
    
    sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
    InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_ASCS
    
    sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
    InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW2_AERS
    
    sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
    sudo pcs constraint order g-NW2_ASCS then g-NW2_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS symmetrical=false
    
    sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
    InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_ASCS
    
    sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
    InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
    AUTOMATIC_RECOVER=false IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
     --group g-NW3_AERS
    
    sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
    sudo pcs constraint order g-NW3_ASCS then g-NW3_AERS kind=Optional symmetrical=false
    sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS symmetrical=false
    
    sudo pcs property set maintenance-mode=false
    

    Se si esegue l'aggiornamento da una versione precedente e si passa al server di accodamento 2, vedere la nota SAP 2641019.If you are upgrading from an older version and switching to enqueue server 2, see SAP note 2641019.

    Nota

    I timeout nella configurazione precedente sono solo esempi e possono essere adattati alla configurazione specifica di SAP.The timeouts in the above configuration are just examples and may need to be adapted to the specific SAP setup.

    Assicurarsi che lo stato del cluster sia corretto e che tutte le risorse siano avviate.Make sure that the cluster status is ok and that all resources are started. Non è importante il nodo su cui sono in esecuzione le risorse.It is not important on which node the resources are running. L'esempio seguente mostra lo stato delle risorse del cluster, dopo che i sistemi SAP NW2 e NW3 sono stati aggiunti al cluster.The following example shows the cluster resources status, after SAP systems NW2 and NW3 were added to the cluster.

     sudo pcs status
    
    Online: [ rhelmsscl1 rhelmsscl2 ]
    
    Full list of resources:
    
    rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
    Resource Group: g-NW1_ASCS
        fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW1_AERS
        fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
        vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
        nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
        rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    Resource Group: g-NW2_ASCS
        fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW2_AERS
        fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_ASCS
        fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    Resource Group: g-NW3_AERS
        fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
        vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
        nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
        rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    
  8. [A] aggiungere regole del firewall per ASC e ERS in entrambi i nodi.[A] Add firewall rules for ASCS and ERS on both nodes. Nell'esempio seguente vengono illustrate le regole del firewall per i sistemi SAP NW2 e NW3.The example below shows the firewall rules for both SAP systems NW2 and NW3.

     # NW2 - ASCS
     sudo firewall-cmd --zone=public --add-port=62010/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62010/tcp
     sudo firewall-cmd --zone=public --add-port=3210/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3210/tcp
     sudo firewall-cmd --zone=public --add-port=3610/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3610/tcp
     sudo firewall-cmd --zone=public --add-port=3910/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3910/tcp
     sudo firewall-cmd --zone=public --add-port=8110/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8110/tcp
     sudo firewall-cmd --zone=public --add-port=51013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51013/tcp
     sudo firewall-cmd --zone=public --add-port=51014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51014/tcp
     sudo firewall-cmd --zone=public --add-port=51016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51016/tcp
     # NW2 - ERS
     sudo firewall-cmd --zone=public --add-port=62112/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62112/tcp
     sudo firewall-cmd --zone=public --add-port=3212/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3212/tcp
     sudo firewall-cmd --zone=public --add-port=3312/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3312/tcp
     sudo firewall-cmd --zone=public --add-port=51213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51213/tcp
     sudo firewall-cmd --zone=public --add-port=51214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51214/tcp
     sudo firewall-cmd --zone=public --add-port=51216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=51216/tcp
     # NW3 - ASCS
     sudo firewall-cmd --zone=public --add-port=62020/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62020/tcp
     sudo firewall-cmd --zone=public --add-port=3220/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3220/tcp
     sudo firewall-cmd --zone=public --add-port=3620/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3620/tcp
     sudo firewall-cmd --zone=public --add-port=3920/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3920/tcp
     sudo firewall-cmd --zone=public --add-port=8120/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=8120/tcp
     sudo firewall-cmd --zone=public --add-port=52013/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52013/tcp
     sudo firewall-cmd --zone=public --add-port=52014/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52014/tcp
     sudo firewall-cmd --zone=public --add-port=52016/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52016/tcp
     # NW3 - ERS
     sudo firewall-cmd --zone=public --add-port=62122/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=62122/tcp
     sudo firewall-cmd --zone=public --add-port=3222/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3222/tcp
     sudo firewall-cmd --zone=public --add-port=3322/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=3322/tcp
     sudo firewall-cmd --zone=public --add-port=52213/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52213/tcp
     sudo firewall-cmd --zone=public --add-port=52214/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52214/tcp
     sudo firewall-cmd --zone=public --add-port=52216/tcp --permanent
     sudo firewall-cmd --zone=public --add-port=52216/tcp
    

Procedere con l'installazione di SAPProceed with the SAP installation

Completare l'installazione di SAP per:Complete your SAP installation by:

Testare la configurazione del cluster a più SIDTest the multi-SID cluster setup

I test seguenti sono un subset dei test case nelle guide alle procedure consigliate di Red Hat.The following tests are a subset of the test cases in the best practices guides of Red Hat. Sono incluse per praticità.They are included for your convenience. Per l'elenco completo dei test del cluster, fare riferimento alla documentazione seguente:For the full list of cluster tests, reference the following documentation:

Leggere sempre le guide alle procedure consigliate di Red Hat ed eseguire tutti i test aggiuntivi che potrebbero essere stati aggiunti.Always read the Red Hat best practices guides and perform all additional tests that might have been added.
I test presentati si trovano in un cluster a due nodi e a più SID con tre sistemi SAP installati.The tests that are presented are in a two node, multi-SID cluster with three SAP systems installed.

  1. Eseguire manualmente la migrazione dell'istanza di ASC.Manually migrate the ASCS instance. Nell'esempio viene illustrata la migrazione dell'istanza di ASC per il sistema SAP NW3.The example shows migrating the ASCS instance for SAP system NW3.

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    Eseguire i comandi seguenti come radice per eseguire la migrazione dell'istanza di NW3 ASC.Run the following commands as root to migrate the NW3 ASCS instance.

     pcs resource move rsc_sap_NW3_ASCS200
     # Clear temporary migration constraints
     pcs resource clear rsc_sap_NW3_ASCS20
    
     # Remove failed actions for the ERS that occurred as part of the migration
     pcs resource cleanup rsc_sap_NW3_ERS22
    

    Stato delle risorse dopo il test:Resource state after the test:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    
  2. Simulare l'arresto anomalo del nodoSimulate node crash

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

     Online: [ rhelmsscl1 rhelmsscl2 ]
    
     Full list of resources:
    
     rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
    

    Eseguire il comando seguente come radice in un nodo, in cui è in esecuzione almeno un'istanza di ASC.Run the following command as root on a node, where at least one ASCS instance is running. In questo esempio è stato eseguito il comando in rhelmsscl1 , in cui sono in esecuzione le istanze di ASC per NW1, NW2 e NW3.In this example, we executed the command on rhelmsscl1, where the ASCS instances for NW1, NW2 and NW3 are running.

    echo c > /proc/sysrq-trigger
    

    Lo stato dopo il test e dopo che il nodo è stato arrestato in modo anomalo è stato riavviato e dovrebbe essere simile al seguente.The status after the test, and after the node, that was crashed has started again, should look like this.

     Full list of resources:
    
     rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW1_AERS
         fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW2_AERS
         fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
     Resource Group: g-NW3_AERS
         fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
         vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
         nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
    

    Se sono presenti messaggi per le risorse non riuscite, pulire lo stato delle risorse non riuscite.If there are messages for failed resources, clean the status of the failed resources. Ad esempio:For example:

    pcs resource cleanup rsc_sap_NW1_ERS02
    

Passaggi successiviNext steps