Disponibilità elevata per SAP NetWeaver su macchine virtuali di Azure su SUSE Linux Enterprise Server con Azure NetApp Files per applicazioni SAPHigh availability for SAP NetWeaver on Azure VMs on SUSE Linux Enterprise Server with Azure NetApp Files for SAP applications

Questo articolo descrive come distribuire le macchine virtuali, configurare le macchine virtuali, installare il framework del cluster e installare un sistema SAP NetWeaver 7.50 a disponibilità elevata mediante Azure NetApp Files.This article describes how to deploy the virtual machines, configure the virtual machines, install the cluster framework, and install a highly available SAP NetWeaver 7.50 system, using Azure NetApp Files. Nelle configurazioni di esempio, come i comandi di installazione e così via, l'istanza di ASC è il numero 00, il numero di istanza ERS è 01, l'istanza dell'applicazione primaria (PAS) è 02 e l'istanza dell'applicazione (AAS) è 03.In the example configurations, installation commands etc., the ASCS instance is number 00, the ERS instance number 01, the Primary Application instance (PAS) is 02 and the Application instance (AAS) is 03. Viene usato l'ID del sistema SAP QAS.SAP System ID QAS is used.

Questo articolo illustra come ottenere la disponibilità elevata per l'applicazione SAP NetWeaver con Azure NetApp Files.This article explains how to achieve high availability for SAP NetWeaver application with Azure NetApp Files. Il livello del database non è descritto in dettaglio in questo articolo.The database layer isn't covered in detail in this article.

Leggere prima di tutto i documenti e le note SAP seguenti:Read the following SAP Notes and papers first:

PanoramicaOverview

La disponibilità elevata per SAP NetWeaver Central Services richiede l'archiviazione condivisa.High availability(HA) for SAP Netweaver central services requires shared storage. Per ottenere questo risultato in SUSE Linux finora era necessario compilare un cluster NFS a disponibilità elevata separato.To achieve that on SUSE Linux so far it was necessary to build separate highly available NFS cluster.

È ora possibile ottenere la disponibilità elevata di SAP NetWeaver usando l'archiviazione condivisa, distribuita in Azure NetApp Files.Now it is possible to achieve SAP Netweaver HA by using shared storage, deployed on Azure NetApp Files. L'uso di Azure NetApp Files per l'archiviazione condivisa elimina la necessità di un cluster NFS aggiuntivo.Using Azure NetApp Files for the shared storage eliminates the need for additional NFS cluster. Pacemaker è ancora necessario per la disponibilità elevata di SAP Netweaver Central Services (ASCS/SCS).Pacemaker is still needed for HA of the SAP Netweaver central services(ASCS/SCS).

Panoramica della disponibilità elevata di SAP NetWeaver

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS e il database SAP HANA usano un nome host virtuale e indirizzi IP virtuali.SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, and the SAP HANA database use virtual hostname and virtual IP addresses. In Azure è necessario un servizio di bilanciamento del carico per usare un indirizzo IP virtuale.On Azure, a load balancer is required to use a virtual IP address. È consigliabile usare Load Balancer Standard.We recommend using Standard load balancer. L'elenco seguente mostra la configurazione del bilanciamento del carico di (A)SCS ed ERS.The following list shows the configuration of the (A)SCS and ERS load balancer.

(A)SCS(A)SCS

  • Configurazione front-endFrontend configuration
    • Indirizzo IP 10.1.1.20IP address 10.1.1.20
  • Porta probeProbe Port
    • Porta 620<nr>Port 620<nr>
  • Regole di bilanciamento del caricoLoad-balancing rules
    • Se si usa Load Balancer Standard, selezionare Porte a disponibilità elevataIf using Standard Load Balancer, select HA ports
    • Se si usa Load Balancer Basic, creare regole di bilanciamento del carico per le porte seguentiIf using Basic Load Balancer, create Load balancing rules for the following ports
      • 32<nr> TCP32<nr> TCP
      • 36<nr> TCP36<nr> TCP
      • 39<nr> TCP39<nr> TCP
      • 81<nr> TCP81<nr> TCP
      • 5<nr>13 TCP5<nr>13 TCP
      • 5<nr>14 TCP5<nr>14 TCP
      • 5<nr>16 TCP5<nr>16 TCP

ERSERS

  • Configurazione front-endFrontend configuration

    • Indirizzo IP 10.1.1.21IP address 10.1.1.21
  • Porta probeProbe Port

    • Porta 621<nr>Port 621<nr>
  • Regole di bilanciamento del caricoLoad-balancing rules

    • Se si usa Load Balancer Standard, selezionare Porte a disponibilità elevataIf using Standard Load Balancer, select HA ports
    • Se si usa Load Balancer Basic, creare regole di bilanciamento del carico per le porte seguentiIf using Basic Load Balancer, create Load balancing rules for the following ports
      • 32<nr> TCP32<nr> TCP
      • 33<nr> TCP33<nr> TCP
      • 5<nr>13 TCP5<nr>13 TCP
      • 5<nr>14 TCP5<nr>14 TCP
      • 5<nr>16 TCP5<nr>16 TCP
  • Configurazione back-endBackend configuration

    • Connessione alle interfacce di rete primarie di tutte le macchine virtuali che devono far parte del cluster (A)SCS/ERSConnected to primary network interfaces of all virtual machines that should be part of the (A)SCS/ERS cluster

Configurazione dell'infrastruttura Azure NetApp FilesSetting up the Azure NetApp Files infrastructure

SAP NetWeaver richiede un'archiviazione condivisa per la directory di trasporto e del profilo.SAP NetWeaver requires shared storage for the transport and profile directory. Prima di procedere con la configurazione dell'infrastruttura Azure NetApp Files, acquisire familiarità con la documentazione di Azure NetApp Files.Before proceeding with the setup for Azure NetApp files infrastructure, familiarize yourself with the Azure NetApp Files documentation. Controllare se l'area di Azure selezionata offre Azure NetApp Files.Check if your selected Azure region offers Azure NetApp Files. Il collegamento seguente mostra la disponibilità di Azure NetApp Files per area di Azure: Disponibilità di Azure NetApp Files per area di Azure.The following link shows the availability of Azure NetApp Files by Azure region: Azure NetApp Files Availability by Azure Region.

Azure NetApp Files è disponibile in numerose aree di Azure.Azure NetApp files is available in several Azure regions. Prima di distribuire Azure NetApp Files, richiedere l'onboarding in Azure NetApp Files, seguendo le istruzioni di registrazione per Azure NetApp Files.Before deploying Azure NetApp Files, request onboarding to Azure NetApp Files, following the Register for Azure NetApp files instructions.

Distribuire le risorse di Azure NetApp FilesDeploy Azure NetApp Files resources

I passaggi presuppongono che sia già stata eseguita la distribuzione di Rete virtuale di Azure.The steps assume that you have already deployed Azure Virtual Network. Le risorse di Azure NetApp Files e tutte le macchine virtuali, in cui le risorse di Azure NetApp Files verranno montate, devono essere distribuite nella stessa istanza di Rete virtuale di Azure o in reti virtuali di Azure con peering.The Azure NetApp Files resources and the VMs, where the Azure NetApp Files resources will be mounted must be deployed in the same Azure Virtual Network or in peered Azure Virtual Networks.

  1. Se non è già stato fatto, richiedere l'onboarding in Azure NetApp Files.If you haven't done that already, request onboarding to Azure NetApp Files.

  2. Creare l'account NetApp nell'area di Azure selezionata, seguendo le istruzioni per creare un account NetApp.Create the NetApp account in the selected Azure region, following the instructions to create NetApp Account.

  3. Configurare il pool di capacità di Azure NetApp Files, seguendo le istruzioni su come configurare pool di capacità Azure NetApp Files.Set up Azure NetApp Files capacity pool, following the instructions on how to set up Azure NetApp Files capacity pool.
    L'architettura di SAP NetWeaver presentata in questo articolo usa un singolo pool di capacità di Azure NetApp Files, SKU Premium.The SAP Netweaver architecture presented in this article uses single Azure NetApp Files capacity pool, Premium SKU. Lo SKU Premium di Azure NetApp Files è consigliabile per il carico di lavoro dell'applicazione SAP NetWeaver in Azure.We recommend Azure NetApp Files Premium SKU for SAP Netweaver application workload on Azure.

  4. Delegare una subnet ai file di Azure NetApp come descritto nelle istruzioni per delegare una subnet a Azure NetApp Files.Delegate a subnet to Azure NetApp files as described in the instructions Delegate a subnet to Azure NetApp Files.

  5. Distribuire volumi di Azure NetApp Files, seguendo le istruzioni per creare un volume per Azure NetApp Files.Deploy Azure NetApp Files volumes, following the instructions to create a volume for Azure NetApp Files. Distribuire i volumi nella subnet di Azure NetApp Files designata.Deploy the volumes in the designated Azure NetApp Files subnet. Gli indirizzi IP dei volumi di Azure NetApp vengono assegnati automaticamente.The IP addresses of the Azure NetApp volumes are assigned automatically. Le risorse di Azure NetApp Files e le macchine virtuali di Azure devono trovarsi nella stessa istanza di Rete virtuale di Azure o in reti virtuali di Azure con peering.Keep in mind that the Azure NetApp Files resources and the Azure VMs must be in the same Azure Virtual Network or in peered Azure Virtual Networks. In questo esempio vengono usati due volumi Azure NetApp Files: sapQAS e trans. I percorsi file montati nei punti di montaggio corrispondenti sono /usrsapqas/sapmntQAS, /usrsapqas/usrsapQASsys e così via.In this example we use two Azure NetApp Files volumes: sapQAS and trans. The file paths that are mounted to the corresponding mount points are /usrsapqas/sapmntQAS, /usrsapqas/usrsapQASsys, etc.

    1. volume sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)volume sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)
    2. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)
    3. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)
    4. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)
    5. volume trans (nfs://10.1.0.4/trans)volume trans (nfs://10.1.0.4/trans)
    6. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)
    7. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)

In questo esempio è stato usato Azure NetApp Files per tutti i file system di SAP NetWeaver per dimostrare come è possibile usare Azure NetApp Files.In this example, we used Azure NetApp Files for all SAP Netweaver file systems to demonstrate how Azure NetApp Files can be used. I file system SAP che non devono essere montati tramite NFS possono anche essere distribuiti come archiviazione su disco di Azure.The SAP file systems that don't need to be mounted via NFS can also be deployed as Azure disk storage . In questo esempio a-e deve trovarsi in Azure NetApp Files e f-g (ovvero /usr/sap/QAS/D02, /usr/sap/QAS/D03) può essere distribuito come archiviazione su disco di Azure.In this example a-e must be on Azure NetApp Files and f-g (that is, /usr/sap/QAS/D02, /usr/sap/QAS/D03) could be deployed as Azure disk storage.

Considerazioni importantiImportant considerations

Quando si prende in considerazione Azure NetApp Files per SAP Netweaver sull'architettura a disponibilità elevata SUSE, tenere presenti le considerazioni importanti seguenti:When considering Azure NetApp Files for the SAP Netweaver on SUSE High Availability architecture, be aware of the following important considerations:

  • La capacità minima del pool è di 4 TiB.The minimum capacity pool is 4 TiB. È possibile aumentare le dimensioni del pool di capacità con incrementi di 1 TiB.The capacity pool size can be increased be in 1 TiB increments.
  • Il volume minimo è di 100 GiB.The minimum volume is 100 GiB
  • Azure NetApp Files e tutte le macchine virtuali in cui verranno montati i volumi Azure NetApp Files devono trovarsi nella stessa istanza di Rete virtuale di Azure o in reti virtuali con peering nella stessa area.Azure NetApp Files and all virtual machines, where Azure NetApp Files volumes will be mounted, must be in the same Azure Virtual Network or in peered virtual networks in the same region. L'accesso ad Azure NetApp Files mediante peering VNET nella stessa area è ora supportato.Azure NetApp Files access over VNET peering in the same region is supported now. L'accesso a NetApp di Azure mediante peering globale non è ancora supportato.Azure NetApp access over global peering is not yet supported.
  • La rete virtuale selezionata deve avere una subnet delegata ad Azure NetApp Files.The selected virtual network must have a subnet, delegated to Azure NetApp Files.
  • Azure NetApp Files offre criteri di esportazione: è possibile controllare i client consentiti, il tipo di accesso, ad esempio lettura e scrittura, sola lettura e così via.Azure NetApp Files offers export policy: you can control the allowed clients, the access type (Read&Write, Read Only, etc.).
  • La funzionalità Azure NetApp Files non è ancora in grado di riconoscere la zona.Azure NetApp Files feature isn't zone aware yet. Attualmente la funzionalità Azure NetApp Files non viene distribuita in tutte le zone di disponibilità in un'area di Azure.Currently Azure NetApp Files feature isn't deployed in all Availability zones in an Azure region. Tenere presente le implicazioni di latenza potenziali in alcune aree di Azure.Be aware of the potential latency implications in some Azure regions.
  • I volumi Azure NetApp Files possono essere distribuiti come volumi NFSv3 o NFSv4.1.Azure NetApp Files volumes can be deployed as NFSv3 or NFSv4.1 volumes. Entrambi i protocolli sono supportati per il livello applicazione SAP (server di applicazione SAP, ASCS/ERS).Both protocols are supported for the SAP application layer (ASCS/ERS, SAP application servers).

Distribuire macchine virtuali Linux manualmente tramite il portale di AzureDeploy Linux VMs manually via Azure portal

Per prima cosa è necessario creare i volumi Azure NetApp Files.First you need to create the Azure NetApp Files volumes. Distribuire le macchine virtuali.Deploy the VMs. Successivamente, creare un servizio di bilanciamento del carico e usare le macchine virtuali nei pool back-end.Afterwards, you create a load balancer and use the virtual machines in the backend pools.

  1. Creare un gruppo di risorseCreate a Resource Group
  2. Creare una rete virtualeCreate a Virtual Network
  3. Creare un set di disponibilità per ASCS.Create an Availability Set for ASCS
    Impostare il numero massimo di domini di aggiornamentoSet max update domain
  4. Creare la macchina virtuale 1Create Virtual Machine 1
    Usare almeno SLES4SAP 12 SP3, in questo esempio viene usata l'immagine SLES4SAP 12 SP3Use at least SLES4SAP 12 SP3, in this example the SLES4SAP 12 SP3 image is used
    Selezionare il set di disponibilità creato in precedenza per ASCSSelect Availability Set created earlier for ASCS
  5. Creare la macchina virtuale 2Create Virtual Machine 2
    Usare almeno SLES4SAP 12 SP3, in questo esempio viene usata l'immagine SLES4SAP 12 SP3Use at least SLES4SAP 12 SP3, in this example the SLES4SAP 12 SP3 image is used
    Selezionare il set di disponibilità creato in precedenza per ASCSSelect Availability Set created earlier for ASCS
  6. Creare un set di disponibilità per le istanze dell'applicazione SAP (PAS, AAS)Create an Availability Set for the SAP application instances (PAS, AAS)
    Impostare il numero massimo di domini di aggiornamentoSet max update domain
  7. Creare la macchina virtuale 3Create Virtual Machine 3
    Usare almeno SLES4SAP 12 SP3, in questo esempio viene usata l'immagine SLES4SAP 12 SP3Use at least SLES4SAP 12 SP3, in this example the SLES4SAP 12 SP3 image is used
    Selezionare il set di disponibilità creato in precedenza per PAS/AASSelect Availability Set created earlier for PAS/AAS
  8. Creare la macchina virtuale 4Create Virtual Machine 4
    Usare almeno SLES4SAP 12 SP3, in questo esempio viene usata l'immagine SLES4SAP 12 SP3Use at least SLES4SAP 12 SP3, in this example the SLES4SAP 12 SP3 image is used
    Selezionare il set di disponibilità creato in precedenza per PAS/AASSelect Availability Set created earlier for PAS/AAS

Disabilitare il mapping degli ID (se si usa NFSv4.1)Disable ID mapping (if using NFSv4.1)

Le istruzioni riportate in questa sezione sono applicabili solo se si usano volumi Azure NetApp Files con il protocollo NFSv4.1.The instructions in this section are only applicable, if using Azure NetApp Files volumes with NFSv4.1 protocol. Eseguire la configurazione su tutte le macchine virtuali, in cui verranno montati volumi Azure NetApp Files NFSv4.1.Perform the configuration on all VMs, where Azure NetApp Files NFSv4.1 volumes will be mounted.

  1. Verificare l'impostazione del dominio NFS.Verify the NFS domain setting. Verificare che il dominio sia configurato come dominio di Azure NetApp Files predefinito, ad esempio defaultv4iddomain.com , e che il mapping sia impostato su nobody (nessuno).Make sure that the domain is configured as the default Azure NetApp Files domain, i.e. defaultv4iddomain.com and the mapping is set to nobody.

    Importante

    Verificare di impostare il dominio NFS in /etc/idmapd.conf sulla macchina virtuale in modo che corrisponda alla configurazione del dominio predefinito in Azure NetApp Files: defaultv4iddomain.com .Make sure to set the NFS domain in /etc/idmapd.conf on the VM to match the default domain configuration on Azure NetApp Files: defaultv4iddomain.com. In caso di mancata corrispondenza tra la configurazione del dominio nel client NFS (ovvero la macchina virtuale) e nel server NFS, ad esempio la configurazione di Azure NetApp, le autorizzazioni per i file nei volumi Azure NetApp montati nelle VM verranno visualizzate come nobody.If there's a mismatch between the domain configuration on the NFS client (i.e. the VM) and the NFS server, i.e. the Azure NetApp configuration, then the permissions for files on Azure NetApp volumes that are mounted on the VMs will be displayed as nobody.

    
     sudo cat /etc/idmapd.conf
     # Example
     [General]
     Verbosity = 0
     Pipefs-Directory = /var/lib/nfs/rpc_pipefs
     Domain = defaultv4iddomain.com
     [Mapping]
     Nobody-User = nobody
     Nobody-Group = nobody
     
  2. [A] Verificare nfs4_disable_idmapping.[A] Verify nfs4_disable_idmapping. Il valore deve essere impostato su Y. Per creare la struttura di directory in cui si trova nfs4_disable_idmapping, eseguire il comando mount.It should be set to Y. To create the directory structure where nfs4_disable_idmapping is located, execute the mount command. Non sarà possibile creare manualmente la directory in/sys/modules, perché l'accesso è riservato per il kernel/driver.You won't be able to manually create the directory under /sys/modules, because access is reserved for the kernel / drivers.

    
     # Check nfs4_disable_idmapping 
     cat /sys/module/nfs/parameters/nfs4_disable_idmapping
     # If you need to set nfs4_disable_idmapping to Y
     mkdir /mnt/tmp
     mount 10.1.0.4:/sapmnt/qas /mnt/tmp
     umount  /mnt/tmp
     echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
     # Make the configuration permanent
     echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
     

Configurazione di (A)SCSSetting up (A)SCS

In questo esempio le risorse sono state distribuite manualmente tramite il portale di Azure.In this example, the resources were deployed manually via the Azure portal .

Distribuire Azure Load Balancer manualmente tramite il portale di AzureDeploy Azure Load Balancer manually via Azure portal

Per prima cosa è necessario creare i volumi Azure NetApp Files.First you need to create the Azure NetApp Files volumes. Distribuire le macchine virtuali.Deploy the VMs. Creare quindi un servizio di bilanciamento del carico e usare le macchine virtuali nei pool back-end.Afterwards, you create a load balancer and use the virtual machines in the backend pool.

  1. Creare un bilanciamento del carico (interno, standard).Create load balancer (internal, standard):
    1. Creare gli indirizzi IP front-endCreate the frontend IP addresses
      1. Indirizzo IP 10.1.1.20 per ASCSIP address 10.1.1.20 for the ASCS
        1. Aprire il servizio di bilanciamento del carico, selezionare Pool di indirizzi IP front-end e fare clic su AggiungiOpen the load balancer, select frontend IP pool, and click Add
        2. Immettere il nome del nuovo pool di indirizzi IP front-end, ad esempio frontend.QAS.ASCSEnter the name of the new frontend IP pool (for example frontend.QAS.ASCS)
        3. Impostare Assegnazione su Statico e immettere l'indirizzo IP, ad esempio 10.1.1.20Set the Assignment to Static and enter the IP address (for example 10.1.1.20)
        4. Fare clic su OK.Click OK
      2. Indirizzo IP 10.1.1.21 per ASCS ERSIP address 10.1.1.21 for the ASCS ERS
        • Ripetere i passaggi precedenti in "a" per creare un indirizzo IP per ERS, ad esempio 10.1.1.21 e frontend.QAS.ERSRepeat the steps above under "a" to create an IP address for the ERS (for example 10.1.1.21 and frontend.QAS.ERS)
    2. Creare il pool back-endCreate the backend pool
      1. Aprire il servizio di bilanciamento del carico, selezionare Pool back-end e fare clic su AggiungiOpen the load balancer, select backend pools, and click Add
      2. Immettere il nome del nuovo pool back-end, ad esempio backend.QASEnter the name of the new backend pool (for example backend.QAS)
      3. Fare clic su Aggiungi una macchina virtuale.Click Add a virtual machine.
      4. Selezionare Macchina virtuale.Select Virtual machine
      5. Selezionare le macchine virtuali del cluster (A)SCS e il rispettivo indirizzo IP.Select the virtual machines of the (A)SCS cluster and their IP addresses.
      6. Fare clic su Aggiungi.Click Add
    3. Creare i probe di integritàCreate the health probes
      1. Porta 620 00 per ASCSPort 620 00 for ASCS
        1. Aprire il servizio di bilanciamento del carico, selezionare Probe integrità e fare clic su AggiungiOpen the load balancer, select health probes, and click Add
        2. Immettere il nome del nuovo probe di integrità, ad esempio health.QAS.ASCSEnter the name of the new health probe (for example health.QAS.ASCS)
        3. Selezionare TCP come protocollo, la porta 620 00, mantenere 5 per Intervallo e impostare Soglia di non integrità su 2Select TCP as protocol, port 620 00, keep Interval 5 and Unhealthy threshold 2
        4. Fare clic su OK.Click OK
      2. Porta 621 01 per ASCS ERSPort 621 01 for ASCS ERS
        • Ripetere i passaggi precedenti in "c" per creare un probe di integrità per ERS, ad esempio 621 01 e health.QAS.ERSRepeat the steps above under "c" to create a health probe for the ERS (for example 621 01 and health.QAS.ERS)
    4. Regole di bilanciamento del caricoLoad-balancing rules
      1. Creare un pool back-end per ASCSCreate a backend pool for the ASCS
        1. Aprire il servizio di bilanciamento del carico, selezionare Regole di bilanciamento del carico e fare clic su AggiungiOpen the load balancer, select Load-balancing rules and click Add
        2. Immettere il nome della nuova regola di bilanciamento del carico, ad esempio lb.QAS.ASCSEnter the name of the new load balancer rule (for example lb.QAS.ASCS)
        3. Selezionare l'indirizzo IP front-end per ASCS, il pool back-end e il probe di integrità creati in precedenza, ad esempio frontend.QAS.ASCS, backend.QAS e health.QAS.ASCSSelect the frontend IP address for ASCS, backend pool, and health probe you created earlier (for example frontend.QAS.ASCS, backend.QAS and health.QAS.ASCS)
        4. Selezionare Porte a disponibilità elevataSelect HA ports
        5. Aumentare il timeout di inattività a 30 minutiIncrease idle timeout to 30 minutes
        6. Assicurarsi di abilitare l'indirizzo IP mobileMake sure to enable Floating IP
        7. Fare clic su OK.Click OK
        • Ripetere i passaggi precedenti per creare regole di bilanciamento del carico per ERS, ad esempio lb.QAS.ERSRepeat the steps above to create load balancing rules for ERS (for example lb.QAS.ERS)
  2. In alternativa, se lo scenario richiede Load Balancer Basic (interno), seguire questa procedura:Alternatively, if your scenario requires basic load balancer (internal), follow these steps:
    1. Creare gli indirizzi IP front-endCreate the frontend IP addresses

      1. Indirizzo IP 10.1.1.20 per ASCSIP address 10.1.1.20 for the ASCS
        1. Aprire il servizio di bilanciamento del carico, selezionare Pool di indirizzi IP front-end e fare clic su AggiungiOpen the load balancer, select frontend IP pool, and click Add
        2. Immettere il nome del nuovo pool di indirizzi IP front-end, ad esempio frontend.QAS.ASCSEnter the name of the new frontend IP pool (for example frontend.QAS.ASCS)
        3. Impostare Assegnazione su Statico e immettere l'indirizzo IP, ad esempio 10.1.1.20Set the Assignment to Static and enter the IP address (for example 10.1.1.20)
        4. Fare clic su OK.Click OK
      2. Indirizzo IP 10.1.1.21 per ASCS ERSIP address 10.1.1.21 for the ASCS ERS
        • Ripetere i passaggi precedenti in "a" per creare un indirizzo IP per ERS, ad esempio 10.1.1.21 e frontend.QAS.ERSRepeat the steps above under "a" to create an IP address for the ERS (for example 10.1.1.21 and frontend.QAS.ERS)
    2. Creare il pool back-endCreate the backend pool

      1. Aprire il servizio di bilanciamento del carico, selezionare Pool back-end e fare clic su AggiungiOpen the load balancer, select backend pools, and click Add
      2. Immettere il nome del nuovo pool back-end, ad esempio backend.QASEnter the name of the new backend pool (for example backend.QAS)
      3. Fare clic su Aggiungi una macchina virtuale.Click Add a virtual machine.
      4. Selezionare il set di disponibilità creato in precedenza per ASCSSelect the Availability Set you created earlier for ASCS
      5. Selezionare le macchine virtuali del cluster (A)SCSSelect the virtual machines of the (A)SCS cluster
      6. Fare clic su OK.Click OK
    3. Creare i probe di integritàCreate the health probes

      1. Porta 620 00 per ASCSPort 620 00 for ASCS
        1. Aprire il servizio di bilanciamento del carico, selezionare Probe integrità e fare clic su AggiungiOpen the load balancer, select health probes, and click Add
        2. Immettere il nome del nuovo probe di integrità, ad esempio health.QAS.ASCSEnter the name of the new health probe (for example health.QAS.ASCS)
        3. Selezionare TCP come protocollo, la porta 620 00, mantenere 5 per Intervallo e impostare Soglia di non integrità su 2Select TCP as protocol, port 620 00, keep Interval 5 and Unhealthy threshold 2
        4. Fare clic su OK.Click OK
      2. Porta 621 01 per ASCS ERSPort 621 01 for ASCS ERS
        • Ripetere i passaggi precedenti in "c" per creare un probe di integrità per ERS, ad esempio 621 01 e health.QAS.ERSRepeat the steps above under "c" to create a health probe for the ERS (for example 621 01 and health.QAS.ERS)
    4. Regole di bilanciamento del caricoLoad-balancing rules

      1. TCP 32 00 per ASCS32 00 TCP for ASCS
        1. Aprire il servizio di bilanciamento del carico, selezionare Regole di bilanciamento del carico e fare clic su AggiungiOpen the load balancer, select Load-balancing rules and click Add
        2. Immettere il nome della nuova regola di bilanciamento del carico, ad esempio lb.QAS.ASCS.3200Enter the name of the new load balancer rule (for example lb.QAS.ASCS.3200)
        3. Selezionare l'indirizzo IP front-end per ASCS, il pool back-end e il probe di integrità creati in precedenza, ad esempio frontend.QAS.ASCSSelect the frontend IP address for ASCS, backend pool, and health probe you created earlier (for example frontend.QAS.ASCS)
        4. Mantenere il protocollo TCP, immettere la porta 3200Keep protocol TCP, enter port 3200
        5. Aumentare il timeout di inattività a 30 minutiIncrease idle timeout to 30 minutes
        6. Assicurarsi di abilitare l'indirizzo IP mobileMake sure to enable Floating IP
        7. Fare clic su OK.Click OK
      2. Porte aggiuntive per ASCSAdditional ports for the ASCS
        • Ripetere i passaggi precedenti per le porte 36 00, 39 00, 81 00, 5 00 13, 5 00 14, 5 00 16 e TCP per ASCSRepeat the steps above under "d" for ports 36 00, 39 00, 81 00, 5 00 13, 5 00 14, 5 00 16 and TCP for the ASCS
      3. Porte aggiuntive per ASCS ERSAdditional ports for the ASCS ERS
        • Ripetere i passaggi precedenti per le porte 32 01, 33 01, 5 01 13, 5 01 14, 5 01 16 e TCP per ASCS ERSRepeat the steps above under "d" for ports 32 01, 33 01, 5 01 13, 5 01 14, 5 01 16 and TCP for the ASCS ERS

      Importante

      L'IP mobile non è supportato in una configurazione IP secondaria di NIC negli scenari di bilanciamento del carico.Floating IP is not supported on a NIC secondary IP configuration in load-balancing scenarios. Per informazioni dettagliate, vedere limitazioni del servizio di bilanciamento del carico di Azure.For details see Azure Load balancer Limitations. Se è necessario un indirizzo IP aggiuntivo per la macchina virtuale, distribuire una seconda scheda di interfaccia di rete.If you need additional IP address for the VM, deploy a second NIC.

      Nota

      Se vengono inserite macchine virtuali senza indirizzi IP pubblici nel pool back-end di Load Balancer Standard interno ad Azure (nessun indirizzo IP pubblico), non sarà presente alcuna connettività Internet in uscita, a meno che non venga eseguita una configurazione aggiuntiva per consentire il routing a endpoint pubblici.When VMs without public IP addresses are placed in the backend pool of internal (no public IP address) Standard Azure load balancer, there will be no outbound internet connectivity, unless additional configuration is performed to allow routing to public end points. Per informazioni dettagliate su come ottenere la connettività in uscita, vedere Connettività degli endpoint pubblici per le macchine virtuali usando Load Balancer Standard di Azure negli scenari a disponibilità elevata SAP.For details on how to achieve outbound connectivity see Public endpoint connectivity for Virtual Machines using Azure Standard Load Balancer in SAP high-availability scenarios.

      Importante

      Non abilitare i timestamp TCP nelle macchine virtuali di Azure che si trovano dietro Azure Load Balancer.Do not enable TCP timestamps on Azure VMs placed behind Azure Load Balancer. Se si abilitano i timestamp TCP, i probe di integrità avranno esito negativo.Enabling TCP timestamps will cause the health probes to fail. Impostare il parametro net.ipv4.tcp_timestamps su 0.Set parameter net.ipv4.tcp_timestamps to 0. Per informazioni dettagliate, vedere Probe di integrità di Load Balancer.For details see Load Balancer health probes.

Creare un cluster PacemakerCreate Pacemaker cluster

Seguire i passaggi descritti in Configurazione di Pacemaker su SUSE Linux Enterprise Server in Azure per creare un cluster Pacemaker di base per questo server (A)SCS.Follow the steps in Setting up Pacemaker on SUSE Linux Enterprise Server in Azure to create a basic Pacemaker cluster for this (A)SCS server.

InstallazioneInstallation

Gli elementi seguenti sono preceduti dall'indicazione [A] - applicabile a tutti i nodi, [1] - applicabile solo al nodo 1 o [2] - applicabile solo al nodo 2.The following items are prefixed with either [A] - applicable to all nodes, [1] - only applicable to node 1 or [2] - only applicable to node 2.

  1. [A] Installare il connettore SUSE[A] Install SUSE Connector

    sudo zypper install sap-suse-cluster-connector
    

    Nota

    Il problema noto relativo all'uso di un trattino nei nomi host è stato risolto con la versione 3.1.1 del pacchetto sap-suse-cluster-connector.The known issue with using a dash in host names is fixed with version 3.1.1 of package sap-suse-cluster-connector. Verificare di usare almeno la versione 3.1.1 del pacchetto sap-suse-cluster-connector, se si usano nodi del cluster con un trattino nel nome host.Make sure that you are using at least version 3.1.1 of package sap-suse-cluster-connector, if using cluster nodes with dash in the host name. In caso contrario, il cluster non funzionerà.Otherwise your cluster will not work.

    Verificare di aver installato la nuova versione del connettore del cluster SAP SUSE.Make sure that you installed the new version of the SAP SUSE cluster connector. La versione precedente era denominata sap_suse_cluster_connector mentre la nuova è denominata sap-suse-cluster-connector.The old one was called sap_suse_cluster_connector and the new one is called sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector
    
     # Information for package sap-suse-cluster-connector:
     # ---------------------------------------------------
     # Repository     : SLE-12-SP3-SAP-Updates
     # Name           : sap-suse-cluster-connector
     # Version        : 3.1.0-8.1
     # Arch           : noarch
     # Vendor         : SUSE LLC <https://www.suse.com/>
     # Support Level  : Level 3
     # Installed Size : 45.6 KiB
     # Installed      : Yes
     # Status         : up-to-date
     # Source package : sap-suse-cluster-connector-3.1.0-8.1.src
     # Summary        : SUSE High Availability Setup for SAP Products
    
  2. [A] Aggiornare gli agenti delle risorse SAP[A] Update SAP resource agents

    È necessaria una patch per il pacchetto degli agenti delle risorse per usare la nuova configurazione descritta in questo articolo.A patch for the resource-agents package is required to use the new configuration, that is described in this article. È possibile verificare se la patch è già installata con il comando seguenteYou can check, if the patch is already installed with the following command

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    L'output dovrebbe essere simile al seguenteThe output should be similar to

    <parameter name="IS_ERS" unique="0" required="0">
    

    Se il comando grep non trova il parametro IS_ERS, è necessario installare la patch indicata nella pagina di download di SUSEIf the grep command does not find the IS_ERS parameter, you need to install the patch listed on the SUSE download page

    # example for patch for SLES 12 SP1
    sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
    # example for patch for SLES 12 SP2
    sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1
    
  3. [A] Configurare la risoluzione dei nomi host[A] Setup host name resolution

    È possibile usare un server DNS o modificare /etc/hosts in tutti i nodi.You can either use a DNS server or modify the /etc/hosts on all nodes. Questo esempio mostra come usare il file /etc/hosts.This example shows how to use the /etc/hosts file. Sostituire l'indirizzo IP e il nome host nei comandi seguentiReplace the IP address and the hostname in the following commands

    sudo vi /etc/hosts
    

    Inserire le righe seguenti in /etc/hosts.Insert the following lines to /etc/hosts. Modificare l'indirizzo IP e il nome host in base all'ambienteChange the IP address and hostname to match your environment

    
    # IP address of cluster node 1
    10.1.1.18    anftstsapcl1
    # IP address of cluster node 2
    10.1.1.6     anftstsapcl2
    # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
    10.1.1.20    anftstsapvh
    # IP address of the load balancer frontend configuration for SAP Netweaver ERS
    10.1.1.21    anftstsapers
    
  4. [1] Creare directory SAP nel volume Azure NetApp Files.[1] Create SAP directories in the Azure NetApp Files volume.
    Montare temporaneamente il volume Azure NetApp Files in una delle macchine virtuali e creare le directory SAP (percorsi di file).Mount temporarily the Azure NetApp Files volume on one of the VMs and create the SAP directories(file paths).

     # mount temporarily the volume
     sudo mkdir -p /saptmp
     # If using NFSv3
     sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=3,tcp 10.1.0.4:/sapQAS /saptmp
     # If using NFSv4.1
     sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys,tcp 10.1.0.4:/sapQAS /saptmp
     # create the SAP directories
     sudo cd /saptmp
     sudo mkdir -p sapmntQAS
     sudo mkdir -p usrsapQASascs
     sudo mkdir -p usrsapQASers
     sudo mkdir -p usrsapQASsys
     sudo mkdir -p usrsapQASpas
     sudo mkdir -p usrsapQASaas
     # unmount the volume and delete the temporary directory
     sudo cd ..
     sudo umount /saptmp
     sudo rmdir /saptmp
    

Prepararsi per l'installazione di SAP NetWeaverPrepare for SAP NetWeaver installation

  1. [A] Creare le directory condivise[A] Create the shared directories

    sudo mkdir -p /sapmnt/QAS
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/QAS/SYS
    sudo mkdir -p /usr/sap/QAS/ASCS00
    sudo mkdir -p /usr/sap/QAS/ERS01
    
    sudo chattr +i /sapmnt/QAS
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/QAS/SYS
    sudo chattr +i /usr/sap/QAS/ASCS00
    sudo chattr +i /usr/sap/QAS/ERS01
    
  2. [A] Configurare autofs[A] Configure autofs

    
    sudo vi /etc/auto.master
    # Add the following line to the file, save and exit
    /- /etc/auto.direct
    

    Se si usa NFSv3, creare un file con:If using NFSv3, create a file with:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
    /usr/sap/QAS/SYS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASsys
    

    Se si usa NFSv4.1, creare un file con:If using NFSv4.1, create a file with:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
    /usr/sap/QAS/SYS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASsys
    

    Nota

    Assicurarsi di associare la versione del protocollo NFS dei volumi Azure NetApp Files, durante il montaggio dei volumi.Make sure to match the NFS protocol version of the Azure NetApp Files volumes, when mounting the volumes. Se i volumi Azure NetApp Files vengono creati come volumi NFSv3, usare la configurazione NFSv3 corrispondente.If the Azure NetApp Files volumes are created as NFSv3 volumes, use the corresponding NFSv3 configuration. Se i volumi Azure NetApp Files vengono creati come volumi NFSv4.1, seguire le istruzioni per disabilitare il mapping degli ID e assicurarsi di usare la configurazione NFSv4.1 corrispondente.If the Azure NetApp Files volumes are created as NFSv4.1 volumes, follow the instructions to disable ID mapping and make sure to use the corresponding NFSv4.1 configuration. In questo esempio i volumi Azure NetApp Files sono stati creati come volumi NFSv3.In this example the Azure NetApp Files volumes were created as NFSv3 volumes.

    Riavviare autofs per montare le nuove condivisioniRestart autofs to mount the new shares

    
       sudo systemctl enable autofs
       sudo service autofs restart
      
  3. [A] Configurare il file SWAP[A] Configure SWAP file

    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Riavviare l'agente per attivare la modificaRestart the Agent to activate the change

    sudo service waagent restart
    

Installazione di SAP NetWeaver ASCS/ERSInstalling SAP NetWeaver ASCS/ERS

  1. [1] Creare una risorsa IP virtuale e un probe di integrità per l'istanza di ASCS[1] Create a virtual IP resource and health-probe for the ASCS instance

    Importante

    Sono state rilevate situazioni di test recenti, in cui netcat smette di rispondere alle richieste dovute al backlog e alla limitazione della gestione di una sola connessione.Recent testing revealed situations, where netcat stops responding to requests due to backlog and its limitation of handling only one connection. La risorsa netcat smette di essere in ascolto delle richieste del servizio di bilanciamento del carico di Azure e l'IP mobile diventa non disponibile.The netcat resource stops listening to the Azure Load balancer requests and the floating IP becomes unavailable.
    Per i cluster Pacemaker esistenti, in passato era consigliabile sostituire netcat con socat.For existing Pacemaker clusters, we recommended in the past replacing netcat with socat. Attualmente è consigliabile usare l'agente di risorse azure-lb, che fa parte degli agenti di risorse del pacchetto, con i requisiti di versione del pacchetto seguenti:Currently we recommend using azure-lb resource agent, which is part of package resource-agents, with the following package version requirements:

    • Per SLES 12 SP4/SP5 la versione deve essere almeno resource-agents-4.3.018.a7fb5035-3.30.1.For SLES 12 SP4/SP5, the version must be at least resource-agents-4.3.018.a7fb5035-3.30.1.
    • Per SLES 15/15 SP1 la versione deve essere almeno resource-agents-4.3.0184.6ee15eb2-4.13.1.For SLES 15/15 SP1, the version must be at least resource-agents-4.3.0184.6ee15eb2-4.13.1.

    Si noti che la modifica richiederà un breve tempo di inattività.Note that the change will require brief downtime.
    Per i cluster Pacemaker esistenti, se la configurazione è stata già modificata per usare socat, come descritto in Azure Load-Balancer Detection Hardening (Protezione avanzata dei rilevamenti del servizio di bilanciamento del carico di Azure), non è necessario passare immediatamente all'agente delle risorse azure-lb.For existing Pacemaker clusters, if the configuration was already changed to use socat as described in Azure Load-Balancer Detection Hardening, there is no requirement to switch immediately to azure-lb resource agent.

    sudo crm node standby anftstsapcl2
    # If using NFSv3
    sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    # If using NFSv4.1
    sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' options='sec=sys,vers=4.1' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_QAS_ASCS IPaddr2 \
      params ip=10.1.1.20 cidr_netmask=24 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_QAS_ASCS azure-lb port=62000
    
    sudo crm configure group g-QAS_ASCS fs_QAS_ASCS nc_QAS_ASCS vip_QAS_ASCS \
       meta resource-stickiness=3000
    

    Assicurarsi che lo stato del cluster sia corretto e che tutte le risorse siano avviate.Make sure that the cluster status is ok and that all resources are started. Non è importante il nodo su cui sono in esecuzione le risorse.It is not important on which node the resources are running.

    sudo crm_mon -r
    
    # Node anftstsapcl2: standby
    # Online: [ anftstsapcl1 ]
    # 
    # Full list of resources:
    #
    # Resource Group: g-QAS_ASCS
    #     fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
    #     nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
    #     vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
    # stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
    
  2. [1] Installare SAP NetWeaver ASCS[1] Install SAP NetWeaver ASCS

    Installare SAP NetWeaver ASCS come radice nel primo nodo usando un nome host virtuale mappato all'indirizzo IP della configurazione front-end di bilanciamento del carico per l'istanza ASCS, ad esempio anftstsapvh, 10.1.1.20 e il numero di istanza usato per il probe del bilanciamento del carico, ad esempio 00.Install SAP NetWeaver ASCS as root on the first node using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ASCS, for example anftstsapvh, 10.1.1.20 and the instance number that you used for the probe of the load balancer, for example 00.

    È possibile usare il parametro sapinst SAPINST_REMOTE_ACCESS_USER per consentire a un utente non ROOT di connettersi a sapinst.You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst. È possibile usare il parametro SAPINST_USE_HOSTNAME per installare SAP, usando il nome host virtuale.You can use parameter SAPINST_USE_HOSTNAME to install SAP, using virtual hostname.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Se durante l'installazione non viene creata una sottocartella in /usr/sap/QAS/ASCS 00, provare a impostare il proprietario e il gruppo della cartella ASCS 00 e riprovare.If the installation fails to create a subfolder in /usr/sap/QAS/ASCS 00, try setting the owner and group of the ASCS 00 folder and retry.

    
    chown qasadm /usr/sap/QAS/ASCS00
    chgrp sapsys /usr/sap/QAS/ASCS00
    
  3. [1] Creare una risorsa IP virtuale e un probe di integrità per l'istanza di ERS[1] Create a virtual IP resource and health-probe for the ERS instance

    
    sudo crm node online anftstsapcl2
    sudo crm node standby anftstsapcl1
    # If using NFSv3
    sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    # If using NFSv4.1
    sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' options='sec=sys,vers=4.1' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_QAS_ERS IPaddr2 \
      params ip=10.1.1.21 cidr_netmask=24 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_QAS_ERS azure-lb port=62101
    
    sudo crm configure group g-QAS_ERS fs_QAS_ERS nc_QAS_ERS vip_QAS_ERS
    

    Assicurarsi che lo stato del cluster sia corretto e che tutte le risorse siano avviate.Make sure that the cluster status is ok and that all resources are started. Non è importante il nodo su cui sono in esecuzione le risorse.It is not important on which node the resources are running.

    sudo crm_mon -r
    
    # Node anftstsapcl1: standby
    # Online: [ anftstsapcl2 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
    #  Resource Group: g-QAS_ASCS
    #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
    #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
    #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
    #  Resource Group: g-QAS_ERS
    #      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
    #      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
    #      vip_QAS_ERS  (ocf::heartbeat:IPaddr2):     Started anftstsapcl2
    
  4. [2] Installare SAP NetWeaver ERS[2] Install SAP NetWeaver ERS

    Installare SAP NetWeaver ERS come radice nel secondo nodo usando un nome host virtuale mappato all'indirizzo IP della configurazione front-end di bilanciamento del carico per ERS, ad esempio anftstsapers, 10.1.1.21 e il numero di istanza usato per il probe del bilanciamento del carico, ad esempio 01.Install SAP NetWeaver ERS as root on the second node using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the ERS, for example anftstsapers, 10.1.1.21 and the instance number that you used for the probe of the load balancer, for example 01.

    È possibile usare il parametro sapinst SAPINST_REMOTE_ACCESS_USER per consentire a un utente non ROOT di connettersi a sapinst.You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst. È possibile usare il parametro SAPINST_USE_HOSTNAME per installare SAP, usando il nome host virtuale.You can use parameter SAPINST_USE_HOSTNAME to install SAP, using virtual hostname.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Nota

    Usare SWPM SP 20 PL 05 o versione successiva.Use SWPM SP 20 PL 05 or higher. Le versioni precedenti non impostano correttamente le autorizzazioni e l'installazione avrà esito negativo.Lower versions do not set the permissions correctly and the installation will fail.

    Se durante l'installazione non viene creata una sottocartella in /usr/sap/QAS/ERS 01, provare a impostare il proprietario e il gruppo della cartella ERS 01 e riprovare.If the installation fails to create a subfolder in /usr/sap/QAS/ERS 01, try setting the owner and group of the ERS 01 folder and retry.

    
    chown qasadm /usr/sap/QAS/ERS01
    chgrp sapsys /usr/sap/QAS/ERS01
    
  5. [1] Adattare i profili di istanza ASCS/SCS e ERS[1] Adapt the ASCS/SCS and ERS instance profiles

    • Profilo ASCS/SCSASCS/SCS profile
    
    sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh
    
    # Change the restart command to a start command
    #Restart_Program_01 = local $(_EN) pf=$(_PF)
    Start_Program_01 = local $(_EN) pf=$(_PF)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # Add the keep alive parameter, if using ENSA1
    enque/encni/set_so_keepalive = true
    

    Per ENSA1 e ENSA2, assicurarsi che i parametri del keepalive sistema operativo siano impostati come descritto nella nota SAP 1410736.For both ENSA1 and ENSA2, make sure that the keepalive OS parameters are set as described in SAP note 1410736.

    • Profilo ERSERS profile
    
    sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers
    
    # Change the restart command to a start command
    #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # remove Autostart from ERS profile
    # Autostart = 1
    
  6. [A] Configurare keep-alive[A] Configure Keep Alive

    Le comunicazioni tra il server applicazioni SAP NetWeaver e ASCS/SCS vengono instradate tramite un servizio di bilanciamento del carico software.The communication between the SAP NetWeaver application server and the ASCS/SCS is routed through a software load balancer. Il servizio di bilanciamento del carico disconnette le connessioni inattive dopo un timeout configurabile.The load balancer disconnects inactive connections after a configurable timeout. Per evitare questo problema, è necessario impostare un parametro nel profilo ASC/SCS di SAP NetWeaver, se si usa ENSA1 e modificare le impostazioni di sistema di Linux keepalive in tutti i server SAP per ENSA1/ENSA2.To prevent this you need to set a parameter in the SAP NetWeaver ASCS/SCS profile, if using ENSA1, and change the Linux system keepalive settings on all SAP servers for both ENSA1/ENSA2. Per altre informazioni, leggere la nota SAP 1410736.Read SAP Note 1410736 for more information.

    
    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] Configurare gli utenti SAP dopo l'installazione[A] Configure the SAP users after the installation

    
    # Add sidadm to the haclient group
    sudo usermod -aG haclient qasadm
    
  8. [1] Aggiungere i servizi SAP ASCS e ERS al file sapservice[1] Add the ASCS and ERS SAP services to the sapservice file

    Aggiungere la voce del servizio ASCS al secondo nodo e copiare la voce del servizio ERS nel primo nodo.Add the ASCS service entry to the second node and copy the ERS service entry to the first node.

    
    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh anftstsapcl2 "cat >>/usr/sap/sapservices"
    sudo ssh anftstsapcl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
    
  9. [1] Creare le risorse del cluster SAP[1] Create the SAP cluster resources

Se si usa l'architettura del server di accodamento 1 (ENSA1), definire le risorse nel modo seguente:If using enqueue server 1 architecture (ENSA1), define the resources as follows:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000
   
   sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
   sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01
   
   sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
   sudo crm configure location loc_sap_QAS_failover_to_ers rsc_sap_QAS_ASCS00 rule 2000: runs_ers_QAS eq 1
   sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false
   
   sudo crm node online anftstsapcl1
   sudo crm configure property maintenance-mode="false"
   

SAP ha introdotto il supporto per il server di accodamento 2, inclusa la replica, a partire da SAP NW 7.52.SAP introduced support for enqueue server 2, including replication, as of SAP NW 7.52. A partire dalla piattaforma ABAP 1809, il server di accodamento 2 viene installato per impostazione predefinita.Starting with ABAP Platform 1809, enqueue server 2 is installed by default. Vedere la nota SAP 2630416 per il supporto del server di accodamento 2.See SAP note 2630416 for enqueue server 2 support. Se si usa l'architettura del server di accodamento 2 (ENSA2), definire le risorse nel modo seguente:If using enqueue server 2 architecture (ENSA2), define the resources as follows:

sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000
   
   sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true
   
   sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
   sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01
   
   sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
   sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false
   
   sudo crm node online anftstsapcl1
   sudo crm configure property maintenance-mode="false"
   

Se si esegue l'aggiornamento da una versione precedente e si passa al server di accodamento 2, vedere la nota SAP 2641019.If you are upgrading from an older version and switching to enqueue server 2, see SAP note 2641019.

Assicurarsi che lo stato del cluster sia corretto e che tutte le risorse siano avviate.Make sure that the cluster status is ok and that all resources are started. Non è importante il nodo su cui sono in esecuzione le risorse.It is not important on which node the resources are running.

sudo crm_mon -r
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
   #  Resource Group: g-QAS_ASCS
   #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
   #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
   #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
   #      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   #  Resource Group: g-QAS_ERS
   #      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
   #      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
   #      vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
   #      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

Preparazione del server applicazioni di SAP NetWeaverSAP NetWeaver application server preparation

Alcuni database richiedono che l'installazione dell'istanza di database venga eseguita in un server applicazioni.Some databases require that the database instance installation is executed on an application server. Preparare le macchine virtuali del server applicazioni da poter usare in questi casi.Prepare the application server virtual machines to be able to use them in these cases.

I passaggi seguenti presuppongono che il server applicazioni venga installato in un server diverso dai server ASCS/SCS e HANA.The steps bellow assume that you install the application server on a server different from the ASCS/SCS and HANA servers. Diversamente, alcuni dei passaggi seguenti non sono necessari, ad esempio la configurazione della risoluzione dei nomi host.Otherwise some of the steps below (like configuring host name resolution) are not needed.

Gli elementi seguenti sono preceduti dall'indicazione [A] , applicabile a PAS e AAS, [P] , applicabile solo a PAS o [S] , applicabile solo a AAS.The following items are prefixed with either [A] - applicable to both PAS and AAS, [P] - only applicable to PAS or [S] - only applicable to AAS.

  1. [A] Configurare il sistema operativo[A] Configure operating system

    Ridurre le dimensioni della cache dirty.Reduce the size of the dirty cache. Per altre informazioni, vedere Prestazioni di scrittura ridotte sui server SLES 11 12 con RAM di grandi dimensioni.For more information, see Low write performance on SLES 11/12 servers with large RAM.

    
    sudo vi /etc/sysctl.conf
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. [A] Configurare la risoluzione dei nomi host[A] Setup host name resolution

    È possibile usare un server DNS o modificare /etc/hosts in tutti i nodi.You can either use a DNS server or modify the /etc/hosts on all nodes. Questo esempio mostra come usare il file /etc/hosts.This example shows how to use the /etc/hosts file. Sostituire l'indirizzo IP e il nome host nei comandi seguentiReplace the IP address and the hostname in the following commands

    sudo vi /etc/hosts
    

    Inserire le righe seguenti in /etc/hosts.Insert the following lines to /etc/hosts. Modificare l'indirizzo IP e il nome host in base all'ambienteChange the IP address and hostname to match your environment

    
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
    10.1.1.20 anftstsapvh
    # IP address of the load balancer frontend configuration for SAP NetWeaver ERS
    10.1.1.21 anftstsapers
    # IP address of all application servers
    10.1.1.15 anftstsapa01
    10.1.1.16 anftstsapa02
    
  3. [A] Creare la directory sapmnt[A] Create the sapmnt directory

    
    sudo mkdir -p /sapmnt/QAS
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/QAS
    sudo chattr +i /usr/sap/trans
    
  4. [P] Creare la directory PAS[P] Create the PAS directory

    
    sudo mkdir -p /usr/sap/QAS/D02
    sudo chattr +i /usr/sap/QAS/D02
    
  5. [S] Creare la directory AAS[S] Create the AAS directory

    
    sudo mkdir -p /usr/sap/QAS/D03
    sudo chattr +i /usr/sap/QAS/D03
    
  6. [P] Configurare autofs su PAS[P] Configure autofs on PAS

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    /- /etc/auto.direct
    

    Se si usa NFSv3, creare un nuovo file con:If using NFSv3, create a new file with:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
    /usr/sap/QAS/D02 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASpas
    

    Se si usa NFSv4.1, creare un nuovo file con:If using NFSv4.1, create a new file with:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
    /usr/sap/QAS/D02 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASpas
    

    Riavviare autofs per montare le nuove condivisioniRestart autofs to mount the new shares

    
    sudo systemctl enable autofs
    sudo service autofs restart
    
  7. [P] Configurare autofs su AAS[P] Configure autofs on AAS

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    /- /etc/auto.direct
    

    Se si usa NFSv3, creare un nuovo file con:If using NFSv3, create a new file with:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
    /usr/sap/QAS/D03 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASaas
    

    Se si usa NFSv4.1, creare un nuovo file con:If using NFSv4.1, create a new file with:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
    /usr/sap/QAS/D03 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASaas
    

    Riavviare autofs per montare le nuove condivisioniRestart autofs to mount the new shares

    
    sudo systemctl enable autofs
    sudo service autofs restart
    
  8. [A] Configurare il file SWAP[A] Configure SWAP file

    
    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Riavviare l'agente per attivare la modificaRestart the Agent to activate the change

    sudo service waagent restart
    

Installare il databaseInstall database

In questo esempio, SAP NetWeaver è installato in SAP HANA.In this example, SAP NetWeaver is installed on SAP HANA. Per questa installazione è possibile usare qualsiasi database supportato.You can use every supported database for this installation. Per altre informazioni su come installare SAP HANA in Azure, vedere Disponibilità elevata di SAP HANA in macchine virtuali di Azure (VM).For more information on how to install SAP HANA in Azure, see High Availability of SAP HANA on Azure Virtual Machines (VMs). Per un elenco dei database supportati, vedere la nota SAP 1928533.For a list of supported databases, see SAP Note 1928533.

  • Eseguire l'installazione dell'istanza del database SAPRun the SAP database instance installation

    Installare l'istanza del database di SAP NetWeaver come radice usando un nome host virtuale mappato all'indirizzo IP della configurazione front-end di bilanciamento del carico per il database.Install the SAP NetWeaver database instance as root using a virtual hostname that maps to the IP address of the load balancer frontend configuration for the database.

    È possibile usare il parametro sapinst SAPINST_REMOTE_ACCESS_USER per consentire a un utente non ROOT di connettersi a sapinst.You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
    

Installazione del server applicazioni di SAP NetWeaverSAP NetWeaver application server installation

Per installare il server applicazioni SAP, seguire questi passaggi.Follow these steps to install an SAP application server.

  1. [A] Per preparare il server applicazioni. Seguire la procedura descritta nel capitolo Preparazione del server applicazioni di SAP NetWeaver sopra riportato.[A] Prepare application server Follow the steps in the chapter SAP NetWeaver application server preparation above to prepare the application server.

  2. [A] Installare un server applicazioni di SAP NetWeaver. Installare un server applicazioni di SAP NetWeaver primario o aggiuntivo.[A] Install SAP NetWeaver application server Install a primary or additional SAP NetWeaver applications server.

    È possibile usare il parametro sapinst SAPINST_REMOTE_ACCESS_USER per consentire a un utente non ROOT di connettersi a sapinst.You can use the sapinst parameter SAPINST_REMOTE_ACCESS_USER to allow a non-root user to connect to sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
    
  3. [A] Aggiornare l'archivio sicuro di SAP HANA[A] Update SAP HANA secure store

    Aggiornare l'archivio sicuro di SAP HANA in modo che punti al nome virtuale della configurazione della replica di sistema di SAP HANA.Update the SAP HANA secure store to point to the virtual name of the SAP HANA System Replication setup.

    Eseguire il comando seguente per ottenere un elenco delle vociRun the following command to list the entries

    
    hdbuserstore List
    

    Viene visualizzato un elenco di tutte le voci, che avrà un aspetto simile al seguenteThis should list all entries and should look similar to

    
    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
    KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY
    
    KEY DEFAULT
      ENV : 10.1.1.5:30313
      USER: SAPABAP1
      DATABASE: QAS
    

    L'output mostra che l'indirizzo IP della voce predefinita fa riferimento alla macchina virtuale e non all'indirizzo IP del bilanciamento del carico.The output shows that the IP address of the default entry is pointing to the virtual machine and not to the load balancer's IP address. Questa voce deve essere modificata in modo che faccia riferimento al nome host virtuale del bilanciamento del carico.This entry needs to be changed to point to the virtual hostname of the load balancer. Verificare di usare la stessa porta (30313 nell'output precedente) e lo stesso nome del database (QAS nell'output precedente).Make sure to use the same port (30313 in the output above) and database name (QAS in the output above)!

    
    su - qasadm
    hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>
    

Testare la configurazione del clusterTest the cluster setup

I test seguenti sono una copia dei test case contenuti nelle guide alle procedure consigliate di SUSE.The following tests are a copy of the test cases in the best practices guides of SUSE. Vengono copiati per comodità.They are copied for your convenience. Leggere sempre anche le guide alle procedure consigliate ed eseguire tutti i test aggiuntivi che possono essere stati aggiunti.Always also read the best practices guides and perform all additional tests that might have been added.

  1. Test HAGetFailoverConfig, HACheckConfig e HACheckFailoverConfigTest HAGetFailoverConfig, HACheckConfig, and HACheckFailoverConfig

    Eseguire questi comandi come <sapsid>adm nel nodo di cui è in esecuzione l'istanza di ASCS.Run the following commands as <sapsid>adm on the node where the ASCS instance is currently running. Se i comandi hanno esito negativo con ERRORE: memoria insufficiente, la causa potrebbe essere la presenza di trattini nel nome host.If the commands fail with FAIL: Insufficient memory, it might be caused by dashes in your hostname. Si tratta di un problema noto, che verrà risolto da SUSE nel pacchetto sap-suse-cluster-connector.This is a known issue and will be fixed by SUSE in the sap-suse-cluster-connector package.

    
    anftstsapcl1:qasadm 52> sapcontrol -nr 00 -function HAGetFailoverConfig
    07.03.2019 20:08:59
    HAGetFailoverConfig
    OK
    HAActive: TRUE
    HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP3
    HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP3 (sap_suse_cluster_connector 3.1.0)
    HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
    HAActiveNode: anftstsapcl1
    HANodes: anftstsapcl1, anftstsapcl2
    
    anftstsapcl1:qasadm 54> sapcontrol -nr 00 -function HACheckConfig
    07.03.2019 23:28:29
    HACheckConfig
    OK
    state, category, description, comment
    SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
    SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
    SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
    SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
    SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
    SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
    SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
    SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
    SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
    SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
    SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (anftstsapvh_QAS_00), SAPInstance includes is-ers patch
    SUCCESS, SAP CONFIGURATION, Enqueue replication (anftstsapvh_QAS_00), Enqueue replication enabled
    SUCCESS, SAP STATE, Enqueue replication state (anftstsapvh_QAS_00), Enqueue replication active
    
    anftstsapcl1:qasadm 55> sapcontrol -nr 00 -function HACheckFailoverConfig
    07.03.2019 23:30:48
    HACheckFailoverConfig
    OK
    state, category, description, comment
    SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
    
  2. Eseguire la migrazione manuale dell'istanza ASCSManually migrate the ASCS instance

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rscsap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Starting anftstsapcl1
    

    Eseguire i comandi seguenti come radice per la migrazione dell'istanza ASCS.Run the following commands as root to migrate the ASCS instance.

    
    anftstsapcl1:~ # crm resource migrate rsc_sap_QAS_ASCS00 force
    INFO: Move constraint created for rsc_sap_QAS_ASCS00
    
    anftstsapcl1:~ # crm resource unmigrate rsc_sap_QAS_ASCS00
    INFO: Removed migration constraints for rsc_sap_QAS_ASCS00
    
    # Remove failed actions for the ERS that occurred as part of the migration
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    
  3. Testare HAFailoverToNodeTest HAFailoverToNode

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    

    Eseguire questi comandi come <sapsid>adm per la migrazione dell'istanza ASCS.Run the following commands as <sapsid>adm to migrate the ASCS instance.

    
    anftstsapcl1:qasadm 53> sapcontrol -nr 00 -host anftstsapvh -user qasadm <password> -function HAFailoverToNode ""
    
    # run as root
    # Remove failed actions for the ERS that occurred as part of the migration
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    # Remove migration constraints
    anftstsapcl1:~ # crm resource clear rsc_sap_QAS_ASCS00
    #INFO: Removed migration constraints for rsc_sap_QAS_ASCS00
    

    Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  4. Simulare l'arresto anomalo del nodoSimulate node crash

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Eseguire i comandi seguenti come radice nel nodo di cui è in esecuzione l'istanza di ASCSRun the following command as root on the node where the ASCS instance is running

    anftstsapcl2:~ # echo b > /proc/sysrq-trigger
    

    Se si usa SBD, Pacemaker non dovrebbe essere avviato automaticamente nel nodo terminato.If you use SBD, Pacemaker should not automatically start on the killed node. Lo stato dopo il riavvio del nodo dovrebbe essere simile al seguente.The status after the node is started again should look like this.

    Online:
    Online: [ anftstsapcl1 ]
    OFFLINE: [ anftstsapcl2 ]
    
    Full list of resources:
    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
    Failed Actions:
    * rsc_sap_QAS_ERS01_monitor_11000 on anftstsapcl1 'not running' (7): call=166, status=complete, exitreason='',
     last-rc-change='Fri Mar  8 18:26:10 2019', queued=0ms, exec=0ms
    

    Usare i comandi seguenti per avviare Pacemaker nel nodo terminato, pulire i messaggi SBD, quindi pulire la risorsa per la quale si è verificato un errore.Use the following commands to start Pacemaker on the killed node, clean the SBD messages, and clean the failed resources.

    
    # run as root
    # list the SBD device(s)
    anftstsapcl2:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
    # SBD_DEVICE="/dev/disk/by-id/scsi-36001405b730e31e7d5a4516a2a697dcf;/dev/disk/by-id/scsi-36001405f69d7ed91ef54461a442c676e;/dev/disk/by-id/scsi-360014058e5f335f2567488882f3a2c3a"
    
    anftstsapcl2:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e11 -d /dev/disk/by-id/scsi-36001405f69d7ed91ef54461a442c676e -d /dev/disk/by-id/scsi-360014058e5f335f2567488882f3a2c3a message anftstsapcl2 clear
    
    anftstsapcl2:~ # systemctl start pacemaker
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ASCS00
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Stato delle risorse dopo il test:Resource state after the test:

    
    Full list of resources:
    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    
  5. Testare il riavvio manuale dell'istanza ASCSTest manual restart of ASCS instance

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Creare un blocco di accodamento, ad esempio modificando un utente nella transazione su01.Create an enqueue lock by, for example edit a user in transaction su01. Eseguire questi comandi come <sapsid>adm nel nodo di cui è in esecuzione l'istanza di ASCS.Run the following commands as <sapsid>adm on the node where the ASCS instance is running. I comandi interromperanno l'istanza ASCS per poi riavviarla.The commands will stop the ASCS instance and start it again. Se si usa l'architettura del server di accodamento 1, in questo test è prevista la perdita del blocco di accodamento.If using enqueue server 1 architecture, the enqueue lock is expected to be lost in this test. Se si usa l'architettura del server di accodamento 2, l'accodamento verrà mantenuto.If using enqueue server 2 architecture, the enqueue will be retained.

    anftstsapcl2:qasadm 51> sapcontrol -nr 00 -function StopWait 600 2
    

    L'istanza ASCS dovrebbe essere ora disabilitata in PacemakerThe ASCS instance should now be disabled in Pacemaker

      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)
    

    Avviare l'istanza ASCS nuovamente nello stesso nodo.Start the ASCS instance again on the same node.

    anftstsapcl2:qasadm 52> sapcontrol -nr 00 -function StartWait 600 2
    

    Il blocco di accodamento della transazione su01 andrà perso se si usa l'architettura della replica del server di accodamento 1 e il back-end verrà reimpostato.The enqueue lock of transaction su01 should be lost, if using enqueue server replication 1 architecture and the back-end should have been reset. Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  6. Terminare il processo server messaggiKill message server process

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Eseguire i comandi seguenti come radice per identificare il processo del server messaggi e terminarlo.Run the following commands as root to identify the process of the message server and kill it.

    anftstsapcl2:~ # pgrep ms.sapQAS | xargs kill -9
    

    Terminando il server messaggi una sola volta, questo verrà riavviato da sapstart.If you only kill the message server once, it will be restarted by sapstart. Terminandolo un numero di volte sufficiente, Pacemaker sposterà infine l'istanza ASCS in un altro nodo.If you kill it often enough, Pacemaker will eventually move the ASCS instance to the other node. Eseguire i comandi seguenti come radice per pulire lo stato della risorsa dell'istanza ASCS ed ERS dopo il test.Run the following commands as root to clean up the resource state of the ASCS and ERS instance after the test.

    
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ASCS00
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    
  7. Terminare il processo server di accodamentoKill enqueue server process

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    

    Eseguire i comandi seguenti come radice nel nodo di cui è in esecuzione l'istanza di ASCS per terminare il server di accodamento.Run the following commands as root on the node where the ASCS instance is running to kill the enqueue server.

    anftstsapcl1:~ # pgrep en.sapQAS | xargs kill -9
    

    L'istanza ASCS deve eseguire immediatamente il failover in un altro nodo.The ASCS instance should immediately fail over to the other node. Anche l'istanza ERS deve eseguire il failover dopo l'avvio dell'istanza ASCS.The ERS instance should also fail over after the ASCS instance is started. Eseguire i comandi seguenti come radice per pulire lo stato della risorsa dell'istanza ASCS ed ERS dopo il test.Run the following commands as root to clean up the resource state of the ASCS and ERS instance after the test.

    
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ASCS00
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  8. Terminare il processo del server di replica dell'accodamentoKill enqueue replication server process

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Eseguire i comandi seguenti come radice nel nodo in cui è in esecuzione l'istanza ERS per terminare il processo del server di replica dell'accodamento.Run the following command as root on the node where the ERS instance is running to kill the enqueue replication server process.

    anftstsapcl1:~ # pgrep er.sapQAS | xargs kill -9
    

    Se si esegue il comando una sola volta, sapstart riavvierà il processo.If you only run the command once, sapstart will restart the process. Se lo si esegue un numero di volte sufficiente, sapstart non riavvierà il processo e la risorsa sarà in stato arrestato.If you run it often enough, sapstart will not restart the process and the resource will be in a stopped state. Eseguire i comandi seguenti come radice per pulire lo stato della risorsa dell'istanza ERS dopo il test.Run the following commands as root to clean up the resource state of the ERS instance after the test.

    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  9. Terminare il processo di accodamento sapstartsrvKill enqueue sapstartsrv process

    Stato delle risorse prima dell'avvio del test:Resource state before starting the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Eseguire i comandi seguenti come radice nel nodo di cui è in esecuzione ASCS.Run the following commands as root on the node where the ASCS is running.

    
    anftstsapcl2:~ # pgrep -fl ASCS00.*sapstartsrv
    #67625 sapstartsrv
    
    anftstsapcl2:~ # kill -9 67625
    

    Il processo sapstartsrv deve sempre essere riavviato per l'agente delle risorse Pacemaker.The sapstartsrv process should always be restarted by the Pacemaker resource agent. Stato delle risorse dopo il test:Resource state after the test:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

Passaggi successiviNext steps