Ketersediaan tinggi Peningkatan skala SAP Hana dengan Azure NetApp Files di SUSE Enterprise Linux

  • Artikel
  • 23 menit untuk membaca

Artikel ini menjelaskan cara mengonfigurasi Replikasi Sistem SAP Hana dalam penyebaran Peningkatan skala, ketika sistem file HANA dipasang melalui NFS menggunakan Azure NetApp Files (ANF). Dalam konfigurasi contoh dan perintah penginstalan, nomor instans 03, dan ID Sistem HANA HN1 digunakan. Replikasi SAP HANA terdiri dari satu node primer dan minimal satu node sekunder.

Ketika langkah-langkah dalam dokumen ini ditandai dengan awalan berikut, artinya adalah sebagai berikut:

  • [A] : Langkah ini berlaku untuk semua node
  • [1] : Langkah ini hanya berlaku untuk node1
  • [2] : Langkah ini hanya berlaku untuk node2

Baca makalah dan Catatan SAP berikut terlebih dahulu:

Catatan

Artikel ini berisi referensi ke istilah slave, istilah yang tidak lagi digunakan Microsoft. Ketika istilah ini dihapus dari perangkat lunak, kami akan menghapusnya dari artikel ini.

Gambaran Umum

Secara tradisional di lingkungan peningkatan skala, semua sistem file untuk SAP HANA dipasang dari penyimpanan lokal. Menyiapkan Replikasi Sistem SAP Hana Ketersediaan Tinggi di SUSE Enterprise Linux diterbitkan dalam panduan Mengatur Replikasi Sistem SAP HANA di SLES

Untuk mencapai sistem peningkatan skala Ketersediaan Tinggi SAP Hana pada Azure NetApp Files NFS yang dibagikan, kami memerlukan beberapa konfigurasi sumber daya tambahan di kluster agar sumber daya HANA pulih, ketika satu node kehilangan akses ke NFS yang dibagikan di ANF.

SAP HANA HA Scale-up on ANF

Sistem file SAP HANA dipasang pada pembagian NFS menggunakan Azure NetApp Files di setiap node. Sistem file /hana/data, /hana/log, dan /hana/shared unik untuk setiap node.

Dipasang pada node1 (hanadb1)

  • 10.3.1.4:/hanadb1-data-mnt00001 pada /hana/data
  • 10.3.1.4:/hanadb1-log-mnt00001 pada /hana/log
  • 10.3.1.4:/hanadb1-shared-mnt00001 pada /hana/shared

Dipasang di node2 (hanadb2)

  • 10.3.1.4:/hanadb2-data-mnt00001 pada /hana/data
  • 10.3.1.4:/hanadb2-log-mnt00001 pada /hana/log
  • 10.3.1.4:/hanadb2-shared-mnt0001 pada /hana/shared

Catatan

Sistem file /hana/shared, /hana/data dan /hana/log tidak dibagi antara dua node. Setiap node kluster memiliki sistem file sendiri yang terpisah.

Konfigurasi Replikasi Sistem HANA ketersediaan tinggi SAP menggunakan nama host virtual khusus dan alamat IP virtual. Di Azure, penyeimbang beban diperlukan untuk menggunakan alamat IP virtual. Konfigurasi yang disajikan menunjukkan penyeimbang muatan dengan:

  • Alamat IP konfigurasi front-end: 10.3.0.50 untuk hn1-db
  • Port Pengujian: 62503

Menyiapkan infrastruktur Azure NetApp Files

Sebelum Anda melanjutkan penyiapan infrastruktur Azure NetApp Files, biasakan diri Anda dengan dokumentasi NetApp Files Azure.

Azure NetApp Files tersedia di beberapa wilayah Azure. Periksa untuk melihat apakah wilayah Azure yang Anda pilih menawarkan Azure NetApp Files.

Untuk informasi tentang ketersediaan Azure NetApp Files menurut Azure region, lihat Ketersediaan Azure NetApp Files berdasarkan Azure Region.

Menyebarkan sumber daya Azure NetApp Files

Instruksi berikut mengasumsikan bahwa Anda telah menyebarkan jaringan virtual Azure Anda. Sumber daya dan VM Azure NetApp Files, di mana sumber daya Azure NetApp Files akan dipasang, harus disebarkan di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang diserekan.

  1. Buat akun NetApp di wilayah Azure pilihan Anda dengan mengikuti instruksi di Buat akun NetApp.

  2. Siapkan kumpulan kapasitas Azure NetApp Files dengan mengikuti petunjuk di Menyiapkan kumpulan kapasitas Azure NetApp Files.

    Arsitektur HANA yang disajikan dalam artikel ini menggunakan kumpulan kapasitas Azure NetApp Files tunggal di tingkat Layanan Ultra. Untuk beban kerja HANA di Azure, sebaiknya gunakan tingkat layanan Azure NetApp Files Ultra atau Premium.

  3. Delegasikan subnet ke Azure NetApp Files, seperti yang dijelaskan dalam instruksi di Delegasikan subnet ke Azure NetApp Files.

  4. Sebarkan volume Azure NetApp Files dengan mengikuti instruksi pada Membuat volume NFS untuk Azure NetApp Files.

    Saat Anda menyebarkan volume, pastikan untuk memilih versi NFSv4.1. Menyebarkan volume di subnet Azure NetApp Files yang ditentukan. Alamat IP volume Azure NetApp ditetapkan secara otomatis.

    Perlu diingat bahwa sumber daya Azure NetApp Files dan VM Azure harus berada di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang di-peering. Misalnya, hanadb1-data-mnt00001, hanadb1-log-mnt00001, dan seterusnya, adalah nama volume dan nfs://10.3.1.4/hanadb1-data-mnt00001, nfs://10.3.1.4/hanadb1-log- mnt00001, dan seterusnya, adalah jalur file untuk volume Azure NetApp Files.

    Di hanadb1

    • Volume hanadb1-data-mnt00001 (nfs://10.3.1.4:/hanadb1-data-mnt00001)
    • Volume hanadb1-log-mnt00001 (nfs://10.3.1.4:/hanadb1-log-mnt00001)
    • Volume hanadb1-shared-mnt00001 (nfs://10.3.1.4:/hanadb1-shared-mnt00001)

    Di hanadb2

    • Volume hanadb2-data-mnt00001 (nfs://10.3.1.4:/hanadb2-data-mnt00001)
    • Volume hanadb2-log-mnt00001 (nfs://10.3.1.4:/hanadb2-log-mnt00001)
    • Volume hanadb2-shared-mnt00001 (nfs://10.3.1.4:/hanadb2-shared-mnt00001)

Pertimbangan penting

Saat Anda membuat Azure NetApp Files untuk sistem Peningkatan skala SAP Hana, perhatikan pertimbangan berikut:

  • Kumpulan kapasitas minimum adalah 4 tebibyte (TiB).
  • Ukuran volume minimum adalah 100 gibibyte (GiB).
  • Azure NetApp Files dan semua mesin virtual tempat volume Azure NetApp Files akan dipasang, harus berada di jaringan virtual Azure yang sama atau di jaringan virtual yang di-peering di wilayah yang sama.
  • Jaringan virtual yang dipilih harus memiliki subnet yang didelegasikan ke Azure NetApp Files.
  • Throughput volume Azure NetApp Files adalah fungsi dari kuota volume dan tingkat layanan, seperti yang didokumentasikan dalam Tingkat Layanan untuk Azure NetApp Files. Saat mengukur volume HANA Azure NetApp, pastikan throughput yang dihasilkan memenuhi persyaratan sistem HANA.
  • Dengan kebijakan ekspor Azure NetApp Files, Anda dapat mengontrol klien yang diizinkan, jenis akses (baca-tulis, baca saja, dan sebagainya).
  • Fitur Azure NetApp Files belum mengenali zona. Saat ini, fitur tersebut tidak disebarkan di semua zona ketersediaan di wilayah Azure. Waspadai potensi implikasi latensi di beberapa wilayah Azure.

Penting

Untuk beban kerja SAP Hana, latensi rendah sangat penting. Bekerjalah dengan perwakilan Microsoft Anda untuk memastikan bahwa komputer virtual dan volume Azure NetApp Files disebarkan dalam jarak dekat.

Ukuran database HANA pada Azure NetApp Files

Throughput volume Azure NetApp Files adalah fungsi dari ukuran volume dan tingkat layanan, seperti yang didokumentasikan dalam Tingkat layanan untuk Azure NetApp Files.

Saat merancang infrastruktur untuk SAP di Azure, perhatikan beberapa persyaratan penyimpanan minimum oleh SAP, yang diterjemahkan ke dalam karakteristik throughput minimum:

  • Baca-tulis di /hana/log 250 megabyte per detik (MB/dtk) dengan ukuran I/O 1 MB.
  • Aktivitas baca minimal 400 MB/dtk untuk /hana/data untuk ukuran I/O 16-MB dan 64-MB.
  • Aktivitas tulis minimal 250 MB/dtk untuk /hana/data dengan ukuran I/O 16-MB dan 64-MB.

Batas throughput Azure NetApp Files per 1 TiB kuota volume adalah:

  • Tingkat Penyimpanan Premium - 64 MiB/dtk.
  • Tingkat Penyimpanan Ultra - 128 MiB/dtk.

Untuk memenuhi persyaratan throughput minimum SAP untuk /hana/data dan /hana/log, dan pedoman untuk /hana/shared, ukuran yang disarankan adalah:

Volume Ukuran Tingkat Penyimpanan Premium Ukuran Tingkat Penyimpanan Ultra Protokol NFS yang Didukung
/hana/log 4 TiB 2 TiB v4.1
/hana/data 6.3 TiB 3.2 TiB v4.1
/hana/shared 1 x RAM 1 x RAM v3 atau v4.1

Catatan

Rekomendasi ukuran Azure NetApp Files yang dinyatakan di sini ditargetkan untuk memenuhi persyaratan minimum yang direkomendasikan SAP untuk penyedia infrastruktur mereka. Dalam penyebaran pelanggan nyata dan skenario beban kerja, ukuran ini mungkin tidak cukup. Gunakan rekomendasi ini sebagai titik awal dan sesuaikan, berdasarkan persyaratan beban kerja spesifik Anda.

Tip

Anda dapat mengubah ukuran volume Azure NetApp Files secara dinamis, tanpa harus melepas volume, menghentikan komputer virtual, atau menghentikan SAP Hana. Pendekatan ini memungkinkan fleksibilitas untuk memenuhi tuntutan keluaran yang diharapkan dan tak terduga dari aplikasi Anda.

Catatan

Semua perintah untuk memasang /hana/shared dalam artikel ini disajikan untuk volume /hana/shared NFSv4.1. Jika Anda menerapkan volume /hana/shared sebagai volume NFSv3, jangan lupa untuk menyesuaikan perintah pemasangan untuk /hana/shared untuk NFSv3.

Menyebarkan komputer virtual Linux melalui portal Azure

Pertama, Anda perlu membuat volume Azure NetApp Files. Kemudian lakukan langkah-langkah berikut:

  1. Membuat grup sumber daya.
  2. Membuat jaringan virtual.
  3. Membuat kumpulan ketersediaan. Setel domain pembaruan maksimal.
  4. Membuat load balancer (internal). Kami merekomendasikan load balancer standar. Pilih jaringan virtual yang dibuat di langkah 2.
  5. Buat Virtual Machine 1 (hanadb1).
  6. Buat Virtual Machine 2 (hanadb2).
  7. Saat membuat mesin virtual, kami tidak akan menambahkan disk apa pun karena semua titik pemasangan kami akan berada di bagian NFS dari Azure NetApp Files.

Penting

Floating IP tidak didukung pada konfigurasi IP sekunder NIC dalam skenario penyeimbangan beban. Untuk detailnya, lihat Azure Load balancer Batasan. Jika Anda memerlukan alamat IP tambahan untuk VM, sebarkan NIC kedua.

Catatan

Ketika VM tanpa alamat IP publik ditempatkan di kumpulan backend internal (tanpa alamat IP publik) Azure Load Balancer Standar, tidak akan ada konektivitas internet keluar kecuali dilakukan konfigurasi tambahan untuk memungkinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar lihat Publik titik akhir konektivitas untuk Virtual Machines menggunakan Azure Standard Load Balancer dalam SAP ketersediaan tinggi skenario.

  1. Untuk menyiapkan penyeimbang muatan standar, ikuti langkah-langkah konfigurasi berikut:

    1. Pertama, buat kumpulan IP ujung-depan:
      1. Buka load balancer, pilih konfigurasi IP frontend, dan pilih Tambahkan.
      2. Masukkan nama IP front-end baru (misalnya, hana-frontend).
      3. Atur Penugasan ke Statis dan masukkan alamat IP (misalnya, 10.3.0.50).
      4. PilihOK.
      5. Setelah kumpulan IP ujung-depan baru dibuat, catat alamat IP kumpulan.
    2. Selanjutnya, buat kumpulan back-end:
      1. Buka penyeimbang beban, pilih kumpulan backend, dan pilih Tambahkan.
      2. Masukkan nama kumpulan back-end baru (misalnya, hana-backend).
      3. Pilih Tambahkan komputer virtual.
      4. Pilih Komputer virtual.
      5. Pilih komputer virtual kluster SAP Hana dan alamat IP-nya.
      6. Pilih Tambahkan.
    3. Selanjutnya, buat pemeriksaan kesehatan:
      1. Buka penyeimbang beban, pilihpemeriksaan kesehatan, dan pilihTambahkan.
      2. Masukkan nama probe kesehatan baru (misalnya, hana-hp).
      3. Pilih TCP sebagai protokol dan port 62503. Pertahankan nilai Interval diatur ke 5, dan nilai Ambang tidak sehat diatur ke 2.
      4. PilihOK.
    4. Selanjutnya, buat aturan penyeimbangan beban:
      1. Buka penyeimbang beban, pilihaturan penyeimbangan beban, dan pilih Tambahkan.
      2. Masukkan nama aturan penyeimbang beban baru (misalnya, hana-lb).
      3. Pilih alamat IP ujung-depan, kumpulan ujung-belakang, dan pemeriksaan kesehatan yang Anda buat sebelumnya (misalnya, hana-frontend,hana-backend dan hana-hp).
      4. Pilih Port HA.
      5. Pastikan untuk mengaktifkan Floating IP.
      6. PilihOK.

  2. Atau, hanya jika skenario Anda menentukan menggunakan penyeimbang beban dasar, ikuti langkah-langkah konfigurasi berikut:

    1. Konfigurasikan penyeimbang beban. Pertama, buat kumpulan IP ujung-depan:
      1. Buka load balancer, pilih Konfigurasi IP frontend, dan pilih Tambahkan.
      2. Masukkan nama IP front-end baru (misalnya, hana-frontend).
      3. Atur Penugasan ke Statis dan masukkan alamat IP (misalnya, 10.3.0.50).
      4. PilihOK.
      5. Setelah kumpulan IP ujung-depan baru dibuat, catat alamat IP kumpulan.
    2. Selanjutnya, buat kumpulan back-end:
      1. Buka penyeimbang beban, pilih kumpulan backend, dan pilih Tambahkan.
      2. Masukkan nama kumpulan back-end baru (misalnya, hana-backend).
      3. Pilih Tambahkan komputer virtual.
      4. Pilih kumpulan ketersediaan yang dibuat di langkah 3.
      5. Pilih komputer virtual kluster SAP HANA.
      6. PilihOK.
    3. Selanjutnya, buat pemeriksaan kesehatan:
      1. Buka penyeimbang beban, pilihpemeriksaan kesehatan, dan pilihTambahkan.
      2. Masukkan nama probe kesehatan baru (misalnya, hana-hp).
      3. Pilih TCP sebagai protokol dan port 62503. Pertahankan nilai Interval diatur ke 5, dan nilai Ambang tidak sehat diatur ke 2.
      4. PilihOK.
    4. Untuk SAP Hana 1.0, buat aturan load-balancing:
      1. Buka penyeimbang beban, pilihaturan penyeimbangan beban, dan pilih Tambahkan.
      2. Masukkan nama aturan penyeimbang beban baru (misalnya, hana-lb-30315).
      3. Pilih alamat IP ujung-depan, kumpulan ujung-belakang, dan probe kesehatan yang Anda buat sebelumnya (misalnya, hana-frontend).
      4. Tetap atur Protokol ke TCP, dan masukkan port 30315.
      5. Tingkatkan batas waktu diam menjadi 30 menit.
      6. Pastikan untuk mengaktifkan Floating IP.
      7. PilihOK.
      8. Ulangi langkah ini untuk port 30317.
    5. Untuk SAP Hana 2.0, buat aturan load-balancing untuk database sistem:
      1. Buka penyeimbang beban, pilihaturan penyeimbangan beban, dan pilih Tambahkan.
      2. Masukkan nama aturan penyeimbang beban baru (misalnya, hana-lb-30313).
      3. Pilih alamat IP ujung-depan, kumpulan ujung-belakang, dan probe kesehatan yang Anda buat sebelumnya (misalnya, hana-frontend).
      4. Tetap atur Protokol ke TCP, dan masukkan port 30313.
      5. Tingkatkan batas waktu diam menjadi 30 menit.
      6. Pastikan untuk mengaktifkan Floating IP.
      7. PilihOK.
      8. Ulangi langkah-langkah ini untuk port 30314.
    6. Untuk SAP Hana 2.0, buat aturan load-balancing untuk database penyewa:
      1. Buka penyeimbang beban, pilihaturan penyeimbangan beban, dan pilih Tambahkan.
      2. Masukkan nama aturan penyeimbang beban baru (misalnya, hana-lb-30340).
      3. Pilih alamat IP ujung-depan, kumpulan ujung-belakang, dan pemeriksaan kesehatan yang Anda buat sebelumnya (misalnya, hana-frontend).
      4. Tetap atur Protokol ke TCP, dan masukkan port 30340.
      5. Tingkatkan batas waktu diam menjadi 30 menit.
      6. Pastikan untuk mengaktifkan Floating IP.
      7. PilihOK.
      8. Ulangi langkah ini untuk port 30341 dan 30342.

Untuk informasi selengkapnya tentang port yang diperlukan untuk SAP Hana, baca bab Koneksi ke Database Penyewa di panduan Database Penyewa SAP Hana atau Catatan SAP 2388694.

Penting

Jangan aktifkan tanda waktu TCP pada komputer virtual Azure yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Set parameter net.ipv4.tcp_timestamps ke 0. Untuk detailnya lihat Probe kesehatan Load Balancer. Lihat juga catatan SAP 2382421.

Pasang volume Azure NetApp Files

1.[A] Buat titik pemasangan untuk volume database HANA.

mkdir -p /hana/data/HN1/mnt00001
mkdir -p /hana/log/HN1/mnt00001
mkdir -p /hana/shared/HN1

2.[A] Verifikasi pengaturan domain NFS. Pastikan domain dikonfigurasikan sebagai domain Azure NetApp Files default, yaitu defaultv4iddomain.com dan pemetaan diatur ke nobody.

sudo cat /etc/idmapd.conf
# Example
[General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

Penting

Pastikan untuk mengatur domain NFS di /etc/idmapd.conf pada VM agar sesuai dengan konfigurasi domain default pada Azure NetApp Files: defaultv4iddomain.com. Jika ada ketidakcocokan antara konfigurasi domain pada klien NFS (yaitu VM) dan server NFS, yaitu konfigurasi Azure NetApp, maka izin untuk file pada volume Azure NetApp yang dipasang pada VM akan ditampilkan sebagai tidak ada.

3.[A] Edit /etc/fstab pada kedua node untuk memasang volume yang relevan secara permanen ke setiap node. Di bawah ini adalah contoh bagaimana Anda memasang volume secara permanen.

sudo vi /etc/fstab

# Add the following entries in /etc/fstab on both nodes 
# Example for hanadb1

10.3.1.4:/hanadb1-data-mnt00001 /hana/data/HN1/mnt00001  nfs   rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb1-log-mnt00001 /hana/log/HN1/mnt00001  nfs   rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb1-shared-mnt00001 /hana/shared/HN1  nfs   rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys  0  0 

# Example for hanadb2    
10.3.1.4:/hanadb2-data-mnt00001 /hana/data/HN1/mnt00001  nfs   rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb2-log-mnt00001 /hana/log/HN1/mnt00001  nfs   rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb2-shared-mnt00001 /hana/shared/HN1  nfs   rw,vers=4,minorversion=1,hard,timeo=600,rsize=262144,wsize=262144,intr,noatime,lock,_netdev,sec=sys  0  0

# Mount all volumes
sudo mount -a

4.[A] Verifikasi bahwa semua volume HANA dipasang dengan protokol NFS versi NFSv4.

sudo nfsstat -m

# Verify that flag vers is set to 4.1 
# Example from hanadb1

/hana/log/HN1/mnt00001 from 10.3.1.4:/hanadb1-log-mnt00001
Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.3.0.4,local_lock=none,addr=10.3.1.4
/hana/data/HN1/mnt00001 from 10.3.1.4:/hanadb1-data-mnt00001
Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.3.0.4,local_lock=none,addr=10.3.1.4
/hana/shared/HN1 from 10.3.1.4:/hanadb1-shared-mnt00001
Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.3.0.4,local_lock=none,addr=10.3.1.4

5.[A] Verifikasi nfs4_disable_idmapping. Ini harus diatur ke Y. Untuk membuat struktur direktori tempat nfs4_disable_idmapping berada, jalankan perintah pemasangan. Anda tidak akan dapat membuat direktori secara manual di bawah /sys/modules, karena akses dicadangkan untuk kernel/driver.

# Check nfs4_disable_idmapping
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

Pemasangan SAP Hana

1.[A] Siapkan resolusi nama host untuk semua host.

Anda dapat menggunakan server DNS atau mengubah file /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut:

sudo vi /etc/hosts
# Insert the following lines in the /etc/hosts file. Change the IP address and hostname to match your environment  
10.3.0.4   hanadb1
10.3.0.5   hanadb2

2.[A] Siapkan OS untuk menjalankan SAP Hana di Azure NetApp dengan NFS, seperti yang dijelaskan dalam catatan SAP 3024346 - Pengaturan Linux Kernel untuk NetApp NFS. Buat file konfigurasi /etc/sysctl.d/netapp-hana.conf untuk pengaturan konfigurasi NetApp.

vi /etc/sysctl.d/netapp-hana.conf
# Add the following entries in the configuration file
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 131072 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216
net.core.netdev_max_backlog = 300000 
net.ipv4.tcp_slow_start_after_idle=0 
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1
net.ipv4.tcp_window_scaling = 1    
net.ipv4.tcp_sack = 1

3.[A] Buat file konfigurasi /etc/sysctl.d/ms-az.conf dengan pengaturan pengoptimalan tambahan.

vi /etc/sysctl.d/ms-az.conf
Add the following entries in the configuration file
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv4.tcp_max_syn_backlog = 16348
net.ipv4.conf.all.rp_filter = 0
sunrpc.tcp_slot_table_entries = 128
vm.swappiness=10

Tip

Hindari pengaturan net.ipv4.ip_local_port_range dan net.ipv4.ip_local_reserved_ports secara eksplisit dalam file konfigurasi sysctl untuk memungkinkan Agen Host SAP mengelola rentang port. Untuk informasi selengkapnya, lihat catatan SAP 2382421.

4.[A] Sesuaikan pengaturan sunrpc, seperti yang direkomendasikan dalam catatan SAP 3024346 - Pengaturan Linux Kernel untuk NetApp NFS.

vi /etc/modprobe.d/sunrpc.conf
# Insert the following line
options sunrpc tcp_max_slot_table_entries=128

5.[A] SLES untuk Konfigurasi HANA

​Konfigurasikan SLES seperti yang dijelaskan di bawah Catatan SAP berdasarkan versi SLES Anda

6.[A] Instal SAP Hana

Dimulai dengan HANA 2.0 Microsoft SharePoint Server 01, MDC adalah opsi default. Saat Anda menginstal sistem HANA, SYSTEMDB dan tenant dengan SID yang sama akan dibuat bersama. Dalam beberapa kasus, Anda tidak ingin penyewa default. Jika Anda tidak ingin membuat penyewa awal bersama dengan penginstalan, Anda dapat mengikuti Catatan SAP 2629711.

a. Mulai program hdblcm dari direktori perangkat lunak penginstalan HANA.

./hdblcm

b. Saat diminta, masukkan nilai berikut:

  • Untuk Memilih penginstalan: Masukkan 1 (untuk penginstalan)
  • Untuk Memilih komponen tambahan untuk penginstalan: Masukkan 1.
  • Untuk Memasukkan Jalur Penginstalan [/hana/shared]: tekan Enter untuk menerima default
  • Untuk Memasukkan Nama Host Lokal [..]: Tekan Enter untuk menerima default
  • Di bawah, Apakah Anda ingin menambahkan host tambahan ke sistem? (y/n) [n]: n
  • Untuk Memasukkan ID Sistem SAP Hana: Masukkan HN1.
  • Untuk Memasukkan Nomor Instans [00]: Masukkan 03
  • Untuk Memilih Mode Database/Masuk Indeks [1]: tekan Enter untuk menerima default
  • Untuk Memilih Penggunaan Sistem/Memasukkan indeks [4]: masukkan 4 (untuk kustom)
  • Untuk Memasukkan Lokasi Volume Data [/hana/data]: tekan Enter untuk menerima default
  • Untuk Memasukkan Lokasi Volume Log [/hana/log]: tekan Enter untuk menerima default
  • Untuk Batasi alokasi memori maksimum? [n]: tekan Enter untuk menerima default
  • Untuk Memasukkan Nama Host Sertifikat Untuk Host '...' [...]: tekan Enter untuk menerima default
  • Untuk Memasukkan Kata Sandi Pengguna Agen Host SAP (sapadm): Masukkan kata sandi pengguna agen host
  • Untuk Mengonfirmasi Kata Sandi Pengguna Agen Host SAP (sapadm): Masukkan kembali kata sandi pengguna agen host untuk mengonfirmasi
  • Untuk Memasukkan Kata Sandi Administrator Sistem (hn1adm): Masukkan kata sandi administrator sistem
  • Untuk Konfirmasi Kata Sandi Administrator Sistem (hn1adm): Masukkan kembali kata sandi administrator sistem untuk mengonfirmasi
  • Untuk Masuk ke Direktori Beranda Administrator Sistem [/usr/sap/HN1/home]: tekan Enter untuk menerima default
  • Untuk Masuk ke Shell Login Administrator Sistem [/bin/sh]: tekan Enter untuk menerima default
  • Untuk Masukkan ID Pengguna Administrator Sistem [1001]: tekan Enter untuk menerima default
  • Untuk Masukkan ID Grup Pengguna (sapsys) [79]: tekan Enter untuk menerima default
  • Untuk Memasukkan Kata Sandi Pengguna Database (SISTEM): Masukkan kata sandi pengguna database
  • Untuk Mengonfirmasi Kata Sandi Pengguna Database (SYSTEM): Masukkan kembali kata sandi pengguna database untuk mengonfirmasi
  • Untuk Mulai ulang sistem setelah boot ulang komputer? [n]: tekan Enter untuk menerima default
  • Untuk Apakah Anda ingin melanjutkan? (y/n): Validasi ringkasan. Masukkan y untuk melanjutkan

7.[A] Tingkatkan Agen Host SAP

Unduh arsip Agen Host SAP terbaru dari SAP Software Center dan jalankan perintah berikut untuk meningkatkan agen. Ganti jalur ke arsip untuk menunjuk ke file yang Anda unduh:

sudo /usr/sap/hostctrl/exe/saphostexec -upgrade -archive <path to SAP Host Agent SAR>

Mengonfigurasi replikasi sistem SAP HANA

Ikuti langkah-langkah dalam menyiapkan Replikasi Sistem SAP Hana untuk mengonfigurasi Replikasi Sistem SAP Hana.

Mengonfigurasi kluster

Bagian ini menjelaskan langkah-langkah yang diperlukan untuk kluster agar dapat beroperasi dengan lancar saat SAP HANA diinstal pada berbagi NFS menggunakan Azure NetApp Files.

Membuat kluster Pacemaker

Ikuti langkah-langkah dalam, Menyiapkan Pacemaker di SUSE Enterprise Linux di Azure untuk membuat kluster Pacemaker dasar untuk server HANA ini.

Terapkan SAPHanaSR kait replikasi sistem Python

Ini adalah langkah penting untuk mengoptimalkan integrasi dengan kluster dan meningkatkan deteksi, ketika kluster failover diperlukan. Sangat disarankan untuk mengonfigurasi kait python SAPHanaSR. Ikuti langkah-langkah yang disebutkan di, Implementasikan kait Replikasi Sistem Python SAPHanaSR

Mengonfigurasi sumber daya kluster SAP HANA

Bagian ini menjelaskan langkah-langkah yang diperlukan untuk mengonfigurasi sumber daya Kluster SAP Hana.

Membuat sumber daya kluster SAP Hana

Ikuti langkah-langkah dalam membuat sumber daya kluster SAP Hana untuk membuat sumber daya kluster untuk server HANA. Setelah sumber daya dibuat, Anda akan melihat status kluster dengan perintah di bawah ini

sudo crm_mon -r

# Online: [ hn1-db-0 hn1-db-1 ]
# Full list of resources:
# stonith-sbd     (stonith:external/sbd): Started hn1-db-0
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hn1-db-0 hn1-db-1 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hn1-db-0 ]
#     Slaves: [ hn1-db-1 ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0

Membuat sumber daya Sistem File

Buat sumber kluster sistem file dummy, yang akan memantau dan melaporkan kegagalan, jika ada masalah dalam mengakses sistem file yang dipasang NFS/hana/shared. Hal tersebut memungkinkan kluster untuk memicu failover, jika ada masalah mengakses /hana/shared. Untuk informasi selengkapnya, lihat Penanganan bagian NFS gagal dalam kluster SUSE HA untuk replikasi sistem HANA.

1.[A] Buat struktur direktori pada kedua node.

sudo mkdir -p /hana/shared/HN1/check
sudo mkdir -p /hana/shared/check

2.[1] Konfigurasikan kluster untuk menambahkan struktur direktori untuk pemantauan

crm configure primitive rsc_fs_check_HN1_HDB03 Filesystem params \
    device="/hana/shared/HN1/check/" \
    directory="/hana/shared/check/" fstype=nfs4  \
    options="bind,defaults,rw,hard,rsize=262144,wsize=262144,proto=tcp,intr,noatime,_netdev,vers=4,minorversion=1,lock,sec=sys" \
    op monitor interval=120 timeout=120 on-fail=fence \
    op_params OCF_CHECK_LEVEL=20 \
    op start interval=0 timeout=120 \
    op stop interval=0 timeout=120

3.[1] Kloning dan periksa volume yang baru dikonfigurasi di kluster

crm configure clone cln_fs_check_HN1_HDB03 rsc_fs_check_HN1_HDB03 meta clone-node-max=1 interleave=true

crm status
#Cluster Summary:
# Stack: corosync
# Current DC: hanadb1 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
# Last updated: Tue Nov  2 17:57:39 2021
# Last change:  Tue Nov  2 17:57:38 2021 by root via crm_attribute on hanadb1
# 2 nodes configured
# 11 resource instances configured

# Node List:
# Online: [ hanadb1 hanadb2 ]

# Full List of Resources:
# Clone Set: cln_azure-events [rsc_azure-events]:
 # Started: [ hanadb1 hanadb2 ]
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
 # rsc_SAPHanaTopology_HN1_HDB03     (ocf::suse:SAPHanaTopology):     Started hanadb1 (Monitoring)
 # rsc_SAPHanaTopology_HN1_HDB03     (ocf::suse:SAPHanaTopology):     Started hanadb2 (Monitoring)
# Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
 # rsc_SAPHana_HN1_HDB03     (ocf::suse:SAPHana):     Master hanadb1 (Monitoring)
 # Slaves: [ hanadb2 ]
# Resource Group: g_ip_HN1_HDB03:
 # rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb1
 # rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb1
# rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
# Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
 # Started: [ hanadb1 hanadb2 ]

OCF_CHECK_LEVEL=20 Atribut ditambahkan ke operasi monitor, sehingga operasi monitor melakukan tes baca/tulis pada sistem file. Tanpa atribut ini, operasi monitor hanya memverifikasi bahwa sistem file sudah terpasang. Hal ini bisa menjadi masalah karena ketika konektivitas terputus, sistem file mungkin tetap terpasang, meskipun tidak dapat diakses.

on-fail=fence Atribut juga ditambahkan ke operasi monitor. Dengan opsi ini, jika operasi monitor gagal pada sebuah simpul, simpul tersebut segera dipagari.

Penting

Batas waktu dalam konfigurasi di atas mungkin perlu disesuaikan dengan pengaturan HANA tertentu untuk menghindari tindakan pagar yang tidak perlu. Jangan menetapkan nilai batas waktu terlalu rendah. Ketahuilah bahwa monitor sistem file tidak terkait dengan replikasi sistem HANA. Untuk detailnya lihat dokumentasi SUSE.

Menguji penyiapan kluster

Bagian ini menjelaskan bagaimana Anda dapat menguji penyiapan Anda.

1.Sebelum Anda memulai pengujian, pastikan bahwa Pacemaker tidak memiliki tindakan yang gagal (melalui status crm), tidak ada kendala lokasi yang tidak terduga (misalnya sisa uji migrasi) dan replikasi sistem HANA adalah status sinkronisasi, misalnya dengan systemReplicationStatus:

sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"

2.Verifikasi status Sumber Daya HANA menggunakan perintah di bawah ini

SAPHanaSR-showAttr

# You should see something like below
# hanadb1:~ SAPHanaSR-showAttr
# Global cib-time                 maintenance
# --------------------------------------------
# global Mon Nov  8 22:50:30 2021 false
# Sites srHook
# -------------
# SITE1 PRIM
# SITE2 SOK
# Site2 SOK
# Hosts   clone_state lpa_hn1_lpt node_state op_mode   remoteHost roles                            score site  srmode sync_state version                vhost
# --------------------------------------------------------------------------------------------------------------------------------------------------------------
# hanadb1 PROMOTED    1636411810  online     logreplay hanadb2    4:P:master1:master:worker:master 150   SITE1 sync   PRIM       2.00.058.00.1634122452 hanadb1
# hanadb2 DEMOTED     30          online     logreplay hanadb1    4:S:master1:master:worker:master 100   SITE2 sync   SOK        2.00.058.00.1634122452 hanadb2

3.Verifikasi konfigurasi kluster untuk skenario kegagalan ketika sebuah node dimatikan (di bawah, misalnya menunjukkan mematikan node 1)

sudo crm status
sudo crm resource move msl_SAPHana_HN1_HDB03 hanadb2 force
sudo crm resource cleanup
sudo crm status
#Cluster Summary:
 # Stack: corosync
   # Current DC: hanadb2 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
   # Last updated: Mon Nov  8 23:25:36 2021
   # Last change:  Mon Nov  8 23:25:19 2021 by root via crm_attribute on hanadb2
   # 2 nodes configured
   # 11 resource instances configured

   #Node List:

   # Online: [ hanadb1 hanadb2 ]

   #Full List of Resources:

   # Clone Set: cln_azure-events [rsc_azure-events]:
     # Started: [ hanadb1 hanadb2 ]
   # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
     # Started: [ hanadb1 hanadb2 ]
   # Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
     # Masters: [ hanadb2 ]
     # Stopped: [ hanadb1 ]
   # Resource Group: g_ip_HN1_HDB03:
     # rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb2
     # rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb2
   # rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
   # Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
     # Started: [ hanadb1 hanadb2 ]

# Stop the HANA on Node1
sudo su - hn1adm
sapcontrol -nr 03 -function StopWait 600 10

#Register Node 1 as the Secondary Node and check status
hdbnsutil -sr_register --remoteHost=hanadb2 --remoteInstance=03 --replicationMode=sync --name=SITE1 --operationMode=logreplay

#adding site ...
#nameserver hanadb1:30301 not responding.
#collecting information ...
#updating local ini files ...
#done.

sudo crm status
sudo SAPHanaSR-showAttr

4.Verifikasi konfigurasi cluster untuk skenario kegagalan ketika sebuah node kehilangan akses ke NFS share (/hana/shared)

Agen sumber daya SAP Hana bergantung pada binari yang disimpan di /hana/shared untuk melakukan operasi selama failover. Sistem file /hana/shared dipasang di atas NFS dalam skenario yang disajikan.
Sulit untuk mensimulasikan kegagalan, di mana salah satu server kehilangan akses ke bagian NFS. Tes yang dapat dilakukan adalah memasang ulang sistem file sebagai hanya-baca. Pendekatan ini memvalidasi bahwa kluster akan dapat melakukan failover, jika akses ke /hana/shared hilang pada node yang aktif.

Hasil yang Diharapkan: Pada pembuatan /hana/shared sebagai sistem file hanya-baca, atribut OCF_CHECK_LEVEL dari sumber daya hana_shared1, yang melakukan operasi baca/tulis pada sistem file akan gagal karena tidak dapat menulis apa pun di sistem file dan akan melakukan failover sumber daya HANA. Hasil yang sama diharapkan ketika node HANA Anda kehilangan akses ke share NFS.

Status sumber daya sebelum memulai pengujian:

sudo crm  status
# Example output
#Cluster Summary:
 # Stack: corosync
 # Current DC: hanadb2 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
 # Last updated: Mon Nov  8 23:01:27 2021
 # Last change:  Mon Nov  8 23:00:46 2021 by root via crm_attribute on hanadb1
 # 2 nodes configured
 # 11 resource instances configured

 #Node List:
 # Online: [ hanadb1 hanadb2 ]

 #Full List of Resources:
 # Clone Set: cln_azure-events [rsc_azure-events]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
   # Masters: [ hanadb1 ]
   # Slaves: [ hanadb2 ]
 # Resource Group: g_ip_HN1_HDB03:
   # rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb1
   # rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb1
 # rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
 # Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]

Anda dapat menempatkan /hana/shared dalam mode baca saja pada node kluster aktif, menggunakan perintah di bawah ini:

sudo mount -o ro 10.3.1.4:/hanadb1-shared-mnt00001 /hana/shared

hanadb1 akan melakukan boot ulang atau mematikan berdasarkan set tindakan. Setelah server (hanadb1) mati, sumber daya HANA pindah ke hanadb2. Anda dapat memeriksa status kluster dari hanadb2.

crm status
#Cluster Summary:
 # Stack: corosync
 # Current DC: hanadb2 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
 # Last updated: Wed Nov 10 22:00:27 2021
 # Last change:  Wed Nov 10 21:59:47 2021 by root via crm_attribute on hanadb2
 # 2 nodes configured
 # 11 resource instances configured

 #Node List:
 # Online: [ hanadb1 hanadb2 ]

 #Full List of Resources:
 # Clone Set: cln_azure-events [rsc_azure-events]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
   # Masters: [ hanadb2 ]
   # Stopped: [ hanadb1 ]
 # Resource Group: g_ip_HN1_HDB03:
      # rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb2
   # rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb2
 # rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
 # Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]

Sebaiknya uji konfigurasi kluster SAP Hana secara menyeluruh, dengan juga melakukan pengujian yang dijelaskan dalam Replikasi Sistem SAP Hana.

Langkah berikutnya