Membuat kluster HDInsight yang menggunakan Zona Ketersediaan

Kluster Azure HDInsight terdiri dari beberapa node (node kepala, node pekerja, node gateway, dan node zookeeper). Secara default, di wilayah yang mendukung Zona Ketersediaan, pengguna tidak memiliki kontrol atas node kluster mana yang disediakan di Zona Ketersediaan mana.

Dengan fitur zona ketersediaan baru ini, pengguna kini dapat menentukan Zona Ketersediaan mana yang harus menampung semua node kluster HDInsight. Node kluster secara fisik terpisah dari zona ketersediaan lain dan diisolasi dari kegagalan di Zona Ketersediaan lain di wilayah yang sama. Model penyebaran ini juga menyediakan konektivitas jaringan latensi rendah yang murah dalam kluster.

Mereplikasi model penerapan ini ke dalam beberapa Zona Ketersediaan dapat memberikan tingkat ketersediaan yang lebih tinggi untuk melindungi dari kegagalan perangkat keras.

Artikel ini menunjukkan kepada Anda cara membuat kluster HDInsight dalam Zona Ketersediaan dan cara menggunakan fitur ini untuk mencapai ketersediaan yang lebih tinggi.

Sebelum Anda mulai

Fitur Zona Ketersediaan hanya didukung untuk kluster yang dibuat setelah 15 Juni. Pengaturan zona ketersediaan tidak bisa diperbarui setelah kluster dibuat. Anda juga tidak dapat memperbarui kluster bukan zona ketersediaan saat ini untuk menggunakan zona ketersediaan.

Prasyarat dan ketersediaan wilayah

Prasyarat:

• Kluster harus dibuat di bawah VNet kustom.
• Anda perlu membawa DB SQL Anda sendiri untuk Ambari DB dan metastore eksternal (seperti Apache Hive metastore) sehingga Anda dapat mengonfigurasi DB ini di Zona Ketersediaan yang sama.

Kluster HDInsight saat ini dapat dibuat menggunakan zona ketersediaan di wilayah berikut:

• Australia Timur
• Brasil Selatan
• Kanada Tengah
• US Tengah
• US Timur
• AS Timur 2
• Prancis Tengah
• Jerman Barat Tengah
• Jepang Timur
• Korea Tengah
• Eropa Utara
• Asia Tenggara
• US Tengah Selatan
• UK Selatan
• US Gov Virginia
• Eropa Barat
• US Barat 2

Ikhtisar zona ketersediaan untuk klaster HDInsight

Zona ketersediaan adalah lokasi fisik unik dalam wilayah Azure. Setiap zonanya terdiri dari satu atau beberapa pusat data yang dilengkapi dengan daya, pendinginan, dan jaringan yang independen. Di Azure, wilayah berisi satu atau beberapa Zona Ketersediaan. Pemisahan fisik dari zona ketersediaan dalam suatu wilayah melindungi aplikasi dan data dari kegagalan pusat data. Untuk informasi selengkapnya, lihat Apa itu zona ketersediaan di Azure.

Kluster Azure HDInsight dapat dikonfigurasi untuk disebarkan dalam satu Zona Ketersediaan. Semua node dalam kluster HDInsight ini termasuk dua node kepala, tiga node zookeeper, dua node gateway, dan node pekerja akan ditempatkan di Zona Ketersediaan yang ditentukan. Misalnya, ada tiga zona ketersediaan di AS Timur. Sebuah kluster HDInsight di AS Timur dapat dibuat dengan semua node di Zona ketersediaan 1.

Menggunakan Zona ketersediaan dengan kluster HDInsight dengan cara ini dapat memberikan manfaat performa dan biaya:

• Performa yang lebih baik karena konektivitas jaringan latensi rendah
• Biaya lebih rendah: transfer data dalam Zona ketersediaan yang sama tidak dikenakan biaya. Transfer data Zona ketersediaan akan dikenakan biaya jaringan tambahan.

Jika aplikasi Anda memerlukan ketersediaan tinggi di beberapa Zona Ketersediaan, Anda dapat membuat satu kluster HDInsight utama di satu Zona ketersediaan dan membuat kluster HDInsight sekunder di Zona ketersediaan yang berbeda dengan ukuran minimum untuk menghemat biaya. Dengan desain ini, jika salah satu Zona ketersediaan lainnya turun, kluster HDInsight ini tidak akan terpengaruh. Jika Zona ketersediaan ini turun, pelanggan perlu mengalihkan kluster sekunder diZona ketersediaan yang berbeda ke yang utama, mengarahkan beban kerja ke kluster primer baru ini dan dengan cepat meningkatkan ukuran kluster untuk mengambil pemrosesan data.

Membuat kluster HDInsight menggunakan zona ketersediaan

Anda dapat menggunakan templat Azure Resource Manager (ARM) untuk meluncurkan kluster HDInsight ke dalam Zona ketersediaan yang ditentukan.

Di bagian sumber daya, Anda perlu menambahkan bagian 'zona' dan memberikan Zona ketersediaan tempat Anda ingin kluster ini diterapkan.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

Memverifikasi node dalam satu Zona Ketersediaan di seluruh zona

Ketika kluster HDInsight sudah siap, Anda dapat memeriksa lokasi untuk melihat zona ketersediaan tempat mereka ditempatkan.

Dapatkan respons API:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

Meningkatkan kluster

Anda dapat meningkatkan kluster HDInsight dengan lebih banyak node pekerja. Node pekerja yang baru ditambahkan akan ditempatkan di Zona ketersediaan yang sama dari kluster ini.

Praktik terbaik

• Secara teratur mencadangkan konfigurasi di Ambari DB.
• Menerapkan logika untuk dengan mudah mengarahkan beban kerja ke kluster sekunder.

Ketika AZ turun, apa yang diharapkan

• Anda tidak dapat menggunakan ssh ke kluster ini
• Anda tidak dapat menghapus atau meningkatkan atau menurunkan kluster ini
• Anda tidak dapat mengirimkan pekerjaan atau melihat riwayat pekerjaan
• Anda masih dapat mengajukan permintaan pembuatan kluster baru di wilayah yang berbeda