Membuat klaster Apache HBase pada HDInsight di Azure Virtual Network

Pelajari cara membuat klaster Azure HDInsight Apache HBase di Azure Virtual Network.

Dengan integrasi jaringan virtual, klaster Apache HBase dapat disebarkan ke jaringan virtual yang sama dengan aplikasi Anda sehingga aplikasi dapat berkomunikasi dengan HBase secara langsung. Manfaatnya mencakup:

  • Konektivitas langsung aplikasi web ke node klaster HBase, yang mengaktifkan komunikasi melalui API perintah prosedur jarak jauh (RPC) HBase Java.
  • Peningkatan kinerja dengan tidak membuat lalu lintas Anda melewati beberapa gateway dan penyeimbang muatan.
  • Kemampuan untuk memproses informasi sensitif dengan cara yang lebih aman tanpa mengekspos titik akhir publik.

Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.

Membuat klaster Apache HBase ke dalam jaringan virtual

Di bagian ini, Anda membuat klaster Apache HBase berbasis Linux dengan akun Azure Storage dependen di jaringan virtual Azure menggunakan Templat Azure Resource Manager. Untuk metode pembuatan klaster lainnya dan memahami pengaturannya, lihat Membuat klaster HDInsight. Untuk informasi selengkapnya tentang penggunaan templat untuk membuat klaster Apache Hadoop di HDInsight, lihat Membuat klaster Apache Hadoop di HDInsight menggunakan templat Azure Resource Manager

Catatan

Beberapa properti dikodekan secara permanen ke dalam templat. Contohnya:

  • Lokasi: US Timur 2
  • Versi klaster: 3.6
  • Jumlah node pekerja klaster: 2
  • Akun penyimpanan default: string unik
  • Nama jaringan virtual: CLUSTERNAME-vnet
  • Ruang alamat jaringan virtual: 10.0.0.0/16
  • Nama subnet: subnet-1
  • Rentang alamat subnet:10.0.0.0/24

CLUSTERNAME diganti dengan nama klaster yang Anda berikan saat menggunakan templat.

  1. Pilih gambar berikut untuk membuka templat di portal Azure. Templat terletak di Templat mulai cepat Azure.

    Deploy to Azure button for new cluster

  2. Dari dialog Penyebaran kustom, pilih Edit templat.

  3. Pada baris 165, ubah nilai Standard_A3 menjadi Standard_A4_V2. Lalu pilih Simpan.

  4. Melengkapi templat yang tersisa dengan informasi berikut ini:

    Properti Nilai
    Langganan Pilih langganan Azure yang digunakan untuk membuat klaster HDInsight, akun Penyimpanan dependen dan jaringan virtual Azure.
    Grup sumber daya Pilih Buat baru, dan tentukan nama grup sumber daya baru.
    Lokasi Pilih lokasi untuk grup sumber daya.
    Nama Kluster Masukkan nama untuk klaster Hadoop yang akan dibuat.
    Nama Pengguna dan Sandi Login Klaster Nama Pengguna default adalah admin. Berikan sandi.
    Nama Pengguna dan Sandi Ssh Nama Pengguna default adalah sshuser. Berikan sandi.

    Pilih Saya menyetujui syarat dan ketentuan yang dinyatakan di atas.

  5. Pilih Beli. Dibutuhkan sekitar 20 menit untuk membuat klaster. Setelah klaster dibuat, Anda dapat memilih klaster di portal untuk membukanya.

Setelah Anda menyelesaikan artikel, Anda mungkin ingin menghapus klaster. Dengan HDInsight, data Anda disimpan di Azure Storage, sehingga Anda dapat menghapus klaster dengan aman saat klaster tidak digunakan. Anda juga dikenakan biaya untuk klaster HDInsight, meski saat klaster tidak digunakan. Karena biaya untuk klaster berkali-kali lebih banyak daripada biaya untuk penyimpanan, akan lebih masuk akal secara ekonomis untuk menghapus klaster saat tidak digunakan. Untuk instruksi penghapusan klaster, lihat Mengelola klaster Apache Hadoop di HDInsight dengan menggunakan portal Azure.

Untuk mulai menggunakan klaster HBase baru Anda, Anda dapat menggunakan prosedur yang ditemukan di Mulai menggunakan Apache HBase dengan Apache Hadoop di HDInsight.

Terhubung ke klaster Apache HBase menggunakan API RPC Apache HBase Java

Membuat komputer virtual

Buat komputer virtual infrastruktur sebagai layanan (IaaS) ke dalam jaringan virtual Azure yang sama dan subnet yang sama. Untuk instruksi tentang pembuatan komputer virtual IaaS baru, lihat Membuat Komputer Virtual yang Menjalankan Windows Server. Saat mengikuti langkah-langkah dalam dokumen ini, Anda harus menggunakan nilai berikut untuk konfigurasi Jaringan:

  • Jaringan virtual: CLUSTERNAME-vnet
  • Subnet: subnet1

Penting

Ganti CLUSTERNAME dengan nama yang Anda gunakan saat membuat klaster HDInsight di langkah sebelumnya.

Dengan menggunakan nilai-nilai ini, komputer virtual ditempatkan di jaringan virtual dan subnet yang sama dengan klaster HDInsight. Konfigurasi ini memungkinkan keduanya untuk langsung berkomunikasi satu sama lain. Ada cara untuk membuat klaster HDInsight dengan node tepi kosong. Node tepi dapat digunakan untuk mengelola klaster. Untuk informasi selengkapnya, lihat Menggunakan node kosong di HDInsight.

Mendapatkan nama domain yang sepenuhnya memenuhi syarat

Saat menggunakan aplikasi Java untuk tersambung ke HBase dari jarak jauh, Anda harus menggunakan nama domain yang sepenuhnya memenuhi syarat (FQDN). Untuk menentukan ini, Anda harus mendapatkan akhiran DNS khusus koneksi dari klaster HBase. Untuk melakukannya, Anda bisa menggunakan salah satu metode berikut:

  • Gunakan browser Web untuk memerintahkan Apache Ambari:

    Telusuri https://CLUSTERNAME.azurehdinsight.net/api/v1/clusters/CLUSTERNAME/hosts?minimal_response=true. Hal ini menampilkan file JSON dengan akhiran DNS.

  • Gunakan situs web Ambari:

    1. Telusuri https://CLUSTERNAME.azurehdinsight.net.
    2. Pilih Hos dari menu atas.
  • Gunakan Curl untuk memerintahkan REST:

    curl -u <username>:<password> -k https://CLUSTERNAME.azurehdinsight.net/ambari/api/v1/clusters/CLUSTERNAME.azurehdinsight.net/services/hbase/components/hbrest
    

Dalam data JavaScript Object Notation (JSON) yang ditampilkan, temukan entri "host_name". Ia berisi FQDN untuk node dalam klaster. Contohnya:

"host_name" : "hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net"

Bagian dari nama domain yang dimulai dengan nama klaster adalah akhiran DNS. Contohnya,hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Memverifikasi komunikasi di dalam jaringan virtual

Untuk memverifikasi komputer virtual dapat berkomunikasi dengan klaster HBase, gunakan perintah ping headnode0.<dns suffix> dari komputer virtual. Contohnya,ping hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Untuk menggunakan informasi ini dalam aplikasi Java, Anda dapat mengikuti langkah-langkah dalam Menggunakan Apache Maven untuk membangun aplikasi Java yang menggunakan Apache HBase dengan HDInsight (Hadoop) untuk membuat aplikasi. Agar aplikasi terhubung ke server HBase jarak jauh, ubah file hbase-site.xml dalam contoh ini untuk menggunakan FQDN untuk Zookeeper. Contohnya:

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>zookeeper0.<dns suffix>,zookeeper1.<dns suffix>,zookeeper2.<dns suffix></value>
</property>

Catatan

Untuk informasi selengkapnya tentang resolusi nama di jaringan virtual Azure, termasuk cara menggunakan server DNS Anda sendiri, lihat Resolusi Nama (DNS).

Langkah berikutnya

Dalam artikel ini, Anda telah mempelajari cara membuat klaster Apache HBase. Untuk mempelajari selengkapnya, lihat: