Arsitektur jaringan virtual Microsoft Azure HDInsight
Artikel ini menjelaskan sumber daya yang ada saat Anda menyebarkan kluster Microsoft Azure HDInsight ke dalam Azure Virtual Network kustom. Informasi ini membantu Anda menyambungkan sumber daya lokal ke kluster HDInsight Anda di Azure. Untuk informasi selengkapnya tentang Azure Virtual Network, lihat Apa itu Azure Virtual Network.
Jenis sumber daya di kluster Microsoft Azure HDInsight
Kluster Microsoft Azure HDInsight memiliki berbagai jenis mesin virtual, atau simpul. Setiap jenis simpul memainkan peran dalam operasi sistem. Tabel berikut ini meringkas jenis simpul ini dan perannya dalam kluster.
| Tipe | Deskripsi |
|---|---|
| Simpul zookeeper | Zookeeper mengoordinasikan tugas antara simpul yang sedang melakukan pemrosesan data. Zookeeper juga melakukan pemilihan pemimpin simpul kepala, dan melacak simpul kepala mana yang menjalankan layanan master tertentu. Jumlah simpul ZooKeeper diperbaiki pada tiga. |
| Simpul pekerja | Mewakili simpul yang mendukung fungsionalitas pemrosesan data. Simpul pekerja dapat ditambahkan atau dihapus dari kluster untuk meningkatkan kemampuan komputasi dan mengelola biaya. |
| Simpul wilayah | Untuk jenis kluster HBase, simpul wilayah (juga disebut sebagai Simpul Data) menjalankan Server Wilayah. Server Wilayah melayani dan mengelola sebagian data yang dikelola oleh HBase. Simpul pekerja dapat ditambahkan atau dihapus dari kluster untuk meningkatkan kemampuan komputasi dan mengelola biaya. |
Konvensi penamaan sumber daya
Gunakan Nama Domain Yang Sepenuhnya Memenuhi Syarat (FQDN) saat menangani simpul di kluster Anda. Anda bisa mendapatkan FQDN untuk berbagai jenis simpul di kluster Anda menggunakan API Ambari.
FQDN ini akan menjadi bentuk <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
akan <node-type-prefix> untuk hn headnode, wn untuk node pekerja dan zn untuk simpul zookeeper.
Jika Anda hanya membutuhkan nama host, gunakan hanya bagian pertama FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Sumber daya jaringan virtual dasar
Diagram berikut menunjukkan penempatan simpul Microsoft Azure HDInsight dan sumber daya jaringan di Azure.
Sumber daya default dalam Azure Virtual Network menyertakan jenis kluster yang disebutkan dalam tabel sebelumnya. Dan perangkat jaringan yang mendukung komunikasi antara jaringan virtual dan jaringan luar.
Tabel berikut ini meringkas sembilan node kluster yang dibuat saat Microsoft Azure HDInsight disebarkan ke dalam Azure Virtual Network kustom.
| Jenis Sumber Daya | Angka yang ada | Detail |
|---|---|---|
| Head node | two | |
| Simpul Zookeeper | tiga | |
| Simpul pekerja | two | Jumlah ini dapat bervariasi berdasarkan konfigurasi kluster dan penskalaan. Minimal tiga simpul pekerja diperlukan untuk Apache Kafka. |
| Gateway simpul | two | Simpul gateway adalah komputer virtual Azure yang dibuat di Azure, tetapi tidak terlihat di langganan Anda. Hubungi dukungan jika Anda perlu me-reboot node ini. |
Sumber daya jaringan berikut yang ada secara otomatis dibuat di dalam jaringan virtual yang digunakan dengan Microsoft Azure HDInsight:
| Sumber daya jaringan | Angka yang ada | Detail |
|---|---|---|
| Load Balancer | tiga | |
| Antarmuka Jaringan | sembilan | Nilai ini didasarkan pada kluster normal, di mana setiap simpul memiliki antarmuka jaringannya sendiri. Sembilan antarmuka tersebut adalah untuk: dua node kepala, tiga simpul zookeeper, dua simpul pekerja, dan dua simpul gateway yang disebutkan dalam tabel sebelumnya. |
| alamat IP publik | two |
Titik akhir untuk menyambungkan ke Microsoft Azure HDInsight
Anda dapat mengakses kluster Microsoft Azure HDInsight anda dengan tiga cara:
- Titik akhir HTTPS di luar jaringan virtual di
CLUSTERNAME.azurehdinsight.net. - Titik akhir SSH untuk terhubung langsung ke headnode di
CLUSTERNAME-ssh.azurehdinsight.net. - Titik akhir HTTPS dalam jaringan
CLUSTERNAME-int.azurehdinsight.netvirtual. Perhatikan "-int" dalam URL ini. Titik akhir ini diselesaikan ke IP privat di jaringan virtual tersebut dan tidak dapat diakses dari internet publik.
Ketiga titik akhir ini masing-masing diberi penyeimbang muatan.
Alamat IP publik juga disediakan untuk dua titik akhir yang memungkinkan koneksi dari luar jaringan virtual.
- Satu IP publik ditugaskan ke penyeimbang muatan untuk nama domain yang sepenuhnya memenuhi syarat (FQDN) untuk digunakan saat terhubung ke kluster dari internet
CLUSTERNAME.azurehdinsight.net. - Alamat IP publik kedua digunakan untuk nama domain hanya SSH
CLUSTERNAME-ssh.azurehdinsight.net.