Mengelola kluster Apache Hadoop di HDInsight dengan menggunakan portal Microsoft Azure

  • Artikel

Dengan menggunakan portal Microsoft Azure, Anda dapat mengelola kluster Apache Hadoop di Microsoft Azure HDInsight. Gunakan pemilih tab untuk informasi tentang mengelola kluster Hadoop di HDInsight menggunakan alat lain.

Prasyarat

Klaster Apache Hadoop yang sudah ada di Microsoft Azure HDInsight. Untuk informasi selengkapnya, lihat Buat klaster berbasis Linux di Microsoft Azure HDInsight menggunakan portal Microsoft Azure.

Memulai

Masuklah ke https://portal.azure.com.

Mencantumkan dan menampilkan kluster

Halaman kluster HDInsight mencantumkan kluster yang ada. Dari portal:

  1. Pilih Semua layanan dari menu sebelah kiri.
  2. Pilih kluster Microsoft Azure HDInsight di bawah ANALITIK.

Halaman beranda kluster

Pilih nama kluster Anda dari halaman kluster Microsoft Azure HDInsight. Ini membuka tampilan Gambaran Umum , yang terlihat mirip dengan gambar berikut:

Azure portal HDInsight cluster essentials.

Menu atas:

Item Deskripsi
Memindahkan Pindahkan kluster ke grup sumber daya lain atau ke langganan lain.
Hapus Hapus klaster.
Refresh Refresh tampilan.

Menu kiri:

  • Menu kiri atas

    Item Deskripsi
    Gambaran Umum Berikan informasi umum untuk kluster Anda.
    Log aktivitas Tampilkan dan kueri log aktivitas.
    Kontrol akses (IAM) Gunakan penetapan peran. Lihat Tetapkan peran Azure untuk mengelola akses ke sumber daya langganan Azure Anda.
    Tag Izinkan Anda mengatur pasangan kunci/nilai untuk menentukan taksonomi kustom layanan awan Anda. Contohnya, Anda dapat membuat kunci bernama proyek, lalu menggunakan nilai umum untuk semua layanan yang terkait dengan proyek tertentu.
    Mendiagnosis dan memecahkan masalah Tampilkan informasi pemecahan masalah.
    Mulai Cepat Tampilkan informasi yang membantu Anda memulai penggunaan Microsoft Azure HDInsight.
    Alat Informasi bantuan untuk alat terkait Microsoft Azure HDInsight.

  • Menu pengaturan

    Item Deskripsi
    Ukuran kluster Periksa, tingkatkan, dan kurangi jumlah simpul pekerja kluster. Lihat Skalakan kluster.
    Batas kuota Tampilkan inti yang digunakan dan tersedia untuk langganan Anda.
    Login Kluster + SSH Tampilkan instruksi untuk terhubung ke kluster menggunakan koneksi Secure Shell (SSH). Untuk informasi selengkapnya, lihat Menggunakan SSH dengan HDInsight.
    Data Lake Storage Gen1 Konfigurasikan akses Data Lake Storage Gen1. Lihat Mulai cepat: Siapkan kluster di Mulai Microsoft Azure HDInsight.
    Akun penyimpanan Tampilkan akun penyimpanan dan kunci. Akun penyimpanan dikonfigurasi selama proses pembuatan kluster.
    Aplikasi Tambahkan/hapus aplikasi Microsoft Azure HDInsight. Lihat Instal aplikasi Microsoft Azure HDInsight kustom.
    Tindakan skrip Jalankan skrip Bash pada kluster. Lihat Kustomisasi kluster Microsoft Azure HDInsight berbasis Linux menggunakan Tindakan Skrip.
    Metastore eksternal Tampilkan metastore Apache Hive dan Apache Oozie. Metastore hanya dapat dikonfigurasi selama proses pembuatan kluster.
    Mitra HDInsight Tambahkan/hapus Microsoft Azure HDInsight Partner saat ini.
    Properti Tampilkanproperti klaster.
    Penguncian Tambahkan kunci untuk mencegah kluster dimodifikasi atau dihapus.
    Ekspor template Tampilkan dan ekspor templat Azure Resource Manager untuk kluster. Saat ini, Anda hanya dapat mengekspor akun penyimpanan Azure dependen. Lihat Buat kluster Apache Hadoop berbasis Linux di Microsoft Azure HDInsight menggunakan templat Azure Resource Manager.

  • Menu pemantauan

    Item Deskripsi
    Peringatan Kelola peringatan dan tindakan.
    Metrik Pantau metrik kluster di log Azure Monitor.
    Pengaturan diagnosis Pengaturan di tempat menyimpan metrik diagnosis.
    Azure Monitor Pantau kluster Anda di Azure Monitor.

  • Dukungan + menu pemecahan masalah

    Item Deskripsi
    Kondisi sumber daya Lihat Ikhtisar Azure resource health.
    Permintaan dukungan baru Izinkan Anda membuat tiket dukungan dengan dukungan Microsoft.

Properti Kluster

Dari halaman beranda kluster, di bawah Pengaturan pilih Properti.

Item Deskripsi
HOSTNAME Nama kluster.
URL KLUSTER URL untuk antarmuka web Ambari.
Titik Akhir Pribadi Titik akhir pribadi untuk kluster.
Secure Shell (SSH) Nama pengguna dan nama host untuk digunakan dalam mengakses kluster melalui SSH.
STATUS Salah satu dari: Dibatalkan, Diterima, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued, atau ClusterCustomization.
WILAYAH Lokasi Azure. Untuk daftar lokasi Azure yang didukung, lihat kotak daftar tarik-turun Region pada harga Microsoft Azure HDInsight.
TANGGAL DIBUAT Tanggal kluster disebarkan.
SISTEM OPERASI Baik Windows atau Linux.
TYPE Hadoop, HBase, Spark.
Versi Lihat versi Microsoft Azure HDInsight.
Versi TLS Minimum Versi TLS.
LANGGANAN Nama langganan.
SUMBER DATA DEFAULT Sistem berkas klaster default.
Ukuran node pekerja Ukuran VM node pekerja yang dipilih.
Ukuran node head Ukuran VM node head yang dipilih.
Jaringan virtual Nama Virtual Network, yang disebarkan kluster, jika salah satu dipilih pada waktu penyebaran.

Pindahkan kluster

Anda dapat memindahkan kluster Microsoft Azure HDInsight ke grup sumber daya Azure lain atau langganan lainnya.

Dari halaman beranda kluster:

  1. Pilih Pindahkan dari menu atas.
  2. Pilih Pindahkan ke grup sumber daya lain atau Pindah ke langganan lain.
  3. Ikuti instruksi dari halaman baru.

Hapus kluster

Penghapusan kluster tidak menghapus akun penyimpanan default atau akun penyimpanan apa pun yang ditautkan. Anda dapat membuat ulang kluster dengan menggunakan akun penyimpanan yang sama dan metastore yang sama. Kami menyarankan penggunaan kontainer Blob default baru saat Anda membuat ulang kluster.

Dari halaman beranda kluster:

  1. Pilih Hapus dari menu atas.
  2. Ikuti instruksi dari halaman baru.

Lihat juga Jeda/matikan kluster.

Menambahkan akun penyimpanan tambahan

Anda dapat menambahkan akun Azure Storage tambahan dan akun Azure Data Lake Storage setelah kluster dibuat. Untuk informasi selengkapnya, lihat Menambahkan akun penyimpanan tambahan ke HDInsight.

Menskalakan klaster

Fitur penskalaan kluster memungkinkan Anda mengubah jumlah simpul pekerja yang digunakan oleh kluster Microsoft Azure HDInsight, tanpa harus membuat ulang kluster.

Lihat Menskalakan klaster HDInsight untuk informasi selengkapnya.

Jeda/matikan kluster

Sebagian besar pekerjaan Hadoop adalah pekerjaan batch yang hanya dijalankan sesekali. Untuk sebagian besar kluster Hadoop, ada periode waktu yang lama di mana kluster tidak digunakan untuk pemrosesan. Dengan HDInsight, data Anda disimpan di Azure Storage, sehingga Anda dapat menghapus kluster dengan aman saat tidak digunakan. Anda juga dikenakan biaya untuk klaster HDInsight, bahkan saat tidak digunakan. Karena biaya untuk kluster berkali-kali lebih banyak daripada biaya untuk penyimpanan, masuk akal secara ekonomis untuk menghapus kluster saat tidak digunakan.

Ada banyak cara untuk memprogram proses ini:

Untuk informasi harga, lihat harga Microsoft Azure HDInsight. Untuk menghapus kluster dari Portal, lihat Hapus kluster

Meningkatkan kluster

Lihat Tingkatkan kluster Microsoft Azure HDInsight ke versi yang lebih baru.

Buka Apache Ambari web UI

Ambari menyediakan UI web manajemen Hadoop yang intuitif dan mudah digunakan yang didukung oleh API RESTful. Ambari mengaktifkan administrator sistem untuk mengelola dan memantau kluster Hadoop.

Dari halaman beranda kluster:

  1. Pilih Dasbor kluster.

    HDInsight Apache Hadoop cluster menu.

  2. Pilih beranda Ambari dari halaman baru.

  3. Masukkan nama pengguna dan kata sandi kluster. Nama pengguna kluster default adalah admin.

Untuk informasi selengkapnya, lihat Kelola kluster Microsoft Azure HDInsight dengan menggunakan Apache Ambari Web UI.

Mengubah kata sandi

Kluster Microsoft Azure HDInsight dapat memiliki dua akun pengguna. Akun pengguna kluster Microsoft Azure HDInsight (akun pengguna HTTP) dan akun pengguna SSH dibuat selama proses pembuatan. Anda bisa menggunakan portal untuk mengubah kata sandi akun pengguna kluster, dan tindakan skrip untuk mengubah akun pengguna SSH.

Ubah kata sandi pengguna kluster

Catatan

Mengubah kata sandi pengguna kluster (admin) dapat menyebabkan jalankan tindakan skrip terhadap kluster ini gagal. Jika Anda memiliki tindakan skrip yang dipertahankan yang menargetkan simpul pekerja, skrip ini mungkin gagal ketika Anda menambahkan simpul ke kluster melalui operasi pengukuran ulang. Untuk informasi selengkapnya tentang tindakan skrip, lihat Kustomisasi Microsoft Azure HDInsight menggunakan tindakan skrip.

Dari halaman beranda kluster:

  1. Pilih Login SSH + Kluster di bawah Pengaturan.
  2. Pilih Atur ulang info masuk.
  3. Masukkan dan konfirmasi kata sandi baru dalam kotak teks.
  4. Pilih OK.

Kata sandi diubah pada semua simpul di kluster.

Ubah kata sandi pengguna atau kunci publik SSH

  1. Dengan menggunakan editor teks, simpan teks berikut sebagai file bernama changecredentials.sh.

    Penting

    Anda harus menggunakan editor yang menggunakan LF sebagai akhir baris. Jika editor menggunakan CRLF, maka skrip tidak berfungsi.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Unggah file ke lokasi penyimpanan yang dapat diakses dari Microsoft Azure HDInsight menggunakan alamat HTTP atau HTTPS. Misalnya, penyimpanan file publik seperti OneDrive atau penyimpanan Azure Blob. Simpan alamat URI (HTTP atau HTTPS) ke file, karena URI ini diperlukan di langkah berikutnya.

  3. Dari halaman beranda kluster,pilih Tindakan skrip di bawah Pengaturan.

  4. Dari halaman Tindakan skrip, pilih Kirim baru.

  5. Dari halaman Kirim tindakan skrip, masukkan informasi berikut:

Catatan

Kata sandi SSH tidak boleh berisi karakter berikut:

" ' ` / \ < % ~ | $ & ! #

Bidang Nilai
Jenis skrip Pilih - Kustom dari daftar tarik-turun.
Nama "Ubah info masuk ssh"
URI skrip bash URI ke file changecredentials.sh
Jenis simpul: (Kepala, Pekerja, Nimbus, Supervisor, atau Zookeeper.) ✓ untuk semua jenis node yang tercantum
Parameter Masukkan nama pengguna SSH lalu kata sandi baru. Harus ada satu ruang antara nama pengguna dan kata sandi.
Pertahankan tindakan skrip ini ... Biarkan bidang ini tidak dicentang.
  1. Pilih Buat untuk menerapkan skrip. Setelah skrip selesai, Anda dapat terhubung ke kluster menggunakan SSH dengan info masuk baru.

Temukan ID langganan

Setiap kluster terikat dengan langganan Azure. ID langganan Azure terlihat dari halaman beranda kluster.

Temukan grup sumber daya

Dalam mode Azure Resource Manager, setiap kluster Microsoft Azure HDInsight dibuat dengan grup Azure Resource Manager. Grup Resource Manager terlihat dari halaman beranda kluster.

Temukan akun penyimpanan

Kluster Microsoft Azure HDInsight menggunakan akun Azure Storage atau Azure Data Lake Storage untuk menyimpan data. Setiap kluster Microsoft Azure HDInsight dapat memiliki satu akun penyimpanan default dan sejumlah akun penyimpanan yang ditautkan. Untuk mencantumkan akun penyimpanan, dari halaman beranda kluster di bawah Pengaturan, pilih Akun penyimpanan.

Pantau pekerjaan

Lihat Kelola kluster Microsoft Azure HDInsight dengan menggunakan Apache Ambari Web UI.

Ukuran kluster

Petak ukuran kluster dari halaman beranda klaster menampilkan jumlah inti yang dialokasikan untuk kluster ini dan cara mereka dialokasikan untuk node dalam kluster ini.

Penting

Untuk memantau layanan yang disediakan oleh kluster Microsoft Azure HDInsight, Anda harus menggunakan Ambari Web atau Ambari REST API. Untuk informasi selengkapnya tentang penggunaan Ambari, lihat Kelola kluster Microsoft Azure HDInsight menggunakan Apache Ambari

Terhubung ke klaster

Langkah berikutnya

Dalam artikel ini, Anda mempelajari beberapa fungsi administratif dasar. Untuk mempelajari selengkapnya, lihat artikel berikut ini: