Klaster Apache Hadoop dengan akun penyimpanan transfer aman di Azure HDInsight

  • Artikel

Fitur Transfer aman dibutuhkan meningkatkan keamanan akun Azure Storage Anda dengan memberlakukan semua permintaan ke akun Anda melalui koneksi yang aman. Fitur ini dan skema wasbs yang didukung oleh kluster HDInsight versi 3.6 atau yang lebih baru.

Penting

Pengaktifan transfer penyimpanan yang aman setelah pembuatan klaster dapat mengakibatkan eror penggunaan akun penyimpanan Anda dan tidak disarankan. Lebih baik membuat klaster baru menggunakan akun penyimpanan dengan transfer aman sudah diaktifkan.

Akun penyimpanan

Portal Azure

Secara default, properti transfer aman dibutuhkan akan diaktifkan saat Anda membuat akun penyimpanan di portal Azure.

Untuk memperbarui akun penyimpanan yang sudah ada dengan portal Azure, lihat Membutuhkan transfer aman dengan portal Azure.

PowerShell

Untuk cmdlet New-AzStorageAccount PowerShell, pastikan parameter -EnableHttpsTrafficOnly diatur ke 1.

Untuk memperbarui akun penyimpanan yang sudah ada dengan PowerShell, lihat Membutuhkan transfer aman dengan PowerShell.

Azure CLI

Untuk perintah buat akun penyimpanan az Azure CLI, pastikan parameter --https-only diatur ke true.

Untuk memperbarui akun penyimpanan yang sudah ada dengan Azure CLI, lihat Membutuhkan transfer aman dengan Azure CLI.

Kesalahan transfer aman

Jika Anda secara tidak sengaja mengaktifkan opsi 'Perlu transfer aman' setelah membuat kluster HDInsight, Anda mungkin melihat pesan kesalahan sebagai berikut:

com.microsoft.azure.storage.StorageException: The account being accessed does not support http.

Hanya untuk kluster Hbase, Anda dapat mencoba langkah-langkah berikut untuk memulihkan fungsi cluster:

  1. Hentikan HBase dari Ambari.
  2. Hentikan AMS dari Ambari.
  3. Di Ambari, arahkan ke HDFS --> Configs --> Advanced --> fs.defaultFS
  4. Ubah wasb menjadi wasbs dan simpan.
  5. Jika Anda menggunakan fitur Accelerated Writes, 'hbase.rootDir' di bawah konfigurasi hbase juga perlu diubah dari wasb menjadi wasb.
  6. Hidupkan ulang layanan yang diperlukan.

Menambahkan lebih banyak akun penyimpanan

Ada beberapa opsi untuk menambahkan akun penyimpanan yang diaktifkan transfer yang lebih aman:

  • Ubah templat Azure Resource Manager di bagian terakhir.
  • Buat klaster menggunakan portal Azure dan tentukan akun penyimpanan tertaut.
  • Gunakan tindakan skrip untuk menambahkan akun penyimpanan yang diaktifkan transfer yang lebih aman ke kluster HDInsight yang ada. Untuk informasi selengkapnya, lihat Menambahkan lebih banyak akun penyimpanan ke HDInsight.

Langkah berikutnya