Mengonfigurasi lalu lintas jaringan keluar untuk kluster Azure HDInsight menggunakan Firewall

  • Artikel

Artikel ini menyediakan langkah-langkah bagi Anda untuk mengamankan lalu lintas keluar dari kluster Microsoft Azure HDInsight Anda menggunakan Azure Firewall. Langkah-langkah di bawah ini mengasumsikan Bahwa Anda mengonfigurasi Azure Firewall untuk kluster yang ada. Jika Anda menyebarkan kluster baru di belakang firewall, buat kluster Microsoft Azure HDInsight dan subnet terlebih dahulu. Kemudian ikuti langkah-langkah dalam panduan ini.

Latar belakang

Kluster Microsoft Azure HDInsight biasanya digunakan disebarkan dalam jaringan virtual. Kluster ini memiliki dependensi pada layanan di luar jaringan virtual tersebut.

lalu lintas manajemen masuk tidak dapat mengirim melalui firewall. Anda dapat menggunakan tag layanan NSG untuk lalu lintas masuk seperti yang didokumentasikan di sini.

Dependensi lalu lintas keluar Microsoft Azure HDInsight hampir seluruhnya didefinisikan dengan FQDN. Yang tidak memiliki alamat IP statis di belakang mereka. Kurangnya alamat statis berarti Grup Keamanan Jaringan (NSGs) tidak dapat mengunci lalu lintas keluar dari kluster. Alamat IP berubah cukup sering seseorang tidak dapat mengatur aturan berdasarkan resolusi dan penggunaan nama saat ini.

Amankan alamat keluar dengan firewall yang dapat mengontrol lalu lintas keluar berdasarkan FQDN. Azure Firewall membatasi lalu lintas keluar berdasarkan FQDN tujuan atau tag FQDN.

Mengonfigurasi Azure Firewall dengan Microsoft Azure HDInsight

Ringkasan langkah-langkah untuk mengunci jalan keluar dari Microsoft Azure HDInsight yang ada dengan Azure Firewall adalah:

  1. Buat subnet.
  2. Buat firewall.
  3. Tambahkan aturan aplikasi ke firewall.
  4. Tambahkan aturan jaringan ke firewall.
  5. Buat tabel perutean.

Buat Subnet baru

Buat subnet bernama AzureFirewallSubnet di jaringan virtual tempat kluster Anda ada.

Buat firewall baru untuk kluster Anda

Buat firewall bernama Test-FW01 menggunakan langkah-langkah dalam Sebarkan firewall dari Tutorial: Sebarkan dan konfigurasikan Azure Firewall menggunakan portal Microsoft Azure.

Konfigurasikan firewall dengan aturan aplikasi

Buat koleksi aturan aplikasi yang memungkinkan kluster mengirim dan menerima komunikasi penting.

  1. Pilih firewall baru Test-FW01 dari portal Microsoft Azure.

  2. Arahkan ke Pengaturan>Aturan>Aplikasi aturan pengumpulan+ Tambahkan >kumpulan aturan aplikasi.

    Title: Add application rule collection.

  3. Pada layar Tambahkan kumpulan aturan aplikasi, berikan informasi berikut ini:

    Bagian atas

    Properti Nilai
    Nama FwAppRule
    Prioritas 200
    Tindakan Izinkan

    Bagian tag FQDN

    Nama Alamat Sumber Tag FQDN Catatan
    Rule_1 * WindowsUpdate dan Microsoft Azure HDInsight Diperlukan untuk layanan HDI

    Bagian FQDN target

    Nama Alamat sumber Protocol:Port Target FQDNS Catatan
    Rule_2 * https:443 login.windows.net Izinkan aktivitas login Windows
    Rule_3 * https:443 login.microsoftonline.com Izinkan aktivitas login Windows
    Rule_4 * https:443 storage_account_name.blob.core.windows.net Ganti storage_account_name dengan nama akun penyimpanan Anda yang sebenarnya. Pastikan "transfer aman diperlukan" diaktifkan di akun penyimpanan. Jika Anda menggunakan titik akhir Privat untuk mengakses akun penyimpanan, langkah ini tidak diperlukan dan lalu lintas penyimpanan tidak diteruskan ke firewall.
    Rule_5 * http:80 azure.archive.ubuntu.com Mengizinkan pembaruan keamanan Ubuntu diinstal di kluster

    Title: Enter application rule collection details.

  4. Pilih Tambahkan.

Konfigurasikan firewall dengan aturan jaringan

Buat aturan jaringan untuk mengonfigurasi kluster Microsoft Azure HDInsight Anda dengan benar.

  1. Berlanjut dari langkah sebelumnya, arahkan ke kumpulan aturan Jaringan>+ Tambahkan kumpulan aturan jaringan.

  2. Pada layar Tambahkan kumpulan aturan aplikasi, berikan informasi berikut ini:

    Bagian atas

    Properti Nilai
    Nama FwNetRule
    Prioritas 200
    Tindakan Izinkan

    Bagian Tag Layanan

    Nama Protokol Alamat Sumber Tag Layanan Port Tujuan Catatan
    Rule_6 TCP * SQL 1433 , 11000-11999 Jika Anda menggunakan server sql default yang disediakan oleh Microsoft Azure HDInsight, konfigurasikan aturan jaringan di bagian Tag Layanan untuk SQL yang akan memungkinkan Anda untuk mencatat dan mengaudit lalu lintas SQL. Kecuali Anda mengonfigurasi Titik akhir Layanan untuk SQL Server pada subnet Microsoft Azure HDInsight, yang akan melewati firewall. Jika Anda menggunakan SQL server kustom untuk metastore Ambari, Oozie, Ranger, dan Apache Hive maka Anda hanya perlu mengizinkan lalu lintas ke SQL Server kustom Anda sendiri. Lihat Microsoft Azure SQL Database dan arsitektur konektivitas Azure Synapse Analytics untuk melihat mengapa rentang port 11000-11999 juga diperlukan selain 1433.
    Rule_7 TCP * Azure Monitor * (opsional) Pelanggan yang berencana menggunakan fitur auto scale harus menambahkan aturan ini.

    Title: Enter application rule collection.

  3. Pilih Tambahkan.

Buat dan konfigurasikan tabel rute

Buat tabel rute dengan entri berikut:

  • Semua alamat IP dari layanan Kesehatan dan manajemen dengan jenis hop Internet berikutnya. Ini harus mencakup 4 IP dari wilayah generik serta 2 IP untuk wilayah spesifik Anda. Aturan ini hanya diperlukan jika ResourceProviderConnection diatur ke Masuk. Jika ResourceProviderConnection diatur ke Outbound maka IP ini tidak diperlukan di UDR.

  • Satu rute Appliance Virtual untuk alamat IP 0.0.0.0/0 dengan hop berikutnya adalah alamat IP pribadi Azure Firewall Anda.

Misalnya, untuk mengonfigurasi tabel rute untuk kluster yang dibuat di wilayah Amerika Serikat "US Timur", gunakan langkah-langkah berikut:

  1. Pilih Azure Firewall Anda Uji-FW01. Salin alamat IP Privat yang tercantum di halaman Gambaran Umum. Untuk contoh ini, kita akan menggunakan sampel alamat 10.0.2.4.

  2. Kemudian arahkan ke Semua layanan>Tabel Rute>Jaringan dan Buat Tabel Rute.

  3. Dari rute baru Anda, arahkan ke Rute>Pengaturan>+ Tambahkan. Tambahkan hal berikut ke:

Nama rute Awalan alamat Jenis hop berikutnya Alamat lompatan berikutnya
168.61.49.99 168.61.49.99/32 Internet NA
23.99.5.239 23.99.5.239/32 Internet NA
168.61.48.131 168.61.48.131/32 Internet NA
138.91.141.162 138.91.141.162/32 Internet NA
13.82.225.233 13.82.225.233/32 Internet NA
40.71.175.99 40.71.175.99/32 Internet NA
0.0.0.0 0.0.0.0/0 Appliance virtual 10.0.2.4

Selesaikan konfigurasi tabel rute:

  1. Tetapkan tabel rute yang Anda buat ke subnet Microsoft Azure HDInsight Anda dengan memilih Subnet di bawah Pengaturan.

  2. Pilih + Asosiasikan.

  3. Pada layar Kaitkan subnet, pilihjaringan virtual tempat kluster Anda dibuat. Dan Subnet yang Anda gunakan untuk kluster Microsoft Azure HDInsight Anda.

  4. Pilih OK.

Simpul Azure Stack Edge-atau lalu lintas aplikasi kustom

Langkah-langkah di atas akan memungkinkan kluster beroperasi tanpa masalah. Anda masih perlu mengonfigurasi dependensi untuk mengakomodasi aplikasi kustom yang berjalan di simpul tepi-, jika berlaku.

Dependensi aplikasi harus diidentifikasi dan ditambahkan ke Azure Firewall atau tabel rute.

Rute harus dibuat untuk lalu lintas aplikasi untuk menghindari masalah perutean asimetris.

Jika aplikasi Anda memiliki dependensi lain, aplikasi tersebut harus ditambahkan ke Azure Firewall Anda. Buat aturan Aplikasi untuk mengizinkan lalu lintas HTTP/HTTPS dan aturan Jaringan untuk yang lainnya.

Pengelogan dan skala

Azure Firewall dapat mengirim log ke beberapa sistem penyimpanan yang berbeda. Untuk petunjuk tentang mengonfigurasi pengelogan untuk firewall Anda, ikuti langkah-langkah diTutorial: Pantau log dan metrik Azure Firewall.

Setelah menyelesaikan pengaturan pengelogan, jika menggunakan Analitik Log, Anda dapat menampilkan lalu lintas yang diblokir dengan kueri seperti:

AzureDiagnostics | where msg_s contains "Deny" | where TimeGenerated >= ago(1h)

Mengintegrasikan Azure Firewall dengan log Azure Monitor berguna saat pertama kali aplikasi berfungsi. Terutama ketika Anda tidak mengetahui semua dependensi aplikasi. Anda bisa mempelajari selengkapnya tentang log Azure Monitor dari Analisis data log di Azure Monitor

Untuk mempelajari tentang batas skala Azure Firewall dan permintaan meningkat, lihat dokumen ini atau lihat FAQ.

Akses ke kluster

Setelah firewall berhasil disiapkan, Anda dapat menggunakan titik akhir internal (https://CLUSTERNAME-int.azurehdinsight.net) untuk mengakses Ambari dari dalam jaringan virtual.

Untuk menggunakan titik akhir publik (https://CLUSTERNAME.azurehdinsight.net) atau titik akhir ssh ( ), pastikan Anda memiliki rute yang tepat dalam tabel rute dan aturan CLUSTERNAME-ssh.azurehdinsight.net NSG untuk menghindari masalah perutean asimetris yang dijelaskan di sini. Secara khusus dalam hal ini, Anda perlu mengizinkan alamat IP klien dalam aturan NSG Masuk dan juga menambahkannya ke tabel rute yang ditentukan pengguna dengan hop berikutnya ditetapkan sebagai internet. Jika perutean tidak disiapkan dengan benar, Anda akan melihat kesalahan waktu habis.

Langkah berikutnya