Membuat dan mengonfigurasi kluster Paket Keamanan Perusahaan di Azure HDInsight

  • Artikel

Paket Keamanan Perusahaan (ESP) untuk Azure HDInsight memberi Anda akses ke autentikasi berbasis Direktori Aktif, dukungan multipengguna, dan kontrol akses berbasis peran untuk kluster Apache Hadoop Anda di Azure. Kluster HDInsight ESP memungkinkan organisasi yang mematuhi kebijakan keamanan perusahaan yang ketat untuk memproses data sensitif dengan aman.

Panduan ini menunjukkan cara membuat kluster Azure HDInsight yang mendukung ESP. Ini juga menunjukkan cara membuat komputer virtual infrastruktur sebagai layanan Windows di mana Direktori Aktif dan Sistem Nama Domain (DNS) diaktifkan. Gunakan panduan ini untuk mengonfigurasi sumber daya yang diperlukan untuk memungkinkan pengguna lokal masuk ke kluster HDInsight yang mendukung ESP.

Server yang Anda buat akan bertindak sebagai pengganti lingkungan lokal sebenarnya Anda. Anda akan menggunakannya untuk langkah-langkah penyiapan dan konfigurasi. Nantinya Anda akan mengulangi langkah-langkah di lingkungan Anda sendiri.

Panduan ini juga akan membantu Anda membuat lingkungan identitas hibrid dengan menggunakan sinkronisasi hash kata sandi dengan ID Microsoft Entra. Panduan ini melengkapi Gunakan ESP dalam HDInsight.

Sebelum Anda menggunakan proses ini di lingkungan Anda sendiri:

  • Siapkan Direktori Aktif dan DNS.
  • Aktifkan ID Microsoft Entra.
  • Sinkronkan akun pengguna lokal ke ID Microsoft Entra.

Microsoft Entra architecture diagram.

Membuat lingkungan lokal

Di bagian ini, Anda akan menggunakan templat penyebaran Mulai Cepat Azure untuk membuat komputer virtual baru, mengonfigurasi DNS, dan menambahkan forest Direktori Aktif baru.

  1. Buka templat penyebaran Mulai Cepat untuk Membuat komputer virtual Azure dengan forest Direktori Aktif baru.

  2. Pilih Sebarkan ke Azure.

  3. Masuk ke langganan Azure Anda.

  4. Di halaman Membuat komputer virtual Azure dengan Forest AD baru, berikan informasi berikut:

    Properti Nilai
    Langganan Pilih langganan tempat Anda ingin menyebarkan sumber daya.
    Grup sumber daya Pilih Buat baru, dan masukkan nama OnPremADVRG
    Lokasi Pilih lokasi.
    Nama Pengguna Admin HDIFabrikamAdmin
    Kata Sandi Admin Masukkan kata sandi.
    Nama Domain HDIFabrikam.com
    Awalan Dns hdifabrikam

    Biarkan nilai default lainnya.

    Template for Create an Azure VM with a new Microsoft Entra Forest.

  5. Tinjau Persyaratan dan Ketentuan, lalu pilih Saya setuju dengan persyaratan dan ketentuan yang disebutkan di atas.

  6. Pilih Beli, dan pantau penyebaran dan tunggu hingga selesai. Penyebaran memakan waktu sekitar 30 menit untuk menyelesaikan.

Mengonfigurasi pengguna dan grup untuk akses kluster

Di bagian ini, Anda akan membuat pengguna yang akan memiliki akses ke kluster HDInsight di akhir panduan ini.

  1. Sambungkan ke pengendali domain menggunakan Desktop Jauh.

    1. Dari portal Microsoft Azure, navigasikan ke Grup sumber daya>OnPremADVRG>adVM>Connect.
    2. Dari daftar drop-down alamat IP, pilih alamat IP publik.
    3. Pilih Unduh File RDP, lalu buka file.
    4. Gunakan HDIFabrikam\HDIFabrikamAdmin sebagai nama pengguna.
    5. Masukkan kata sandi yang Anda pilih untuk akun admin.
    6. Pilih OK.

  2. Dari dasbor Manajer Server pengontrol domain, navigasikan ke Alat>Pengguna dan Komputer Direktori Aktif.

    On the Server Manager dashboard, open Active Directory Management.

  3. Buat dua pengguna baru: HDIAdmin dan HDIUser. Kedua pengguna ini akan masuk ke kluster HDInsight.

    1. Dari halaman Pengguna dan Komputer Active Directory, klik kanan HDIFabrikam.com, lalu navigasikan ke Pengguna>Baru.

      Create a new Active Directory user.

    2. Pada halaman Objek Baru - Pengguna, masukkan HDIUser untuk Nama depan dan Nama masuk pengguna. Bidang lainnya akan terisi secara otomatis. Kemudian pilih Berikutnya.

      Create the first admin user object.

    3. Di jendela pop-up yang muncul, masukkan kata sandi untuk akun baru. Pilih Kata sandi tidak pernah kedaluwarsa, lalu OK di pesan pop-up.

    4. Pilih Berikutnya, lalu Selesai untuk membuat akun baru.

    5. Ulangi langkah di atas untuk membuat pengguna HDIAdmin.

      Create a second admin user object.

  4. Buat grup keamanan global.

    1. Dari Pengguna dan Komputer Active Directory, klik kanan HDIFabrikam.com, lalu navigasikan ke Grup>Baru.

    2. Masukkan HDIUserGroup di kotak teks Nama grup.

    3. Pilih OK.

    Create a new Active Directory group.

    Create a new object.

  5. Tambahkan anggota ke HDIUserGroup.

    1. Klik kanan HDIUser dan pilih Tambahkan ke grup....

    2. Di kotak teks Masukkan nama objek untuk dipilih, masukkan HDIUserGroup. Kemudian pilih OK, dan OK lagi di pop-up.

    3. Ulangi langkah-langkah sebelumnya untuk akun HDIAdmin.

      Add the member HDIUser to the group HDIUserGroup.

Anda sekarang telah membuat lingkungan Direktori Aktif Anda. Anda telah menambahkan dua pengguna dan grup pengguna yang dapat mengakses kluster HDInsight.

Pengguna akan disinkronkan dengan ID Microsoft Entra.

Membuat direktori Microsoft Entra

  1. Masuk ke portal Azure.

  2. Pilih Buat sumber daya dan ketik directory. Pilih Buat ID>Microsoft Entra.

  3. Di bawah Nama organisasi, masukkan HDIFabrikam.

  4. Di bawah Nama domain awal, masukkan HDIFabrikamoutlook.

  5. Pilih Buat.

    Create a Microsoft Entra directory.

Membuat domain kustom

  1. Dari ID Microsoft Entra baru Anda, di bawah Kelola, pilih Nama domain kustom.

  2. Pilih + Tambah domain kustom.

  3. Di bawah Nama domain kustom, masukkan HDIFabrikam.com, lalu pilih Tambahkan domain.

  4. Lalu selesaikan Tambahkan informasi DNS Anda ke pencatat domain.

    Create a custom domain.

Membuat grup

  1. Dari ID Microsoft Entra baru Anda, di bawah Kelola, pilih Grup.
  2. Pilih + Grup baru.
  3. Di kotak teks nama grup, masukkan AAD DC Administrators.
  4. Pilih Buat.

Mengonfigurasi penyewa Microsoft Entra Anda

Sekarang Anda akan mengonfigurasi penyewa Microsoft Entra sehingga Anda dapat menyinkronkan pengguna dan grup dari instans Active Directory lokal ke cloud.

Biat administrator penyewa Direktori Aktif.

  1. Masuk ke portal Azure dan pilih penyewa Microsoft Entra Anda, HDIFabrikam.

  2. Navigasikan ke Kelola>Pengguna>Pengguna baru.

  3. Masukkan detail berikut untuk pengguna baru:

    Identitas

    Properti Deskripsi
    Nama pengguna Masukkan fabrikamazureadmin di kotak teks. Dari daftar drop-down nama domain, pilih hdifabrikam.com
    Nama Memasuki fabrikamazureadmin.

    Password

    1. Pilih Izinkan saya membuat kata sandi.
    2. Masukkan kata sandi aman pilihan Anda.

    Grup dan peran

    1. Pilih 0 grup dipilih.

    2. Pilih Administrator AAD DC, lalu Pilih.

      The Microsoft Entra groups dialog box.

    3. Pilih Pengguna.

    4. Pilih Administrator Global, lalu Pilih.

      The Microsoft Entra role dialog box.

  4. Pilih Buat.

  5. Kemudian minta pengguna baru masuk ke portal Microsoft Azure di mana ia akan diminta untuk mengubah kata sandi. Anda harus melakukan ini sebelum mengonfigurasi Microsoft Entra Koneksi.

Menyinkronkan pengguna lokal ke ID Microsoft Entra

Mengonfigurasi Microsoft Entra Koneksi

  1. Dari pengendali domain, unduh Microsoft Entra Koneksi.

  2. Buka file yang dapat dieksekusi yang Anda unduh, dan setujui syarat lisensinya. Pilih Lanjutkan.

  3. Pilih Gunakan pengaturan ekspres.

  4. Pada halaman Koneksi ke ID Microsoft Entra, masukkan nama pengguna dan kata sandi administrator global untuk ID Microsoft Entra. Gunakan nama pengguna fabrikamazureadmin@hdifabrikam.com yang Anda buat saat mengonfigurasi penyewa Direktori Aktif. Kemudian pilih Berikutnya.

    Connect to Microsoft Entra ID.

  5. Di halaman Sambungkan ke AD DS, masukkan nama pengguna dan kata sandi untuk akun admin perusahaan. Gunakan nama pengguna HDIFabrikam\HDIFabrikamAdmin dan kata sandi yang Anda buat sebelumnya. Kemudian pilih Berikutnya.

    Connect to A D D S page.

  6. Pada halaman konfigurasi masuk Microsoft Entra, pilih Berikutnya.

    Microsoft Entra sign-in configuration page.

  7. Pada halaman Siap untuk dikonfigurasi, pilih Pasang.

    Ready to configure page.

  8. Pada halaman Konfigurasi selesai, pilih Keluar. Configuration complete page.

  9. Setelah sinkronisasi selesai, konfirmasikan bahwa pengguna yang Anda buat di direktori IaaS disinkronkan ke ID Microsoft Entra.

    1. Masuk ke portal Azure.
    2. Pilih Microsoft Entra ID>HDIPenggunaFabrikam.>

Membuat identitas terkelola yang ditetapkan pengguna

Buat identitas terkelola yang ditetapkan pengguna yang dapat Anda gunakan untuk mengonfigurasi Microsoft Entra Domain Services. Untuk informasi selengkapnya, lihat Membuat, mencantumkan, menghapus, atau menetapkan peran ke identitas terkelola pengguna yang tetapkan menggunakan portal Microsoft Azure.

  1. Masuk ke portal Azure.
  2. Pilih Buat sumber daya dan ketik managed identity. Pilih Identitas Terkelola yang Ditetapkan Pengguna>Buat.
  3. Untuk Nama Sumber Daya, masukkan HDIFabrikamManagedIdentity.
  4. Pilih langganan Anda.
  5. Pada Grup Sumber Daya, pilih Buat baru dan masukkan HDIFabrikam-CentralUS.
  6. Di bawah Lokasi, pilih US Tengah.
  7. Pilih Buat.

Create a new user-assigned managed identity.

Mengaktifkan Microsoft Entra Domain Services

Ikuti langkah-langkah ini untuk mengaktifkan Microsoft Entra Domain Services. Untuk informasi selengkapnya, lihat Mengaktifkan Microsoft Entra Domain Services dengan menggunakan portal Azure.

  1. Buat jaringan virtual untuk menghosting Microsoft Entra Domain Services. Jalankan kode PowerShell berikut.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Masuk ke portal Azure.

  3. Pilih Buat sumber daya, masukkan Domain services, dan pilih Buat Microsoft Entra Domain Services>.

  4. Di halaman Dasar:

    1. Di bawah Nama direktori, pilih direktori Microsoft Entra yang Anda buat: HDIFabrikam.

    2. Untuk nama domain DNS, masukkan HDIFabrikam.com.

    3. Pilih langganan Anda.

    4. Tentukan grup sumber daya HDIFabrikam-CentralUS. Untuk Lokasi, pilih US Tengah.

      Microsoft Entra Domain Services basic details.

  5. Pada halaman Jaringan, pilih jaringan (HDIFabrikam-VNET) dan subnet (AADDS-subnet) yang Anda buat dengan menggunakan skrip PowerShell. Atau pilih Buat baru untuk membuat jaringan virtual sekarang.

    Create virtual network step.

  6. Pada halaman Grup administrator, Anda akan melihat pemberitahuan bahwa grup bernama Administrator AAD DC telah dibuat untuk mengelola grup ini. Anda dapat mengubah keanggotaan grup ini jika mau, tetapi dalam hal ini Anda tidak perlu mengubahnya. Pilih OK.

    View the Microsoft Entra administrator group.

  7. Pada halaman Sinkronisasi, aktifkan sinkronisasi lengkap dengan memilih Semua>OK.

    Enable Microsoft Entra Domain Services synchronization.

  8. Pada halaman Ringkasan , verifikasi detail untuk Microsoft Entra Domain Services dan pilih OK.

    Enable Microsoft Entra Domain Services.

Setelah Anda mengaktifkan Microsoft Entra Domain Services, server DNS lokal berjalan di Microsoft Entra VM.

Mengonfigurasi jaringan virtual Microsoft Entra Domain Services Anda

Gunakan langkah-langkah berikut untuk mengonfigurasi jaringan virtual Microsoft Entra Domain Services Anda (HDIFabrikam-AADDSVNET) untuk menggunakan server DNS kustom Anda.

  1. Temukan alamat IP server DNS kustom Anda.

    1. Pilih HDIFabrikam.com sumber daya Microsoft Entra Domain Services.
    2. Di bawah Kelola, pilih Properti.
    3. Temukan alamat IP di bawah alamat IP di jaringan virtual.

    Locate custom DNS IP addresses for Microsoft Entra Domain Services.

  2. Mengonfigurasi HDIFabrikam-AADDSVNET untuk menggunakan alamat IP kustom 10.0.0.4 dan 10.0.0.5.

    1. Di bawah Pengaturan, pilih Server DNS.
    2. Pilih Kustom.
    3. Dalam kotak teks, masukkan alamat IP pertama (10.0.0.4).
    4. Pilih Simpan.
    5. Ulangi langkah-langkah untuk menambahkan alamat IP lainnya (10.0.0.5).

Dalam skenario kami, kami mengonfigurasi Microsoft Entra Domain Services untuk menggunakan alamat IP 10.0.0.4 dan 10.0.0.5, mengatur alamat IP yang sama di jaringan virtual Microsoft Entra Domain Services:

The custom DNS servers page.

Mengamankan lalu lintas LDAP

Lightweight Directory Access Protocol (LDAP) digunakan untuk membaca dari dan menulis ke MICROSOFT Entra ID. Anda dapat membuat lalu lintas LDAP menjadi rahasia dan aman menggunakan teknologi Secure Sockets Layer (SSL) atau Transport Layer Security (TLS). Anda dapat mengaktifkan LDAP melalui SSL (LDAPS) dengan memasang sertifikat yang diformat dengan benar.

Untuk informasi selengkapnya tentang LDAP aman, lihat Mengonfigurasi LDAPS untuk domain terkelola Microsoft Entra Domain Services.

Di bagian ini, Anda membuat sertifikat yang ditandatangani sendiri, mengunduh sertifikat, dan mengonfigurasi LDAPS untuk domain terkelola HDIFabrikam Microsoft Entra Domain Services.

Skrip berikut membuat sertifikat untuk HDIFabrikam. Sertifikat disimpan di jalur LocalMachine.

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Catatan

Setiap utilitas atau aplikasi yang membuat permintaan Standar Kriptografi Kunci Publik (PKCS) #10 yang valid dapat digunakan untuk membuat permintaan sertifikat TLS/SSL.

Verifikasi bahwa sertifikat dipasang di penyimpanan Pribadi komputer:

  1. Mulai Microsoft Management Console (MMC).

  2. Tambahkan snap-in Sertifikat yang mengelola sertifikat di komputer lokal.

  3. Luaskan Sertifikat (Komputer Lokal)>Pribadi>Sertifikat. Sertifikat baru harus ada di penyimpanan Pribadi. Sertifikat ini dikeluarkan untuk nama host yang sepenuhnya memenuhi syarat.

    Verify local certificate creation.

  4. Di panel sebelah kanan, klik kanan sertifikat yang Anda buat. Arahkan ke Semua Tugas, lalu pilih Ekspor.

  5. Pada halaman Ekspor Kunci Pribadi, pilih Ya, ekspor kunci privat. Komputer tempat kunci akan diimpor memerlukan kunci privat untuk membaca pesan terenkripsi.

    The Export Private Key page of the Certificate Export Wizard.

  6. Pada halaman Ekspor Format File, biarkan pengaturan default, lalu pilih Berikutnya.

  7. Pada halaman Kata Sandi, ketikkan kata sandi untuk kunci pribadi. Untuk Enkripsi, pilih TripleDES-SHA1. Kemudian pilih Berikutnya.

  8. Pada halaman File untuk Diekspor, ketik jalur dan nama untuk file sertifikat yang diekspor, lalu pilih Berikutnya. Nama file harus memiliki ekstensi .pfx. File ini dikonfigurasi di portal Microsoft Azure untuk membuat koneksi yang aman.

  9. Aktifkan LDAPS untuk domain terkelola Microsoft Entra Domain Services.

    1. Dari portal Microsoft Azure, pilih domain HDIFabrikam.com.
    2. Pada Kelola, pilih Secure LDAP.
    3. Pada halaman Secure LDAP, di bawah Secure LDAP, pilih Aktifkan.
    4. Telusuri file sertifikat .pfx yang Anda ekspor di komputer Anda.
    5. Masukkan kata sandi sertifikat.

    Enable secure LDAP.

  10. Sekarang setelah Anda mengaktifkan LDAPS, pastikan itu dapat dijangkau dengan mengaktifkan port 636.

    1. Di grup sumber daya HDIFabrikam-CentralUS, pilih grup keamanan jaringan AADDS-HDIFabrikam.com-NSG.

    2. Pada Pengaturan, pilih Aturan keamanan masuk>Tambahkan.

    3. Pada halaman Tambahkan aturan keamanan masuk, masukkan properti berikut ini, dan pilih Tambahkan:

      Properti Nilai
      Sumber Mana pun
      Source port ranges *
      Tujuan Mana pun
      Rentang port tujuan 636
      Protokol Mana pun
      Tindakan Izinkan
      Prioritas <Nomor yang diinginkan>
      Nama Port_LDAP_636

      The Add inbound security rule dialog box.

HDIFabrikamManagedIdentity adalah identitas terkelola yang ditetapkan pengguna. Peran Kontributor Layanan Domain HDInsight diaktifkan untuk identitas terkelola yang akan memungkinkan identitas ini membaca, membuat, memodifikasi, dan menghapus operasi layanan domain.

Create a user-assigned managed identity.

Membuat kluster HDInsight berkemampuan ESP

Langkah ini memerlukan prasyarat berikut:

  1. Buat grup sumber daya baru HDIFabrikam-WestUS di lokasi US Barat.

  2. Buat jaringan virtual yang akan meng-host kluster HDInsight berkemampuan ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Buat hubungan serekan antara jaringan virtual yang menghosting Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) dan jaringan virtual yang akan menghosting kluster HDInsight berkemampuan ESP (HDIFabrikam-HDIVNet). Gunakan kode PowerShell berikut untuk peering dua jaringan virtual.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Buat akun Azure Data Lake Storage Gen2 baru yang disebut Hdigen2store. Konfigurasikan akun dengan identitas yang dikelola pengguna HDIFabrikamManagedIdentity. Untuk informasi selengkapnya, lihat Menggunakan Azure Data Lake Storage Gen2 dengan kluster Azure HDInsight.

  5. Siapkan DNS kustom di jaringan virtual HDIFabrikam-AADDSVNET.

    1. Buka portal Azure >Grup sumber daya>OnPremADVRG>HDIFabrikam-AADDSVNET>server DNS.

    2. Pilih Kustom dan masukkan 10.0.0.4 dan 10.0.0.5.

    3. Pilih Simpan.

      Save custom DNS settings for a virtual network.

  6. Buat kluster HDInsight Spark baru yang mendukung ESP.

    1. Pilih Kustom (ukuran, pengaturan, aplikasi).

    2. Masukkan detail untuk Dasar-Dasar (bagian 1). Pastikan bahwa Jenis kluster adalah Spark 2.3 (HDI 3.6). Pastikan bahwa Grup sumber daya adalah HDIFabrikam-CentralUS.

    3. Untuk Keamanan + jaringan (bagian 2), isi detail berikut:

      • Di bawah Paket Keamanan Perusahaan, pilih Diaktifkan.

      • Pilih Pengguna admin kluster dan pilih akun HDIAdmin yang Anda buat sebagai pengguna admin lokal. Klik Pilih.

      • Pilih Grup akses kluster>HDIUserGroup. Setiap pengguna yang Anda tambahkan ke grup ini di masa depan akan dapat mengakses kluster HDInsight.

        Select the cluster access group HDIUserGroup.

    4. Selesaikan langkah-langkah lain dari konfigurasi kluster dan verifikasi detailnya di Ringkasan kluster. Pilih Buat.

  7. Masuk ke antarmuka pengguna Ambari untuk kluster yang baru dibuat di https://CLUSTERNAME.azurehdinsight.net. Gunakan nama pengguna admin Anda hdiadmin@hdifabrikam.com dan kata sandinya.

    The Apache Ambari UI sign-in window.

  8. Dari dasbor kluster, pilih Peran.

  9. Pada halaman Peran, di bawah Tetapkan peran untuk ini, di samping peran Administrator Kluster, masukkan grup hdiusergroup.

    Assign the cluster admin role to hdiusergroup.

  10. Buka klien Secure Shell (SSH) Anda dan masuk ke kluster. Gunakan hdiuser yang Anda buat di instans Active Directory lokal.

    Sign in to the cluster by using the SSH client.

Jika dapat masuk dengan akun ini, Anda telah mengonfigurasi kluster ESP dengan benar untuk disinkronkan dengan instans Active Directory lokal Anda.

Langkah berikutnya

Baca Pengantar keamanan Apache Hadoop dengan ESP.