Kurumsal Güvenlik Paketi ile HDInsight kümelerini yönetme
HDInsight Kurumsal Güvenlik Paketi'ndeki (ESP) kullanıcıları ve rolleri ve ESP kümelerini yönetmeyi öğrenin.
Etki alanına katılmış kümeye bağlamak için VSCode kullanma
Apache Ambari yönetilen kullanıcı adını kullanarak normal bir kümeyi bağlayabilir, ayrıca etki alanı kullanıcı adını (örneğin: user1@contoso.com) kullanarak bir güvenlik Apache Hadoop kümesini bağlayabilirsiniz.
Visual Studio Code'yu açın. Spark ve Hive Araçları uzantısının yüklü olduğundan emin olun.
Visual Studio Code için küme bağlama başlığındaki adımları izleyin.
Etki alanına katılmış kümeye bağlamak için IntelliJ kullanma
Ambari yönetilen kullanıcı adını kullanarak normal bir kümeyi bağlayabilir, ayrıca etki alanı kullanıcı adını (örneğin: user1@contoso.com) kullanarak bir güvenlik hadoop kümesini bağlayabilirsiniz.
IntelliJ IDEA’yı açın. Tüm önkoşulların karşılandığından emin olun.
IntelliJ için küme bağlama başlığındaki adımları izleyin.
Etki alanına katılmış kümeye bağlamak için Eclipse kullanma
Ambari yönetilen kullanıcı adını kullanarak normal bir kümeyi bağlayabilir, ayrıca etki alanı kullanıcı adını (örneğin: user1@contoso.com) kullanarak bir güvenlik hadoop kümesini bağlayabilirsiniz.
Eclipse’i açın. Tüm önkoşulların karşılandığından emin olun.
Eclipse için küme bağlama başlığındaki adımları izleyin.
Kurumsal Güvenlik Paketi ile kümelere erişme
Kurumsal Güvenlik Paketi (daha önce HDInsight Premium olarak bilinirdi) kümeye çok kullanıcılı erişim sağlar; burada kimlik doğrulaması Active Directory tarafından yapılır ve Apache Ranger ve Depolama ACL'leri (ADLS ACL'leri) tarafından yetkilendirme yapılır. Yetkilendirme, birden çok kullanıcı arasında güvenli sınırlar sağlar ve yalnızca ayrıcalıklı kullanıcıların yetkilendirme ilkelerine göre verilere erişmesine izin verir.
Güvenlik ve kullanıcı yalıtımı, Kurumsal Güvenlik Paketi içeren bir HDInsight kümesi için önemlidir. Bu gereksinimleri karşılamak için, Kurumsal Güvenlik Paketi ile kümeye SSH erişimi, küme oluşturma zamanında seçilen yerel kullanıcının yanı sıra AAD-DS'de (kerberos) kullanılabilen kullanıcılar için desteklenir. Aşağıdaki tabloda, her küme türü için önerilen erişim yöntemleri gösterilmektedir:
| İş Yükü | Senaryo | Erişim Yöntemi |
|---|---|---|
| Apache Hadoop | Hive – Etkileşimli İşler/Sorgular | |
| Apache Spark | Etkileşimli İşler/Sorgular, PySpark etkileşimli | |
| Apache Spark | Batch Senaryoları – Spark gönderme, PySpark | |
| Etkileşimli Sorgu (LLAP) | Etkileşimli | |
| Tümü | Özel Uygulama Yükleme |
Not
Jupyter, Kurumsal Güvenlik Paketi'nde yüklü değil/desteklenmiyor.
Standart API'lerin kullanılması güvenlik açısından yardımcı olur. Aşağıdaki avantajları da elde edersiniz:
- Yönetim – Kodunuzu yönetebilir ve standart API'leri (Livy, HS2 vb.) kullanarak işleri otomatikleştirebilirsiniz.
- Denetim – SSH ile, hangi kullanıcıların kümeye SSH'sini denetleyeceğini denetlemenin bir yolu yoktur. İşler standart uç noktalar aracılığıyla oluşturulurken bu durum geçerli olmaz çünkü bunlar kullanıcı bağlamında yürütülür.
Beeline kullanma
Beeline'ı makinenize yükleyin ve genel İnternet üzerinden bağlanın, aşağıdaki parametreleri kullanın:
- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'
Beeline'ı yerel olarak yüklediyseniz ve bir Azure Sanal Ağ üzerinden bağlanıyorsanız aşağıdaki parametreleri kullanın:
Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'
Baş düğümün tam etki alanı adını bulmak için Ambari REST API kullanarak HDInsight'ı yönetme belgesindeki bilgileri kullanın.
ESP ile HDInsight kümeleri kullanıcıları
ESP olmayan bir HDInsight kümesi, küme oluşturma sırasında oluşturulan iki kullanıcı hesabına sahiptir:
- Ambari yöneticisi: Bu hesap Hadoop kullanıcısı veya HTTP kullanıcısı olarak da bilinir. Bu hesap adresinde Ambari'de
https://CLUSTERNAME.azurehdinsight.netoturum açmak için kullanılabilir. Ayrıca Ambari görünümlerinde sorgu çalıştırmak, dış araçlar (PowerShell, Templeton, Visual Studio gibi) aracılığıyla iş yürütmek ve Hive ODBC sürücüsü ve BI araçlarıyla (örneğin, Excel, Power BI veya Tableau) kimlik doğrulaması yapmak için kullanılabilir.
ESP içeren bir HDInsight kümesinin Ambari Yönetici ek olarak üç yeni kullanıcısı vardır.
Ranger yöneticisi: Bu hesap yerel Apache Ranger yönetici hesabıdır. Active Directory etki alanı kullanıcısı değil. Bu hesap, ilkeleri ayarlamak ve diğer kullanıcıları yönetici veya yönetici temsilcisi yapmak için kullanılabilir (böylece bu kullanıcılar ilkeleri yönetebilir). Varsayılan olarak, kullanıcı adı yöneticidir ve parola Ambari yönetici parolası ile aynıdır. Parola Ranger'daki Ayarlar sayfasından güncelleştirilebilir.
Küme yöneticisi etki alanı kullanıcısı: Bu hesap, Ambari ve Ranger da dahil olmak üzere Hadoop küme yöneticisi olarak atanmış bir Active Directory etki alanı kullanıcısıdır. Küme oluşturma sırasında bu kullanıcının kimlik bilgilerini sağlamanız gerekir. Bu kullanıcı aşağıdaki ayrıcalıklara sahiptir:
- Makineleri etki alanına ekleyin ve küme oluşturma sırasında belirttiğiniz OU'ya yerleştirin.
- Küme oluşturma sırasında belirttiğiniz OU içinde hizmet sorumluları oluşturun.
- Ters DNS girişleri oluşturun.
Diğer AD kullanıcılarının da bu ayrıcalıklara sahip olduğunu unutmayın.
Küme içinde Ranger tarafından yönetilmeyen ve bu nedenle güvenli olmayan bazı uç noktalar (örneğin Templeton) vardır. Bu uç noktalar, küme yöneticisi etki alanı kullanıcısı dışındaki tüm kullanıcılar için kilitlenir.
Normal: Küme oluşturma sırasında birden çok Active Directory grubu sağlayabilirsiniz. Bu gruplardaki kullanıcılar Ranger ve Ambari ile eşitlenir. Bu kullanıcılar etki alanı kullanıcılarıdır ve yalnızca Ranger tarafından yönetilen uç noktalara (örneğin, Hiveserver2) erişebilir. Tüm RBAC ilkeleri ve denetimi bu kullanıcılar için geçerli olacaktır.
ESP ile HDInsight kümelerinin rolleri
HDInsight Kurumsal Güvenlik Paketi aşağıdaki rollere sahiptir:
- Küme Yönetici Istrator
- Küme İşleci
- Hizmet Yöneticisi
- Hizmet İşleci
- Küme Kullanıcısı
Bu rollerin izinlerini görmek için
Ambari Yönetimi kullanıcı arabirimini açın. Bkz. Ambari Yönetim kullanıcı arabirimini açma.
Sol menüden Roller'i seçin.
İzinleri görmek için mavi soru işaretini seçin:
Ambari Yönetim kullanıcı arabirimini açma
https://CLUSTERNAME.azurehdinsight.net/CLUSTERNAME'in kümenizin adı olduğu yere gidin.Küme yöneticisi etki alanı kullanıcı adını ve parolasını kullanarak Ambari'de oturum açın.
Sağ üst köşedeki yönetici açılan menüsünü ve ardından Ambari'yi Yönet'i seçin.
Kullanıcı arabirimi şöyle görünür:
Active Directory'nizden eşitlenen etki alanı kullanıcılarını listeleme
Ambari Yönetimi kullanıcı arabirimini açın. Bkz. Ambari Yönetim kullanıcı arabirimini açma.
Sol menüden Kullanıcılar'ı seçin. Tüm kullanıcıların Active Directory'nizden HDInsight kümesine eşitlendiğini göreceksiniz.
Active Directory'nizden eşitlenen etki alanı gruplarını listeleme
Ambari Yönetimi kullanıcı arabirimini açın. Bkz. Ambari Yönetim kullanıcı arabirimini açma.
Sol menüden Gruplar'ı seçin. Active Directory'nizden HDInsight kümesine eşitlenen tüm grupları görürsünüz.
Hive Görünümleri izinlerini yapılandırma
Ambari Yönetimi kullanıcı arabirimini açın. Bkz. Ambari Yönetim kullanıcı arabirimini açma.
Sol menüden Görünümler'i seçin.
Ayrıntıları göstermek için HIVE'ı seçin.
Hive Görünümlerini yapılandırmak için Hive Görünümü bağlantısını seçin.
ekranı aşağı kaydırarak İzinler bölümüne gelin.
Kullanıcı Ekle veya Grup Ekle'yi seçin ve hive görünümlerini kullanabilecek kullanıcıları veya grupları belirtin.
Kullanıcıları roller için yapılandırma
Rollerin ve izinlerinin listesini görmek için bkz. ESP ile HDInsight kümelerinin rolleri.
- Ambari Yönetimi kullanıcı arabirimini açın. Bkz. Ambari Yönetim kullanıcı arabirimini açma.
- Sol menüden Roller'i seçin.
- Kullanıcıları ve grupları farklı rollere atamak için Kullanıcı Ekle veya Grup Ekle'yi seçin.