HDInsight kümesinde Özel Bağlantı etkinleştirme

  • Makale

Bu makalede, microsoft omurga ağı üzerinden ağlar arasında bir HDInsight kümesine özel olarak bağlanmak için Azure Özel Bağlantı kullanma hakkında bilgi edineceksiniz. Bu makale, genel bağlantıyı kısıtlamaya odaklanan Azure HDInsight'ta küme bağlantısını kısıtlama makalesinin bir uzantısıdır. HDInsight kümelerinize ve bağımlı kaynaklarınıza genel bağlantı sağlamak istiyorsanız Azure HDInsight'ta ağ trafiğini denetleme yönergelerini izleyerek kümenizin bağlantısını kısıtlamayı göz önünde bulundurun.

Özel Bağlantı, sanal ağ eşlemenin kullanılamadığı veya etkinleştirilmediği ağlar arası senaryolarda kullanılabilir.

Not

Genel bağlantıyı kısıtlamak, Özel Bağlantı etkinleştirmek için bir önkoşuldur ve aynı özellik olarak kabul edilmemelidir.

HDInsight kümesine bağlanmak için Özel Bağlantı kullanımı isteğe bağlı bir özelliktir ve varsayılan olarak devre dışıdır. Bu özellik yalnızca resourceProviderConnection Azure HDInsight'ta küme bağlantısını kısıtlama makalesinde açıklandığı gibi ağ özelliği giden olarak ayarlandığında kullanılabilir.

privateLink Etkin olarak ayarlandığında, iç standart yük dengeleyiciler (SLB) oluşturulur ve her SLB için bir Azure Özel Bağlantı hizmeti sağlanır. hdInsight kümesine özel uç noktalardan erişmenizi sağlayan Özel Bağlantı hizmetidir.

başarıyla Özel Bağlantı kümesi oluşturma işlemi birçok adımdan geçer, bu nedenle bunları burada özetledik. Her şeyin doğru ayarlandığından emin olmak için aşağıdaki adımların her birini izleyin.

1. Adım: Önkoşulları oluşturma

Başlamak için, henüz oluşturmadıysanız aşağıdaki kaynakları dağıtın. AŞAĞıDA gösterildiği gibi HDInsight kümesinin dağıtılacağı alt ağa eklemek için en az bir kaynak grubunuz, iki sanal ağınız ve bir ağ güvenlik grubunuz olmalıdır.

Tür Veri Akışı Adı Purpose
Kaynak grubu hdi-privlink-rg Ortak kaynakları bir arada tutmak için kullanılır
Sanal ağ hdi-privlink-cluster-vnet Kümenin dağıtılacağı sanal ağ
Sanal ağ hdi-privlink-client-vnet İstemcilerin kümeye bağlanacağı sanal ağ
Ağ güvenlik grubu hdi-privlink-cluster-vnet-nsg Küme dağıtımı için gereken varsayılan NSG

Not

Ağ güvenlik grubu (NSG) basitçe dağıtılabilir, küme dağıtımı için herhangi bir NSG kuralını değiştirmemiz gerekmez.

2. Adım: HDInsight alt ağını yapılandırma

  • Alt ağda privateLinkServiceNetworkPolicies'i devre dışı bırakın. Özel Bağlantı hizmetiniz için bir kaynak IP adresi seçmek için alt ağda açık bir devre dışı bırakma ayarı privateLinkServiceNetworkPolicies gerekir. Özel Bağlantı hizmetleri için ağ politikalarını devre dışı bırakmak üzere buradaki talimatları izleyin.
  • Alt ağda Hizmet Uç Noktalarını etkinleştirin. bir Özel Bağlantı HDInsight kümesinin başarılı bir şekilde dağıtımı için, küme dağıtımından önce alt ağınıza , Microsoft.Storageve Microsoft.KeyVault hizmet uç noktalarını eklemenizi Microsoft.SQLöneririz. Hizmet uç noktaları trafiği doğrudan sanal ağınızdan Microsoft Azure omurga ağındaki hizmete yönlendirir. Trafiğin Azure omurga ağında tutulması, zorlamalı tünel aracılığıyla hizmet trafiğini etkilemeden, giden İnternet trafiğini sanal ağlarınızdan denetlemeye ve izlemeye devam etmenize olanak sağlar.

3. Adım: NAT ağ geçidini veya güvenlik duvarını dağıtma

Standart yük dengeleyiciler, temel yük dengeleyiciler gibi otomatik olarak genel giden NAT sağlamaz. Özel Bağlantı kümeleri standart yük dengeleyiciler kullandığından, giden genel HDInsight bağımlılıklarına bağlanmak için NAT ağ geçidi veya güvenlik duvarınız tarafından sağlanan NAT gibi kendi NAT çözümünüzü sağlamanız gerekir.

NAT ağ geçidi dağıtma (Seçenek 1)

NAT için bir güvenlik duvarı veya ağ sanal gereci (NVA) yapılandırmak istemiyorsanız NAT ağ geçidi kullanmayı tercih edebilirsiniz. Başlamak için, sanal ağınızın yapılandırılmış alt ağına bir NAT ağ geçidi (sanal ağınızda yeni bir genel IP adresi ile) ekleyin. Bu ağ geçidi, trafiğin sanal ağınızın dışına gitmesi gerektiğinde özel iç IP adresinizi genel adreslere çevirmekle sorumludur.

Kullanmaya başlamak için temel bir kurulum için:

  1. Azure portalında 'NAT Ağ Geçitleri' için arama yapın ve Oluştur'a tıklayın.

  2. NAT Ağ Geçidi'nde aşağıdaki yapılandırmaları kullanın. (Tüm yapılandırmaları buraya eklemediğimiz için varsayılan değerleri kullanabilirsiniz.)

    Config Değer
    NAT ağ geçidi adı hdi-privlink-nat-gateway
    Genel IP Ön Ekleri Yeni bir genel IP ön eki oluşturma
    Genel IP ön eki adı hdi-privlink-nat-gateway-prefix
    Genel IP ön ek boyutu /28 (16 adres)
    Sanal ağ hdi-privlink-cluster-vnet
    Alt ağ adı varsayılan

  3. NAT Ağ Geçidi'nin dağıtımı tamamlandıktan sonra sonraki adıma geçebilirsiniz.

Güvenlik duvarı yapılandırma (Seçenek 2)

Kullanmaya başlamak için temel bir kurulum için:

  1. Sanal ağınıza AzureFirewallSubnet adlı yeni bir alt ağ ekleyin.
  2. Yeni bir güvenlik duvarı yapılandırmak ve güvenlik duvarı ilkelerinizi eklemek için yeni alt ağı kullanın.
  3. Yeni güvenlik duvarının özel IP adresini yol tablonuzdaki değer olarak nextHopIpAddress kullanın.
  4. Yönlendirme tablosunu sanal ağınızın yapılandırılmış alt ağına ekleyin.

HDInsight kümenizin giden bağımlılıklarına erişmesi gerekiyor. Bu giden bağımlılıklara izin verilmiyorsa küme oluşturma işlemi başarısız olabilir. Güvenlik duvarı ayarlama hakkında daha fazla bilgi için bkz . Azure HDInsight'ta ağ trafiğini denetleme.

4. Adım: Özel bağlantı kümesi dağıtma

Bu noktada tüm önkoşullar yerine getirilmelidir, bunlar yapıldıktan sonra Özel Bağlantı kümesini dağıtmaya hazır olursunuz. Aşağıdaki diyagramda, kümeyi oluşturmadan önce gereken ağ yapılandırması örneği gösterilmektedir. Bu örnekte, tüm giden trafik kullanıcı tanımlı bir yol üzerinden Azure Güvenlik Duvarı zorlanır. Küme oluşturmadan önce güvenlik duvarında gerekli giden bağımlılıklara izin verilmelidir. Kurumsal Güvenlik Paketi kümeleri için, sanal ağ eşlemesi Microsoft Entra Domain Services'e ağ bağlantısı sağlayabilir.

Küme oluşturmadan önce Özel Bağlantı ortamının diyagramı.

Kümeyi oluşturma

Aşağıdaki JSON kod parçacığı, özel bir HDInsight kümesi oluşturmak için Azure Resource Manager şablonunuzda yapılandırmanız gereken iki ağ özelliğini içerir:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

Özel Bağlantı dahil olmak üzere birçok HDInsight kurumsal güvenlik özelliğine sahip eksiksiz bir şablon için bkz. HDInsight kurumsal güvenlik şablonu.

PowerShell kullanarak bir küme oluşturmak için örne bakın.

Azure CLI kullanarak küme oluşturmak için örne bakın.

5. Adım: Özel uç nokta oluşturma

Azure, Özel Bağlantı kümesi dağıtımı sırasında Ambari ve SSH yük dengeleyicileri için otomatik olarak bir Özel bağlantı hizmeti oluşturur. Küme dağıtıldıktan sonra, istemci sanal ağlarında biri Ambari, diğeri de SSH erişimi için olmak üzere iki Özel uç nokta oluşturmanız gerekir. Ardından, bunları küme dağıtımının bir parçası olarak oluşturulan Özel bağlantı hizmetlerine bağlayın.

Özel uç noktaları oluşturmak için:

  1. Azure portalını açın ve 'Özel bağlantı' araması yapın.

  2. Sonuçlarda Özel bağlantı simgesine tıklayın.

  3. 'Özel uç nokta oluştur'a tıklayın ve Ambari özel uç noktasını ayarlamak için aşağıdaki yapılandırmaları kullanın:

    Config Değer
    Veri Akışı Adı hdi-privlink-cluster
    Kaynak türü Microsoft.Network/privateLinkServices
    Kaynak gateway-* (Bu değer kümenizin HDI dağıtım kimliğiyle eşleşmelidir, örneğin gateway-4eafe3a2a67e4cd88762c22a55fe4654)
    Sanal ağ hdi-privlink-client-vnet
    Alt ağ varsayılan

    temel Özel Bağlantı sekmesinin diyagramı.Özel Bağlantı kaynak sekmesinin diyagramı.Özel Bağlantı sanal ağ sekmesinin diyagramı.Özel Bağlantı dns uç noktası sekmesinin diyagramı.Özel Bağlantı etiketi sekmesinin diyagramı.Özel Bağlantı gözden geçirme sekmesinin diyagramı.

  4. Aşağıdaki yapılandırmaları kullanarak SSH erişimi için başka bir özel uç nokta oluşturmak üzere işlemi yineleyin:

    Config Değer
    Veri Akışı Adı hdi-privlink-cluster-ssh
    Kaynak türü Microsoft.Network/privateLinkServices
    Kaynak headnode-* (Bu değer kümenizin HDI dağıtım kimliğiyle eşleşmelidir, örneğin headnode-4eafe3a2a67e4cd88762c22a55fe4654)
    Sanal ağ hdi-privlink-client-vnet
    Alt ağ varsayılan

Önemli

KafkaRestProxy HDInsight kümesi kullanıyorsanız, Özel Uç Noktaları Etkinleştirme için bu ek adımları izleyin.

Özel uç noktalar oluşturulduktan sonra kurulumun bu aşamasıyla işiniz biter. Uç noktalara atanan özel IP adreslerini not almadıysanız aşağıdaki adımları izleyin:

  1. azure portalında istemci VNET'ini açın.
  2. 'Özel uç noktalar' sekmesine tıklayın.
  3. Hem Ambari hem de ssh Ağ arabirimlerinin listelendiğini görmeniz gerekir.
  4. Her birine tıklayın ve özel IP adresini görmek için 'DNS yapılandırması' dikey penceresine gidin.
  5. Bu IP adreslerini not edin çünkü kümeye bağlanmak ve DNS'yi düzgün yapılandırmak için gereklidir.

6. Adım: DNS’i özel uç noktalar üzerinden bağlanacak şekilde yapılandırma

Özel kümelere erişmek için, özel DNS bölgeleri aracılığıyla DNS çözümlemesini yapılandırabilirsiniz. Azure tarafından yönetilen genel DNS bölgesinde azurehdinsight.net oluşturulan Özel Bağlantı girişleri şunlardır:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Aşağıdaki görüntüde, eşlenmemiş veya kümeye doğrudan görüş çizgisi olmayan bir sanal ağdan kümeye erişimi etkinleştirmek için yapılandırılmış özel DNS girişlerinin bir örneği gösterilmektedir. Tam etki alanı adlarını (FQDN'ler) geçersiz kılmak *.privatelink.azurehdinsight.net ve istemcinin ağındaki özel uç noktaların IP adreslerini çözümlemek için bir Azure DNS özel bölgesi kullanabilirsiniz. Yapılandırma yalnızca örnekte içindir <clustername>.azurehdinsight.net , ancak diğer küme uç noktalarına da genişletilir.

Özel Bağlantı mimarisinin diyagramı.

DNS çözümlemesini Özel DNS bir bölge üzerinden yapılandırmak için:

  1. Azure Özel DNS bölgesi oluşturma. (Tüm yapılandırmaları buraya eklemeyiz, diğer tüm yapılandırmalar varsayılan değerlerde bırakılır)

    Config Değer
    Veri Akışı Adı privatelink.azurehdinsight.net

    Özel dns bölgesinin diyagramı.

  2. Ambari için Özel DNS bölgesine bir Kayıt kümesi ekleyin.

    Config Değer
    Veri Akışı Adı YourPrivateLinkClusterName
    Tür A - IPv4 adresine diğer ad kaydı
    TTL 1
    TTL birimi Saat
    IP Adresi Ambari erişimi için özel uç noktanın özel IP'si

    Özel dns bölgesi kayıt ekleme diyagramı.

  3. SSH için Özel DNS bölgesine bir Kayıt kümesi ekleyin.

    Config Değer
    Veri Akışı Adı YourPrivateLinkClusterName-ssh
    Tür A - IPv4 adresine diğer ad kaydı
    TTL 1
    TTL birimi Saat
    IP Adresi SSH erişimi için özel uç noktanın özel IP'si

    Özel bağlantı dns bölgesi ekleme ssh kaydının diyagramı.

Önemli

KafkaRestProxy HDInsight kümesi kullanıyorsanız, DNS'yi özel uç nokta üzerinden bağlanacak şekilde yapılandırma için bu ek adımları izleyin.

  1. bir Sanal Ağ Bağlantısı ekleyerek özel DNS bölgesini istemci sanal ağıyla ilişkilendirin.

    1. Azure portalında özel DNS bölgesini açın.
    2. 'Sanal ağ bağlantıları' sekmesine tıklayın.
    3. 'Ekle' düğmesine tıklayın.
    4. Ayrıntıları doldurun: Bağlantı adı, Abonelik ve Sanal Ağ (istemci sanal ağınız)
    5. Kaydet'e tıklayın.

    Sanal ağ bağlantısı diyagramı.

7. Adım: Küme bağlantısını denetleme

Son adım, küme bağlantısını test etmektir. Bu küme yalıtılmış veya özel olduğundan, genel IP veya FQDN kullanarak kümeye erişemiyoruz. Bunun yerine birkaç seçeneğimiz vardır:

  • Şirket içi ağınızdan istemci sanal ağına VPN erişimini ayarlama
  • İstemci sanal ağından vm dağıtma ve bu VM'den kümeye erişme

Bu örnekte, bağlantıyı test etmek için aşağıdaki yapılandırmayı kullanarak istemci VNET'ine bir VM dağıtacağız.

Config Değer
Virtual machine name hdi-privlink-client-vm
Görsel Windows 10 Pro, Sürüm 2004 - 1. Nesil
Genel gelen bağlantı noktaları Seçili bağlantı noktalarına izin ver
Gelen bağlantı noktalarını seçin RDP (3389)
Uygun bir Windows 10 lisansım olduğunu onayliyorum... Checked
Sanal ağ hdi-privlink-client-vnet
Alt ağ varsayılan

İstemci VM dağıtıldıktan sonra hem Ambari hem de SSH erişimini test edebilirsiniz.

Ambari erişimini test etmek için:

  1. VM'de bir web tarayıcısı açın.
  2. Kümenizin normal FQDN'sine gidin: https://<clustername>.azurehdinsight.net
  3. Ambari kullanıcı arabirimi yüklenirse, Ambari erişimi için yapılandırma doğrudur.

Ssh erişimini test etmek için:

  1. Terminal penceresi almak için bir komut istemi açın.
  2. Terminal penceresinde kümenize SSH ile bağlanmayı deneyin: ssh sshuser@<clustername>.azurehdinsight.net ("sshuser" yerine kümeniz için oluşturduğunuz ssh kullanıcısını yazın)
  3. Bağlanabiliyorsanız SSH erişimi için yapılandırma doğrudur.

HDInsight için özel uç noktaları yönetme

Sanal ağdaki istemcilerin kümenize Özel Bağlantı üzerinden güvenli bir şekilde erişmesine izin vermek için Azure HDInsight kümeleriniz için özel uç noktaları kullanabilirsiniz. Sanal ağdaki istemciler ile HDInsight kümesi arasındaki ağ trafiği Microsoft omurga ağı üzerinden geçiş yaparak genel İnternet'ten etkilenmeyi ortadan kaldırır.

Özel uç nokta yönetimi deneyiminin diyagramı.

Özel Bağlantı hizmet tüketicisi (örneğin, Azure Data Factory) iki bağlantı onay yöntemi arasından seçim yapabilir:

  • Otomatik: Hizmet tüketicisinin HDInsight kaynağında Azure rol tabanlı erişim denetimi (RBAC) izinleri varsa, tüketici otomatik onay yöntemini seçebilir. Bu durumda, istek HDInsight kaynağına ulaştığında HDInsight kaynağından herhangi bir eylem gerekmez ve bağlantı otomatik olarak onaylanır.
  • El ile: Hizmet tüketicisinin HDInsight kaynağı üzerinde Azure RBAC izinleri yoksa, tüketici el ile onay yöntemini seçebilir. Bu durumda, bağlantı isteği HDInsight kaynaklarında Beklemede olarak görünür. Bağlantıların kurulabilmesi için HDInsight kaynağının isteği el ile onaylaması gerekir.

Özel uç noktaları yönetmek için Azure portalındaki küme görünümünüzde Güvenlik + Ağ altındaki Ağ bölümüne gidin. Burada tüm mevcut bağlantıları, bağlantı durumlarını ve özel uç nokta ayrıntılarını görebilirsiniz.

Ayrıca mevcut bağlantıları onaylayabilir, reddedebilir veya kaldırabilirsiniz. Özel bağlantı oluşturduğunuzda, hangi HDInsight alt kaynağına (örneğin ağ geçidi veya baş düğüm) bağlanmak istediğinizi belirtebilirsiniz.

Aşağıdaki tabloda çeşitli HDInsight kaynak eylemleri ve özel uç noktalar için sonuçta elde edilen bağlantı durumları gösterilmektedir. HDInsight kaynağı, tüketici müdahalesi olmadan daha sonra özel uç nokta bağlantısının bağlantı durumunu da değiştirebilir. Eylem, tüketici tarafında uç noktanın durumunu güncelleştirir.

Hizmet sağlayıcısı eylemi Hizmet tüketicisi özel uç nokta durumu Açıklama
Hiçbiri Beklemede Bağlan el ile oluşturulur ve Özel Bağlantı kaynak sahibi tarafından onay bekliyor.
Onayla Onaylandı Bağlan otomatik olarak veya el ile onaylanmıştır ve kullanılmaya hazırdır.
Reddet Reddedildi Bağlan, Özel Bağlantı kaynak sahibi tarafından reddedildi.
Kaldır Bağlantı kesildi Bağlan, Özel Bağlantı kaynak sahibi tarafından kaldırıldı. Özel uç nokta bilgilendirici hale gelir ve temizleme için silinmesi gerekir.

Sonraki adımlar