Özel Bağlantı ile Azure HDInsight kümelerini güvenli hale sağlama ve yalıtma (önizleme)

Varsayılan Azure HDInsight mimarisindeHDInsight kaynak sağlayıcısı (RP), genel IP adreslerini kullanarak kümeyle iletişim kurar. Bazı senaryolar genel IP adreslerinin kullanımına gerek yoktur ve tam ağ yalıtımı gerektirir. Bu makalede, özel HDInsight kümesi oluşturmak için kullanabileceğiniz gelişmiş denetimler hakkında bilgi bulabilirsiniz. Tam ağ yalıtımı olmadan kümenize gelen ve kümeden gelen trafiği kısıtlama hakkında bilgi için bkz. Ağ trafiğiniAzure HDInsight.

Özel HDInsight kümeleri oluşturmak için bir Azure Resource Manager (ARM) şablonunda belirli ağ özelliklerini yapılandırabilirsiniz. Özel HDInsight kümeleri oluşturmak için kullanabileceğiniz iki özellik vardır:

  • Giden olarak ayarerek genel IP resourceProviderConnection adreslerini kaldırın.
  • Özel Azure Özel Bağlantı'yi etkinleştirin ve etkin olarak ayarerek Özel Uç privateLink Noktaları kullanın.

Genel IP adreslerini kaldırma

HdInsight RP varsayılan olarak genel IP'leri kullanarak kümeye gelen bir bağlantı kullanır. Ağ özelliği giden olarak ayarlanırsa, bağlantıların her zaman kümenin içinden RP'ye kadar başlatılmalarını için resourceProviderConnection HDInsight RP bağlantılarını tersine çevrilir. Gelen bağlantı olmadan, gelen hizmet etiketlerine veya genel IP adreslerine gerek yoktur.

Varsayılan sanal ağ mimarisinde kullanılan temel yük dengeciler, HDInsight RP gibi gerekli giden bağımlılıklara erişmek için otomatik olarak genel NAT (ağ adresi çevirisi) sağlar. Genel İnternet'e giden bağlantıları kısıtlamak için bir güvenlik duvarı yapılandırabilirsinizancak bu bir gereksinim değildir.

Giden olarak yapılandırmak, özel uç noktaları kullanarak Azure Data Lake Depolama 2. Nesil veya dış meta veri deposu gibi kümeye resourceProviderConnection özgü kaynaklara erişmeye de olanak sağlar. Bu kaynaklar için özel uç noktaları kullanmak zorunlu değildir, ancak bu kaynaklar için özel uç noktalar kullanmayı planlıyorsanız HDInsight kümesi oluşturmak için özel uç noktaları ve DNS before girişlerini yapılandırmanız gerekir. Küme oluşturma zamanında Apache Ranger, Ambari, Oozie ve Hive meta veri deposu gibi ihtiyacınız olan tüm dış SQL veritabanları oluşturmanızı ve sağlamanızı öneririz. Gerekli olan, tüm bu kaynakların küme alt ağı içinden, kendi özel uç noktası aracılığıyla veya başka bir şekilde erişilebilir olmasıdır.

Özel Uç Nokta üzerinden Azure Data Lake Depolama 2. Nesil'e bağlanırken, 2. Nesil depolama hesabında hem 'blob' hem de 'dfs' için bir uç nokta ayarlanmış olduğundan emin olun. Daha fazla bilgi için bkz. Özel Uç Nokta Oluşturma.

Aşağıdaki diyagramda, giden olarak ayarlanmış olası bir HDInsight sanal ağ resourceProviderConnection mimarisinin nasıl görünür olduğu gösterir:

Giden kaynak sağlayıcısı bağlantısı kullanan HDInsight mimarisinin diyagramı

Kümenizi oluşturdukta düzgün DNS çözümlemesi ayarlayabilirsiniz. Azure tarafından yönetilen Genel DNS Bölgesinde aşağıdaki kurallı ad DNS kaydı (CNAME) oluşturulur: azurehdinsight.net .

<clustername>    CNAME    <clustername>-int

Küme FQDN'lerini kullanarak kümeye erişmek için doğrudan iç yük dengeleyici özel IP'lerini kullanabilir veya kendi Özel DNS Bölgenizi kullanarak küme uç noktalarını ihtiyaçlarınıza uygun şekilde geçersiz kılabilirsiniz. Örneğin, bir Özel DNS Zone, azurehdinsight.net olabilir. ve gerektiğinde özel IP'lerinizi ekleyin:

<clustername>        A   10.0.0.1
<clustername-ssh>    A   10.0.0.2

Varsayılan olarak devre dışı bırakılmış olan Özel Bağlantı, bir küme oluşturmadan önce Kullanıcı Tanımlı Yollar (UDR) ve güvenlik duvarı kurallarını düzgün bir şekilde ayarlamaya için kapsamlı ağ bilgisi gerektirir. Bu ayarın kullanımı isteğe bağlıdır, ancak yalnızca ağ özelliği önceki bölümde açıklandığı resourceProviderConnection gibi giden olarak ayarlanırken kullanılabilir.

etkinleştirildi privateLink olarak ayarlanırsa,standart yük dengeciler (SLB) oluşturulur ve her SLB için bir Azure Özel Bağlantı Hizmeti hazırlar. Özel Bağlantı Hizmeti, HDInsight kümesine özel uç noktalardan erişmeye olanak sağlar.

Standart yük dengeciler, temel yük dengeleyciler gibi genel giden NAT'yi otomatik olarak sağlamaz. Giden bağımlılıklar için bir güvenlik duvarı veya Sanal Ağ Adres Çevirisi gibi kendiNAT çözümlerinizi sağlamalısınız. HDInsight kümenizin yine de giden bağımlılıklarına erişmesi gerekir. Bu giden bağımlılıklara izin verilmezse küme oluşturma işlemi başarısız olabilir.

Ortamınızı hazırlama

Özel bağlantı hizmetlerinin başarıyla oluşturulması için, özel bağlantı hizmeti için ağ ilkelerini açıkça devre dışı bırakmanız gerekir.

Aşağıdaki diyagramda, bir küme oluşturmadan önce gereken ağ yapılandırmasının bir örneği gösterir. Bu örnekte, tüm giden trafik UDR Azure Güvenlik Duvarı zorlamalı ve küme oluşturmadan önce güvenlik duvarında gerekli giden bağımlılıklara "izin ver" olmalıdır. Güvenlik Enterprise kümeleri için Sanal Ağ eşlemesi Azure Active Directory Etki Alanı Hizmetleri'ne ağ bağlantısı sağlanmalıdır.

Küme oluşturmadan önce özel bağlantı ortamı diyagramı

Ağı oluşturduktan sonra, aşağıdaki şekilde gösterildiği gibi giden kaynak sağlayıcısı bağlantısı ve özel bağlantı etkin bir küme oluşturabilirsiniz. Bu yapılandırmada, hiçbir genel IP yoktur ve her standart yük dengeleyici için Özel Bağlantı Hizmeti sağlandı.

Küme oluşturma sonrasında özel bağlantı ortamı diyagramı

Özel kümeye erişme

Özel kümelere erişmek için doğrudan iç yük dengeleyici özel IP'lerini veya Özel Bağlantı DNS uzantılarını ve Özel Uç Noktaları kullanabilirsiniz. Ayar etkin privateLink olarak ayarlanırsa kendi özel uç noktalarınızı oluşturabilir ve özel DNS bölgeleri aracılığıyla DNS çözümlemesi yapılandırabilirsiniz.

Azure tarafından yönetilen Genel DNS Bölgesinde oluşturulan Özel Bağlantı girişleri azurehdinsight.net aşağıdaki gibidir:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Aşağıdaki görüntüde, eşlenmiş olmayan veya küme yük dengeleyenlere doğrudan bir görüş çizgisi olmayan bir sanal ağdan kümeye erişmek için gereken özel DNS girişlerinin bir örneği yer almaktadır. FQDN'leri geçersiz kılmak ve kendi özel uç noktalarınız IP adreslerine çözümlemek için Azure *.privatelink.azurehdinsight.net Özel Bölge'yi kullanabilirsiniz.

Özel bağlantı mimarisi diyagramı

Kümeler Nasıl Oluşturulsun?

ARM şablonu özelliklerini kullanma

Aşağıdaki JSON kod parçacığı, özel bir HDInsight kümesi oluşturmak için ARM şablonunda yapılandırmanız gereken iki ağ özelliği içerir.

networkProperties: {
    "resourceProviderConnection": "Inbound" | "Outbound",
    "privateLink": "Enabled" | "Disabled"
}

Özel Bağlantı dahil olmak üzere birçok HDInsight kurumsal güvenlik özelliğine sahip eksiksiz bir şablon için bkz. HDInsight kurumsal güvenlik şablonu.

Azure PowerShell kullanma

PowerShell'i kullanmak için buradaki örneğine bakın.

Azure CLI kullanma

Azure CLI'sini kullanmak için buradaki örneğine bakın.

Sonraki adımlar