Plánování virtuální sítě pro Azure HDInsight

Tento článek poskytuje základní informace o používání Azure Virtual Networks (virtuální sítě) se službou Azure HDInsight. Popisuje také rozhodnutí o návrhu a implementaci, která je nutné provést předtím, než budete moci implementovat virtuální síť pro cluster HDInsight. Po dokončení fáze plánování můžete pokračovat v vytváření virtuálních sítí pro clustery Azure HDInsight. Další informace o IP adresách pro správu HDInsight, které jsou potřeba ke správné konfiguraci skupin zabezpečení sítě (skupin zabezpečení sítě) a uživatelem definovaných tras, najdete v článku IP adresy správy HDInsight.

Použití Azure Virtual Network umožňuje následující scénáře:

• Připojení ke službě HDInsight přímo z místní sítě.
• Připojení HDInsight k úložištím dat ve službě Azure Virtual Network.
• Přímý přístup k Apache Hadoop službám, které nejsou veřejně dostupné po internetu. Například Apache Kafka rozhraní API nebo rozhraní Apache HBA Java API.

Plánování

V následující části najdete otázky, které je potřeba zodpovědět při plánování instalace HDInsight ve virtuální síti:

• Potřebujete nainstalovat HDInsight do existující virtuální sítě? Nebo vytváříte novou síť?

  Pokud používáte existující virtuální síť, možná budete muset před instalací HDInsight změnit konfiguraci sítě. Další informace najdete v části Přidání HDInsight do existující virtuální sítě .

• Chcete připojit virtuální síť obsahující HDInsight k jiné virtuální síti nebo místní síti?

  Abyste mohli snadno pracovat s prostředky napříč sítěmi, možná budete muset vytvořit vlastní DNS a nakonfigurovat předávání DNS. Další informace najdete v části připojení více sítí .

• Chcete omezit nebo přesměrovat příchozí nebo odchozí provoz do HDInsight?

  HDInsight musí mít neomezenou komunikaci s konkrétními IP adresami v datovém centru Azure. K dispozici je také několik portů, které musí být povoleny prostřednictvím brány firewall pro komunikaci s klienty. Další informace najdete v tématu řízení síťového provozu.

Přidání HDInsight do existující virtuální sítě

Pomocí kroků v této části zjistíte, jak přidat novou službu HDInsight do existující Virtual Network Azure.

1. Používáte pro virtuální síť model nasazení Classic nebo Správce prostředků?

   HDInsight 3,4 a vyšší vyžaduje Správce prostředků virtuální síť. Starší verze HDInsight vyžadovaly klasickou virtuální síť.

   Pokud je vaše stávající síť klasickou virtuální sítí, musíte vytvořit Správce prostředků virtuální síť a pak tyto dvě připojit. Připojení klasického virtuální sítě k novému virtuální sítě.

   Po připojení může HDInsight nainstalovaná v Správce prostředků síti pracovat s prostředky v klasické síti.

2. Používáte skupiny zabezpečení sítě, trasy definované uživatelem nebo zařízení Virtual Network pro omezení provozu do nebo z virtuální sítě?

   Jako spravovaná služba HDInsight vyžaduje neomezený přístup k několika IP adresám v datovém centru Azure. Pokud chcete komunikaci s těmito IP adresami dovolit, aktualizujte všechny existující skupiny zabezpečení sítě nebo trasy definované uživatelem.

   Služba HDInsight hostuje několik služeb, které používají různé porty. Neblokujte provoz na tyto porty. Seznam portů, které mají být povoleny prostřednictvím bran firewall pro virtuální zařízení, naleznete v části zabezpečení.

   Pokud chcete najít stávající konfiguraci zabezpečení, použijte následující Azure PowerShell nebo příkazy rozhraní příkazového řádku Azure CLI:

   • Skupiny zabezpečení sítě

     Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a pak zadejte příkaz:

     Get-AzNetworkSecurityGroup -ResourceGroupName  "RESOURCEGROUP"
     

     az network nsg list --resource-group RESOURCEGROUP
     

     Další informace najdete v dokumentu Poradce při potížích se skupinami zabezpečení sítě .

     Důležité

     Pravidla skupiny zabezpečení sítě se aplikují v pořadí podle priority pravidla. Použije se první pravidlo, které odpovídá vzoru provozu, a pro tento provoz se neuplatní žádné další. Seřazení pravidel z nejvyšší moci až po nejméně povolující. Další informace najdete v dokumentu filtrování provozu sítě s použitím skupin zabezpečení sítě .

   • Trasy definované uživatelem

     Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a pak zadejte příkaz:

     Get-AzRouteTable -ResourceGroupName "RESOURCEGROUP"
     

     az network route-table list --resource-group RESOURCEGROUP
     

     Další informace najdete v dokumentu věnovaném řešení potíží s trasami .

3. Vytvořte cluster HDInsight a během konfigurace vyberte Azure Virtual Network. Pro pochopení procesu vytváření clusteru použijte postup v následujících dokumentech:

   • Vytvoření HDInsight pomocí webu Azure Portal
   • Vytvoření HDInsight pomocí Azure PowerShellu
   • Vytvoření HDInsight pomocí klasického rozhraní příkazového řádku Azure
   • Vytvoření HDInsight pomocí šablony Azure Resource Manager

   Důležité

   Přidání služby HDInsight do virtuální sítě je volitelný krok konfigurace. Nezapomeňte při konfiguraci clusteru vybrat virtuální síť.

Propojení více sítí

Největší výzvou při konfiguraci více sítí je překlad názvů mezi sítěmi.

Azure poskytuje překlad adres IP pro služby Azure, které jsou nainstalované ve virtuální síti. Tento integrovaný překlad ip adres umožňuje službě HDInsight připojit se k následujícím prostředkům pomocí plně kvalifikovaného názvu domény (FQDN):

• Libovolný prostředek, který je k dispozici na internetu. Například microsoft.com windowsupdate.com.

• Jakýkoli prostředek, který je ve Virtual Network Azure, pomocí interního názvu DNS prostředku. Při použití výchozího překladu názvů jsou například následující příklady interních názvů DNS přiřazených pracovním uzlům HDInsight:

  • <workername1>.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net

  • <workername2>.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net

    Oba tyto uzly mohou komunikovat přímo mezi sebou a dalšími uzly v HDInsight pomocí interních názvů DNS.

Výchozí překlad názvů neumožňuje službě HDInsight přeložit názvy prostředků v sítích, které jsou připojené k virtuální síti. Například je běžné připojit místní síť k virtuální síti. Pouze s výchozím překladem názvů nemůže HDInsight přistupovat k prostředkům v místní síti podle názvu. Opačně platí také to, že prostředky ve vaší místní síti nezískaly přístup k prostředkům ve virtuální síti podle názvu.

Pokud chcete povolit překlad adres IP mezi virtuální sítí a prostředky v připojených sítích, musíte provést následující akce:

1. Vytvořte vlastní server DNS ve službě Azure Virtual Network, kam plánujete nainstalovat HDInsight.

2. Nakonfigurujte virtuální síť pro použití vlastního serveru DNS.

3. Vyhledejte příponu DNS přiřazenou Azure pro vaši virtuální síť. Tato hodnota je podobná hodnotě 0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net . Informace o tom, jak najít příponu DNS, najdete v části Příklad: Vlastní DNS.

4. Nakonfigurujte předávání mezi servery DNS. Konfigurace závisí na typu vzdálené sítě.

   • Pokud je vzdálená síť místní síť, nakonfigurujte DNS následujícím způsobem:

     • Vlastní DNS (ve virtuální síti):

       • Předávat požadavky na příponu DNS virtuální sítě do rekurzivního překladače Azure (168.63.129.16). Azure zpracovává žádosti o prostředky ve virtuální síti.

       • Všechny ostatní požadavky předáte místnímu serveru DNS. Místní DNS zpracovává všechny ostatní žádosti o překlad adres IP, a to i požadavky na internetové prostředky, jako je Microsoft.com.

     • Místní DNS: Žádosti o příponu DNS virtuální sítě předáte vlastnímu serveru DNS. Vlastní server DNS se pak předá rekurzivnímu překladači Azure.

       Tato konfigurace směruje požadavky na plně kvalifikované názvy domén, které obsahují příponu DNS virtuální sítě, na vlastní server DNS. Všechny ostatní požadavky (i pro veřejné internetové adresy) zpracovává místní server DNS.

   • Pokud je vzdálená síť jinou službou Azure Virtual Network, nakonfigurujte DNS následujícím způsobem:

     • Vlastní DNS (v každé virtuální síti):

       • Požadavky na příponu DNS virtuálních sítí se předá vlastním serverům DNS. DNS v každé virtuální síti zodpovídá za překlad prostředků v rámci své sítě.

       • Přeposílání všech ostatních požadavků do rekurzivního překladače Azure. Rekurzivní překladač zodpovídá za překlad místních a internetových prostředků.

       Server DNS pro každou síť předávají požadavky do druhé na základě přípony DNS. Další požadavky jsou vyřešeny pomocí rekurzivního překladače Azure.

     Příklad každé konfigurace najdete v části Příklad: vlastní DNS .

Další informace najdete v dokumentu překlad názvů pro virtuální počítače a instance rolí .

Přímé připojení k Apache Hadoop službám

Ke clusteru se můžete připojit na adrese https://CLUSTERNAME.azurehdinsight.net . Tato adresa používá veřejnou IP adresu, která může být dosažitelná, pokud jste použili skupin zabezpečení sítě k omezení příchozího provozu z Internetu. Navíc platí, že když nasadíte cluster ve virtuální síti, můžete k němu přistupovat pomocí privátního koncového bodu https://CLUSTERNAME-int.azurehdinsight.net . Tento koncový bod se překládá na privátní IP adresu uvnitř virtuální sítě pro přístup k clusteru.

Pokud se chcete připojit k Apache Ambari a dalším webovým stránkám prostřednictvím virtuální sítě, použijte následující postup:

1. Pokud chcete zjistit interní plně kvalifikované názvy domény (FQDN) uzlů clusteru HDInsight, použijte jednu z následujících metod:

   Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a pak zadejte příkaz:

   $clusterNICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP" | where-object {$_.Name -like "*node*"}
   
   $nodes = @()
   foreach($nic in $clusterNICs) {
       $node = new-object System.Object
       $node | add-member -MemberType NoteProperty -name "Type" -value $nic.Name.Split('-')[1]
       $node | add-member -MemberType NoteProperty -name "InternalIP" -value $nic.IpConfigurations.PrivateIpAddress
       $node | add-member -MemberType NoteProperty -name "InternalFQDN" -value $nic.DnsSettings.InternalFqdn
       $nodes += $node
   }
   $nodes | sort-object Type
   

   az network nic list --resource-group RESOURCEGROUP --output table --query "[?contains(name,'node')].{NICname:name,InternalIP:ipConfigurations[0].privateIpAddress,InternalFQDN:dnsSettings.internalFqdn}"
   

   V seznamu vrácených uzlů Najděte plně kvalifikovaný název domény pro hlavní uzly a pomocí plně kvalifikovaných názvů domény se připojte k Ambari a dalším webovým službám. Použijte například http://<headnode-fqdn>:8080 pro přístup k Ambari.

   Důležité

   Některé služby hostované v hlavních uzlech jsou aktivní jenom na jednom uzlu. Pokud se pokusíte o přístup ke službě na jednom hlavním uzlu a vrátí se chyba 404, přepněte na jiný hlavní uzel.

2. Chcete-li určit uzel a port, na kterém je služba k dispozici, přečtěte si porty používané službou Hadoop v dokumentu HDInsight .

Vyrovnávání zatížení

Při vytváření clusteru HDInsight se vytvoří taky Nástroj pro vyrovnávání zatížení. Typ tohoto nástroje pro vyrovnávání zatížení je na základní úrovni SKU, která má určitá omezení. Jedním z těchto omezení je, že pokud máte dvě virtuální sítě v různých oblastech, nemůžete se připojit k základním nástrojům pro vyrovnávání zatížení. Další informace najdete v nejčastějších dotazech k virtuálním sítím:omezení globálního partnerského vztahu virtuálních sítí.

Další kroky

• Ukázky kódu a příklady vytváření virtuálních sítí Azure najdete v tématu Vytvoření virtuálních sítí pro Azure HDInsight clustery.
• Koncový příklad konfigurace služby HDInsight pro připojení k místní síti najdete v tématu Připojení HDInsight k místní síti.
• Další informace o virtuálních sítích Azure najdete v tématu Přehled Virtual Network Azure.
• Další informace o skupinách zabezpečení sítě najdete v tématu Skupiny zabezpečení sítě.
• Další informace o trasách definovaných uživatelem najdete v tématu Trasy definované uživatelem a Předávání IP.
• Další informace o řízení provozu, včetně integrace brány firewall, najdete v tématu Řízení síťového provozu.