Share via

Vytváření virtuálních sítí pro clustery Azure HDInsight

  • Článek

Tento článek obsahuje příklady a ukázky kódu pro vytváření a konfiguraci virtuálních sítí Azure. Použití s clustery Azure HDInsight. Jsou uvedeny podrobné příklady vytváření skupin zabezpečení sítě (NSG) a konfigurace DNS.

Základní informace o používání virtuálních sítí se službou Azure HDInsight najdete v tématu Plánování virtuální sítě pro Azure HDInsight.

Požadavky pro ukázky a příklady kódu

Před spuštěním některého z ukázek kódu v tomto článku se porozumejte sítím TCP/IP. Pokud nejste obeznámeni se sítěmi TCP/IP, před úpravami produkčních sítí se s někým poraďte.

Mezi další požadavky pro ukázky v tomto článku patří následující položky:

Důležité

Pokud hledáte podrobné pokyny k připojení SLUŽBY HDInsight k místní síti pomocí azure Virtual Network, projděte si dokument Připojení HDInsight k místní síti.

Příklad: Skupiny zabezpečení sítě se službou HDInsight

Příklady v této části ukazují, jak vytvořit pravidla skupin zabezpečení sítě. Pravidla umožňují službě HDInsight komunikovat se službami pro správu Azure. Než použijete příklady, upravte IP adresy tak, aby odpovídaly ip adresě pro oblast Azure, kterou používáte. Tyto informace najdete v části IP adresy pro správu HDInsight.

Šablona Azure Resource Manageru

Následující šablona Resource Manager vytvoří virtuální síť, která omezuje příchozí provoz, ale umožňuje provoz z IP adres požadovaných službou HDInsight. Tato šablona také vytvoří cluster HDInsight ve virtuální síti.

Azure PowerShell

Pomocí následujícího skriptu PowerShellu vytvořte virtuální síť, která omezí příchozí provoz a povolí provoz z IP adres pro oblast Severní Evropa.

Důležité

Změňte IP adresy pro hdirule1 a hdirule2 v tomto příkladu tak, aby odpovídaly oblasti Azure, kterou používáte. Tyto informace najdete v IP adresách pro správu HDInsight.

$vnetName = "Replace with your virtual network name"
$resourceGroupName = "Replace with the resource group the virtual network is in"
$subnetName = "Replace with the name of the subnet that you plan to use for HDInsight"

# Get the Virtual Network object
$vnet = Get-AzVirtualNetwork `
    -Name $vnetName `
    -ResourceGroupName $resourceGroupName

# Get the region the Virtual network is in.
$location = $vnet.Location

# Get the subnet object
$subnet = $vnet.Subnets | Where-Object Name -eq $subnetName

# Create a Network Security Group.
# And add exemptions for the HDInsight health and management services.
$nsg = New-AzNetworkSecurityGroup `
    -Name "hdisecure" `
    -ResourceGroupName $resourceGroupName `
    -Location $location `
    | Add-AzNetworkSecurityRuleConfig `
        -name "hdirule1" `
        -Description "HDI health and management address 52.164.210.96" `
        -Protocol "*" `
        -SourcePortRange "*" `
        -DestinationPortRange "443" `
        -SourceAddressPrefix "52.164.210.96" `
        -DestinationAddressPrefix "VirtualNetwork" `
        -Access Allow `
        -Priority 300 `
        -Direction Inbound `
    | Add-AzNetworkSecurityRuleConfig `
        -Name "hdirule2" `
        -Description "HDI health and management 13.74.153.132" `
        -Protocol "*" `
        -SourcePortRange "*" `
        -DestinationPortRange "443" `
        -SourceAddressPrefix "13.74.153.132" `
        -DestinationAddressPrefix "VirtualNetwork" `
        -Access Allow `
        -Priority 301 `
        -Direction Inbound `
    | Add-AzNetworkSecurityRuleConfig `
        -Name "hdirule3" `
        -Description "HDI health and management 168.61.49.99" `
        -Protocol "*" `
        -SourcePortRange "*" `
        -DestinationPortRange "443" `
        -SourceAddressPrefix "168.61.49.99" `
        -DestinationAddressPrefix "VirtualNetwork" `
        -Access Allow `
        -Priority 302 `
        -Direction Inbound `
    | Add-AzNetworkSecurityRuleConfig `
        -Name "hdirule4" `
        -Description "HDI health and management 23.99.5.239" `
        -Protocol "*" `
        -SourcePortRange "*" `
        -DestinationPortRange "443" `
        -SourceAddressPrefix "23.99.5.239" `
        -DestinationAddressPrefix "VirtualNetwork" `
        -Access Allow `
        -Priority 303 `
        -Direction Inbound `
    | Add-AzNetworkSecurityRuleConfig `
        -Name "hdirule5" `
        -Description "HDI health and management 168.61.48.131" `
        -Protocol "*" `
        -SourcePortRange "*" `
        -DestinationPortRange "443" `
        -SourceAddressPrefix "168.61.48.131" `
        -DestinationAddressPrefix "VirtualNetwork" `
        -Access Allow `
        -Priority 304 `
        -Direction Inbound `
    | Add-AzNetworkSecurityRuleConfig `
        -Name "hdirule6" `
        -Description "HDI health and management 138.91.141.162" `
        -Protocol "*" `
        -SourcePortRange "*" `
        -DestinationPortRange "443" `
        -SourceAddressPrefix "138.91.141.162" `
        -DestinationAddressPrefix "VirtualNetwork" `
        -Access Allow `
        -Priority 305 `
        -Direction Inbound `

# Set the changes to the security group
Set-AzNetworkSecurityGroup -NetworkSecurityGroup $nsg

# Apply the NSG to the subnet
Set-AzVirtualNetworkSubnetConfig `
    -VirtualNetwork $vnet `
    -Name $subnetName `
    -AddressPrefix $subnet.AddressPrefix `
    -NetworkSecurityGroup $nsg
$vnet | Set-AzVirtualNetwork

Tento příklad ukazuje, jak přidat pravidla pro povolení příchozího provozu na požadovaných IP adresách. Neobsahuje pravidlo pro omezení příchozího přístupu z jiných zdrojů. Následující kód ukazuje, jak povolit přístup SSH z internetu:

Get-AzNetworkSecurityGroup -Name hdisecure -ResourceGroupName RESOURCEGROUP |
Add-AzNetworkSecurityRuleConfig -Name "SSH" -Description "SSH" -Protocol "*" -SourcePortRange "*" -DestinationPortRange "22" -SourceAddressPrefix "*" -DestinationAddressPrefix "VirtualNetwork" -Access Allow -Priority 306 -Direction Inbound

Azure CLI

Pomocí následujícího postupu vytvořte virtuální síť, která omezuje příchozí provoz, ale povoluje provoz z IP adres požadovaných službou HDInsight.

  1. Pomocí následujícího příkazu vytvořte novou skupinu zabezpečení sítě s názvem hdisecure. Nahraďte RESOURCEGROUP skupinou prostředků, která obsahuje azure Virtual Network. Nahraďte LOCATION umístěním (oblastí), ve které byla skupina vytvořená.

    az network nsg create -g RESOURCEGROUP -n hdisecure -l LOCATION

    Po vytvoření skupiny obdržíte informace o nové skupině.

  2. Pomocí následujícího příkazu přidejte do nové skupiny zabezpečení sítě pravidla, která umožňují příchozí komunikaci na portu 443 ze služby pro správu a stav Azure HDInsight. Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje azure Virtual Network.

    Důležité

    Změňte IP adresy pro hdirule1 a hdirule2 v tomto příkladu tak, aby odpovídaly oblasti Azure, kterou používáte. Tyto informace najdete v části IP adresy pro správu HDInsight.

    az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n hdirule1 --protocol "*" --source-port-range "*" --destination-port-range "443" --source-address-prefix "52.164.210.96" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 300 --direction "Inbound"
az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n hdirule2 --protocol "*" --source-port-range "*" --destination-port-range "443" --source-address-prefix "13.74.153.132" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 301 --direction "Inbound"
az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n hdirule3 --protocol "*" --source-port-range "*" --destination-port-range "443" --source-address-prefix "168.61.49.99" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 302 --direction "Inbound"
az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n hdirule4 --protocol "*" --source-port-range "*" --destination-port-range "443" --source-address-prefix "23.99.5.239" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 303 --direction "Inbound"
az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n hdirule5 --protocol "*" --source-port-range "*" --destination-port-range "443" --source-address-prefix "168.61.48.131" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 304 --direction "Inbound"
az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n hdirule6 --protocol "*" --source-port-range "*" --destination-port-range "443" --source-address-prefix "138.91.141.162" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 305 --direction "Inbound"

  3. Pokud chcete načíst jedinečný identifikátor pro tuto skupinu zabezpečení sítě, použijte následující příkaz:

    az network nsg show -g RESOURCEGROUP -n hdisecure --query "id"

    Tento příkaz vrátí hodnotu podobnou následujícímu textu:

    "/subscriptions/SUBSCRIPTIONID/resourceGroups/RESOURCEGROUP/providers/Microsoft.Network/networkSecurityGroups/hdisecure"

  4. Pomocí následujícího příkazu použijte skupinu zabezpečení sítě pro podsíť. GUID Nahraďte hodnoty a RESOURCEGROUP hodnotami vrácenými z předchozího kroku. Nahraďte VNETNAME a SUBNETNAME názvem virtuální sítě a podsítě, které chcete vytvořit.

    az network vnet subnet update -g RESOURCEGROUP --vnet-name VNETNAME --name SUBNETNAME --set networkSecurityGroup.id="/subscriptions/GUID/resourceGroups/RESOURCEGROUP/providers/Microsoft.Network/networkSecurityGroups/hdisecure"

    Po dokončení tohoto příkazu můžete do Virtual Network nainstalovat HDInsight.

Tyto kroky otevřou přístup pouze ke službě stavu a správy HDInsight v cloudu Azure. Veškerý jiný přístup ke clusteru HDInsight mimo Virtual Network je blokovaný. Pokud chcete povolit přístup mimo virtuální síť, musíte přidat další pravidla skupiny zabezpečení sítě.

Následující kód ukazuje, jak povolit přístup SSH z internetu:

az network nsg rule create -g RESOURCEGROUP --nsg-name hdisecure -n ssh --protocol "*" --source-port-range "*" --destination-port-range "22" --source-address-prefix "*" --destination-address-prefix "VirtualNetwork" --access "Allow" --priority 306 --direction "Inbound"

Příklad: Konfigurace DNS

Překlad názvů mezi virtuální sítí a připojenou místní sítí

V tomto příkladu jsou následující předpoklady:

  • Máte Virtual Network Azure, která je připojená k místní síti pomocí brány VPN.

  • Vlastní server DNS ve virtuální síti používá jako operační systém Linux nebo Unix.

  • Vazba je nainstalovaná na vlastním serveru DNS.

Na vlastním serveru DNS ve virtuální síti:

  1. K vyhledání přípony DNS virtuální sítě použijte Azure PowerShell nebo Azure CLI:

    Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a zadejte příkaz:

    $NICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP"
$NICs[0].DnsSettings.InternalDomainNameSuffix

    az network nic list --resource-group RESOURCEGROUP --query "[0].dnsSettings.internalDomainNameSuffix"

  2. Na vlastním serveru DNS pro virtuální síť použijte jako obsah /etc/bind/named.conf.local souboru následující text:

    // Forward requests for the virtual network suffix to Azure recursive resolver
zone "0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net" {
    type forward;
    forwarders {168.63.129.16;}; # Azure recursive resolver
};

    0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net Nahraďte hodnotu příponou DNS vaší virtuální sítě.

    Tato konfigurace směruje všechny požadavky DNS na příponu DNS virtuální sítě do rekurzivního překladače Azure.

  3. Na vlastním serveru DNS pro virtuální síť použijte jako obsah /etc/bind/named.conf.options souboru následující text:

    // Clients to accept requests from
// TODO: Add the IP range of the joined network to this list
acl goodclients {
    10.0.0.0/16; # IP address range of the virtual network
    localhost;
    localnets;
};

options {
        directory "/var/cache/bind";

        recursion yes;

        allow-query { goodclients; };

        # All other requests are sent to the following
        forwarders {
            192.168.0.1; # Replace with the IP address of your on-premises DNS server
        };

        dnssec-validation auto;

        auth-nxdomain no;    # conform to RFC1035
        listen-on { any; };
};

    • 10.0.0.0/16 Nahraďte hodnotu rozsahem IP adres vaší virtuální sítě. Tato položka umožňuje adresy žádostí o překlad IP adres v tomto rozsahu.

    • Do oddílu přidejte rozsah IP adres místní sítě acl goodclients { ... } . položka umožňuje žádosti o překlad IP adres z prostředků v místní síti.

    • Hodnotu 192.168.0.1 nahraďte IP adresou vašeho místního serveru DNS. Tato položka směruje všechny ostatní požadavky DNS na místní server DNS.

  4. Pokud chcete použít konfiguraci, restartujte bind. Například, sudo service bind9 restart.

  5. Přidejte na místní server DNS podmíněný nástroj pro předávání. Nakonfigurujte podmíněný server pro předávání tak, aby odesílal požadavky na příponu DNS z kroku 1 na vlastní server DNS.

    Poznámka

    Podrobnosti o tom, jak přidat podmíněný modul pro předávání, najdete v dokumentaci k softwaru DNS.

Po dokončení těchto kroků se můžete připojit k prostředkům v libovolné síti pomocí plně kvalifikovaných názvů domén (FQDN). HdInsight teď můžete nainstalovat do virtuální sítě.

Překlad názvů mezi dvěma připojenými virtuálními sítěmi

V tomto příkladu jsou následující předpoklady:

  • Máte dvě virtuální sítě Azure, které jsou připojené pomocí brány VPN nebo partnerského vztahu.

  • Vlastní server DNS v obou sítích používá jako operační systém Linux nebo Unix.

  • Vazba je nainstalovaná na vlastních serverech DNS.

  1. K vyhledání přípony DNS obou virtuálních sítí použijte Azure PowerShell nebo Azure CLI:

    Nahraďte RESOURCEGROUP názvem skupiny prostředků, která obsahuje virtuální síť, a zadejte příkaz:

    $NICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP"
$NICs[0].DnsSettings.InternalDomainNameSuffix

    az network nic list --resource-group RESOURCEGROUP --query "[0].dnsSettings.internalDomainNameSuffix"

  2. Jako obsah /etc/bind/named.config.local souboru na vlastním serveru DNS použijte následující text. Tuto změnu proveďte na vlastním serveru DNS v obou virtuálních sítích.

    // Forward requests for the virtual network suffix to Azure recursive resolver
zone "0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net" {
    type forward;
    forwarders {10.0.0.4;}; # The IP address of the DNS server in the other virtual network
};

    0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net Nahraďte hodnotu příponou DNS druhé virtuální sítě. Tato položka směruje požadavky na příponu DNS vzdálené sítě na vlastní DNS v dané síti.

  3. Na vlastních serverech DNS v obou virtuálních sítích použijte jako obsah /etc/bind/named.conf.options souboru následující text:

    // Clients to accept requests from
acl goodclients {
    10.1.0.0/16; # The IP address range of one virtual network
    10.0.0.0/16; # The IP address range of the other virtual network
    localhost;
    localnets;
};

options {
        directory "/var/cache/bind";

        recursion yes;

        allow-query { goodclients; };

        forwarders {
        168.63.129.16;   # Azure recursive resolver
        };

        dnssec-validation auto;

        auth-nxdomain no;    # conform to RFC1035
        listen-on { any; };
};

    10.0.0.0/16 Hodnoty a 10.1.0.0/16 nahraďte rozsahy IP adres virtuálních sítí. Tato položka umožňuje prostředkům v každé síti provádět požadavky serverů DNS.

    Všechny požadavky, které nejsou pro přípony DNS virtuálních sítí (například microsoft.com), zpracovává rekurzivní překladač Azure.

  4. Pokud chcete použít konfiguraci, restartujte bind. Například sudo service bind9 restart na obou serverech DNS.

Po dokončení těchto kroků se můžete připojit k prostředkům ve virtuální síti pomocí plně kvalifikovaných názvů domén (FQDN). HdInsight teď můžete nainstalovat do virtuální sítě.

Testování nastavení před nasazením clusteru HDInsight

Před nasazením clusteru můžete zkontrolovat správnost mnoha nastavení konfigurace sítě spuštěním nástroje HDInsight Network Validator na virtuálním počítači Azure s Linuxem ve stejné virtuální síti a podsíti jako plánovaný cluster.

Další kroky