Virtuális hálózat megtervezése az Azure HDInsightPlan a virtual network for Azure HDInsight

Ez a cikk az Azure Virtual Networks (virtuális hálózatok) Azure HDInsight való használatával kapcsolatos háttér-információkat tartalmazza.This article provides background information on using Azure Virtual Networks (VNets) with Azure HDInsight. Emellett ismerteti a tervezési és megvalósítási döntéseket is, amelyeket el kell végezni ahhoz, hogy a HDInsight-fürthöz virtuális hálózatot lehessen megvalósítani.It also discusses design and implementation decisions that must be made before you can implement a virtual network for your HDInsight cluster. Ha a tervezési fázis elkészült, akkor folytathatja a virtuális hálózatok létrehozását az Azure HDInsight-fürtökhöz.Once the planning phase is finished, you can proceed to Create virtual networks for Azure HDInsight clusters. A hálózati biztonsági csoportok (NSG) és a felhasználó által definiált útvonalak megfelelő konfigurálásához szükséges HDInsight-felügyeleti IP-címekkel kapcsolatos további információkért lásd: HDInsight-felügyeleti IP-címek.For more information on HDInsight management IP addresses that are needed to properly configure network security groups (NSGs) and user-defined routes, see HDInsight management IP addresses.

Az Azure Virtual Network a következő forgatókönyvek használatát teszi lehetővé:Using an Azure Virtual Network enables the following scenarios:

  • Csatlakozás a HDInsight közvetlenül egy helyszíni hálózatról.Connecting to HDInsight directly from an on-premises network.
  • HDInsight csatlakoztatása az adattárakhoz egy Azure-beli virtuális hálózaton.Connecting HDInsight to data stores in an Azure Virtual network.
  • Közvetlen hozzáférés Apache Hadoop olyan szolgáltatásokhoz, amelyek nem érhetők el nyilvánosan az interneten keresztül.Directly accessing Apache Hadoop services that aren't available publicly over the internet. Például Apache Kafka API-kat vagy az Apache HBase Java API-t.For example, Apache Kafka APIs or the Apache HBase Java API.

Fontos

A HDInsight-fürt VNET való létrehozása számos hálózati erőforrást hoz létre, például hálózati adaptereket és terheléselosztókat.Creating an HDInsight cluster in a VNET will create several networking resources, such as NICs and load balancers. Ne Törölje ezeket a hálózati erőforrásokat, mivel azok szükségesek ahhoz, hogy a fürt megfelelően működjön a VNET.Do not delete these networking resources, as they are needed for your cluster to function correctly with the VNET.

A 2019. február 28. után a VNET létrehozott új HDInsight-fürtök hálózati erőforrásai (például hálózati adapterek, LBs-EK stb.) ugyanabba a HDInsight-fürterőforrás-csoportba lesznek kiépítve.After Feb 28, 2019, the networking resources (such as NICs, LBs, etc) for NEW HDInsight clusters created in a VNET will be provisioned in the same HDInsight cluster resource group. Korábban ezeket az erőforrásokat kiosztották a VNET erőforráscsoporthoz.Previously, these resources were provisioned in the VNET resource group. Az aktuálisan futó fürtök és a VNET nélkül létrehozott fürtök nem változnak.There is no change to the current running clusters and those clusters created without a VNET.

TervezésPlanning

A HDInsight virtuális hálózatban való telepítésének tervezésekor a következő kérdéseket kell megválaszolnia:The following are the questions that you must answer when planning to install HDInsight in a virtual network:

  • Telepítenie kell a HDInsight-t egy meglévő virtuális hálózatra?Do you need to install HDInsight into an existing virtual network? Vagy létrehoz egy új hálózatot?Or are you creating a new network?

    Ha meglévő virtuális hálózatot használ, előfordulhat, hogy a HDInsight telepítése előtt módosítania kell a hálózati konfigurációt.If you're using an existing virtual network, you may need to modify the network configuration before you can install HDInsight. További információ: HDInsight hozzáadása meglévő virtuális hálózathoz szakasz.For more information, see the add HDInsight to an existing virtual network section.

  • Szeretné összekapcsolni a HDInsight tartalmazó virtuális hálózatot egy másik virtuális hálózattal vagy a helyszíni hálózattal?Do you want to connect the virtual network containing HDInsight to another virtual network or your on-premises network?

    A hálózatokon keresztüli erőforrások egyszerű működéséhez előfordulhat, hogy létre kell hoznia egy egyéni DNS-t, és konfigurálnia kell a DNS-továbbítást.To easily work with resources across networks, you may need to create a custom DNS and configure DNS forwarding. További információkért lásd a több hálózat csatlakoztatása szakaszt.For more information, see the connecting multiple networks section.

  • Szeretné korlátozni/átirányítani a bejövő vagy kimenő forgalmat a HDInsight?Do you want to restrict/redirect inbound or outbound traffic to HDInsight?

    A HDInsight korlátozás nélküli kommunikációt kell biztosítania adott IP-címekkel az Azure-adatközpontban.HDInsight must have unrestricted communication with specific IP addresses in the Azure data center. Több portot is engedélyezni kell a tűzfalakon keresztül az ügyfél-kommunikációhoz.There are also several ports that must be allowed through firewalls for client communication. További információ: a hálózati forgalom szabályozása.For more information, see Control network traffic.

HDInsight hozzáadása meglévő virtuális hálózathozAdd HDInsight to an existing virtual network

Az ebben a szakaszban ismertetett lépések segítségével megtudhatja, hogyan adhat hozzá új HDInsight egy meglévő Azure-Virtual Networkhoz.Use the steps in this section to discover how to add a new HDInsight to an existing Azure Virtual Network.

Megjegyzés

  • Meglévő HDInsight-fürtöt nem adhat hozzá virtuális hálózathoz.You cannot add an existing HDInsight cluster into a virtual network.
  • A VNET és a létrehozandó fürtnek ugyanahhoz az előfizetéshez kell tartoznia.The VNET and the cluster being created must be in the same subscription.
  1. Klasszikus vagy Resource Manager-alapú üzemi modellt használ a virtuális hálózathoz?Are you using a classic or Resource Manager deployment model for the virtual network?

    A HDInsight 3,4 és újabb rendszerekhez Resource Manager virtuális hálózat szükséges.HDInsight 3.4 and greater requires a Resource Manager virtual network. A HDInsight korábbi verzióihoz klasszikus virtuális hálózat szükséges.Earlier versions of HDInsight required a classic virtual network.

    Ha a meglévő hálózat egy klasszikus virtuális hálózat, akkor létre kell hoznia egy Resource Manager-alapú virtuális hálózatot, majd össze kell kapcsolni a kettőt.If your existing network is a classic virtual network, then you must create a Resource Manager virtual network and then connect the two. Klasszikus virtuális hálózatok csatlakoztatása új virtuális hálózatok.Connecting classic VNets to new VNets.

    A csatlakozást követően a Resource Manager-hálózatban telepített HDInsight a klasszikus hálózaton lévő erőforrásokkal is kezelhetik.Once joined, HDInsight installed in the Resource Manager network can interact with resources in the classic network.

  2. Hálózati biztonsági csoportokat, felhasználó által megadott útvonalakat vagy Virtual Network készülékeket használ a virtuális hálózatra vagy onnan érkező forgalom korlátozására?Do you use network security groups, user-defined routes, or Virtual Network Appliances to restrict traffic into or out of the virtual network?

    Felügyelt szolgáltatásként a HDInsight korlátozás nélküli hozzáférést igényel az Azure-adatközpont több IP-címéhez.As a managed service, HDInsight requires unrestricted access to several IP addresses in the Azure data center. Ezen IP-címekkel való kommunikáció engedélyezéséhez frissítse a meglévő hálózati biztonsági csoportokat vagy a felhasználó által megadott útvonalakat.To allow communication with these IP addresses, update any existing network security groups or user-defined routes.

    A HDInsight több szolgáltatást üzemeltet, amelyek számos portot használnak.HDInsight hosts multiple services, which use a variety of ports. Ne blokkolja ezen portok forgalmát.Don't block traffic to these ports. A virtuális berendezési tűzfalakon keresztül engedélyezhető portok listáját a biztonsági szakaszban találja.For a list of ports to allow through virtual appliance firewalls, see the Security section.

    A meglévő biztonsági beállítások megkereséséhez használja a következő Azure PowerShell vagy Azure CLI-parancsokat:To find your existing security configuration, use the following Azure PowerShell or Azure CLI commands:

    • Network security groups (Hálózati biztonsági csoportok)Network security groups

      Cserélje le a helyére a RESOURCEGROUP virtuális hálózatot tartalmazó erőforráscsoport nevét, majd írja be a parancsot:Replace RESOURCEGROUP with the name of the resource group that contains the virtual network, and then enter the command:

      Get-AzNetworkSecurityGroup -ResourceGroupName  "RESOURCEGROUP"
      
      az network nsg list --resource-group RESOURCEGROUP
      

      További információ: hálózati biztonsági csoportok hibakeresése dokumentum.For more information, see the Troubleshoot network security groups document.

      Fontos

      A hálózati biztonsági csoport szabályait a rendszer a szabály prioritása alapján alkalmazza.Network security group rules are applied in order based on rule priority. A forgalmi mintának megfelelő első szabály lesz alkalmazva, és a rendszer nem alkalmazza másokat erre a forgalomra.The first rule that matches the traffic pattern is applied, and no others are applied for that traffic. A legtöbb engedékenység és a legkevésbé megengedő szabályok sorrendje.Order rules from most permissive to least permissive. További információ: hálózati forgalom szűrése hálózati biztonsági csoportokkal dokumentum.For more information, see the Filter network traffic with network security groups document.

    • Felhasználó által megadott útvonalakUser-defined routes

      Cserélje le a helyére a RESOURCEGROUP virtuális hálózatot tartalmazó erőforráscsoport nevét, majd írja be a parancsot:Replace RESOURCEGROUP with the name of the resource group that contains the virtual network, and then enter the command:

      Get-AzRouteTable -ResourceGroupName "RESOURCEGROUP"
      
      az network route-table list --resource-group RESOURCEGROUP
      

      További információ: útvonalakkal kapcsolatos hibák megoldása .For more information, see the Troubleshoot routes document.

  3. Hozzon létre egy HDInsight-fürtöt, és válassza ki az Azure Virtual Network a konfigurálás során.Create an HDInsight cluster and select the Azure Virtual Network during configuration. A fürt létrehozási folyamatának megismeréséhez kövesse az alábbi dokumentumokat:Use the steps in the following documents to understand the cluster creation process:

    Fontos

    A HDInsight virtuális hálózathoz való hozzáadása egy opcionális konfigurációs lépés.Adding HDInsight to a virtual network is an optional configuration step. Ügyeljen arra, hogy a fürt konfigurálásakor válassza ki a virtuális hálózatot.Be sure to select the virtual network when configuring the cluster.

Több hálózat összekapcsolásaConnecting multiple networks

A több hálózati konfigurációval rendelkező legnagyobb kihívás a hálózatok közötti névfeloldás.The biggest challenge with a multi-network configuration is name resolution between the networks.

Az Azure a virtuális hálózatban telepített Azure-szolgáltatások névfeloldását teszi lehetővé.Azure provides name resolution for Azure services that are installed in a virtual network. Ez a beépített névfeloldás lehetővé teszi a HDInsight számára a következő erőforrásokhoz való kapcsolódást teljes tartománynév (FQDN) használatával:This built-in name resolution allows HDInsight to connect to the following resources by using a fully qualified domain name (FQDN):

  • Bármely, az interneten elérhető erőforrás.Any resource that is available on the internet. Például: microsoft.com, windowsupdate.com.For example, microsoft.com, windowsupdate.com.

  • Minden olyan erőforrás, amely ugyanabban az Azure-Virtual Networkban található, az erőforrás belső DNS-nevének használatával.Any resource that is in the same Azure Virtual Network, by using the internal DNS name of the resource. Ha például az alapértelmezett névfeloldást használja, a következő példák a HDInsight-feldolgozó csomópontokhoz rendelt belső DNS-nevekre:For example, when using the default name resolution, the following are examples of internal DNS names assigned to HDInsight worker nodes:

    • wn0-hdinsi.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.netwn0-hdinsi.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net

    • wn2-hdinsi.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.netwn2-hdinsi.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net

      Mindkét csomópont közvetlenül tud kommunikálni egymással és a HDInsight egyéb csomópontjaival belső DNS-nevek használatával.Both these nodes can communicate directly with each other, and other nodes in HDInsight, by using internal DNS names.

Az alapértelmezett névfeloldás nem teszi lehetővé a HDInsight számára a virtuális hálózathoz csatlakoztatott hálózatokban lévő erőforrások nevének feloldását.The default name resolution does not allow HDInsight to resolve the names of resources in networks that are joined to the virtual network. Például gyakori a helyszíni hálózat csatlakoztatása a virtuális hálózathoz.For example, it's common to join your on-premises network to the virtual network. Csak az alapértelmezett névfeloldással a HDInsight nem fér hozzá az erőforrásokhoz a helyszíni hálózaton név szerint.With only the default name resolution, HDInsight can't access resources in the on-premises network by name. Ellenkező esetben is igaz, a helyszíni hálózaton lévő erőforrások név szerint nem férnek hozzá a virtuális hálózat erőforrásaihoz.The opposite is also true, resources in your on-premises network can't access resources in the virtual network by name.

Figyelmeztetés

A HDInsight-fürt létrehozása előtt létre kell hoznia az egyéni DNS-kiszolgálót, és konfigurálnia kell a virtuális hálózatot.You must create the custom DNS server and configure the virtual network to use it before creating the HDInsight cluster.

Ha engedélyezni szeretné a névfeloldást a virtuális hálózat és az összekapcsolt hálózatokban lévő erőforrások között, a következő műveleteket kell végrehajtania:To enable name resolution between the virtual network and resources in joined networks, you must perform the following actions:

  1. Hozzon létre egy egyéni DNS-kiszolgálót az Azure Virtual Network, ahol a HDInsight telepítését tervezi.Create a custom DNS server in the Azure Virtual Network where you plan to install HDInsight.

  2. Konfigurálja a virtuális hálózatot az egyéni DNS-kiszolgáló használatára.Configure the virtual network to use the custom DNS server.

  3. Keresse meg az Azure-beli hozzárendelt DNS-utótagot a virtuális hálózathoz.Find the Azure assigned DNS suffix for your virtual network. Ez az érték hasonló a következőhöz: 0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net .This value is similar to 0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net. A DNS-utótag megkeresésével kapcsolatos információkért tekintse meg a következő példát: egyéni DNS szakasz.For information on finding the DNS suffix, see the Example: Custom DNS section.

  4. Konfigurálja a DNS-kiszolgálók közötti továbbítást.Configure forwarding between the DNS servers. A konfiguráció a távoli hálózat típusától függ.The configuration depends on the type of remote network.

    • Ha a távoli hálózat egy helyszíni hálózat, a DNS-t a következőképpen konfigurálja:If the remote network is an on-premises network, configure DNS as follows:

      • Egyéni DNS (a virtuális hálózaton):Custom DNS (in the virtual network):

        • Továbbítson kérelmeket a virtuális hálózat DNS-utótagjának az Azure rekurzív feloldó (168.63.129.16) számára.Forward requests for the DNS suffix of the virtual network to the Azure recursive resolver (168.63.129.16). Az Azure kezeli a virtuális hálózatban lévő erőforrásokra vonatkozó kéréseketAzure handles requests for resources in the virtual network

        • Továbbítsa az összes többi kérést a helyszíni DNS-kiszolgálónak.Forward all other requests to the on-premises DNS server. A helyszíni DNS minden más névfeloldási kérelmet kezel, még az internetes erőforrásokra, például a Microsoft.com-re vonatkozó kéréseket is.The on-premises DNS handles all other name resolution requests, even requests for internet resources such as Microsoft.com.

      • Helyszíni DNS: továbbítási kérelmek a virtuális hálózat DNS-utótagja számára az egyéni DNS-kiszolgálóhoz.On-premises DNS: Forward requests for the virtual network DNS suffix to the custom DNS server. Az egyéni DNS-kiszolgáló ezután továbbítja az Azure rekurzív feloldót.The custom DNS server then forwards to the Azure recursive resolver.

        Ez a konfiguráció a virtuális hálózat DNS-utótagját tartalmazó teljes tartománynevek kérelmeit az egyéni DNS-kiszolgálóra irányítja.This configuration routes requests for fully qualified domain names that contain the DNS suffix of the virtual network to the custom DNS server. Az összes többi kérést (még a nyilvános internetes címek esetében is) a helyszíni DNS-kiszolgáló kezeli.All other requests (even for public internet addresses) are handled by the on-premises DNS server.

    • Ha a távoli hálózat egy másik Azure-Virtual Network, konfigurálja a DNS-t a következőképpen:If the remote network is another Azure Virtual Network, configure DNS as follows:

      • Egyéni DNS (minden virtuális hálózatban):Custom DNS (in each virtual network):

        • A rendszer a virtuális hálózatok DNS-utótagjának kérelmeit továbbítja az egyéni DNS-kiszolgálókra.Requests for the DNS suffix of the virtual networks are forwarded to the custom DNS servers. Az egyes virtuális hálózatokban lévő DNS feladata a hálózatban lévő erőforrások feloldása.The DNS in each virtual network is responsible for resolving resources within its network.

        • Továbbítsa az összes többi kérést az Azure rekurzív feloldónak.Forward all other requests to the Azure recursive resolver. A rekurzív feloldó feladata a helyi és internetes erőforrások feloldása.The recursive resolver is responsible for resolving local and internet resources.

        Az egyes hálózatokhoz tartozó DNS-kiszolgáló továbbítja a kéréseket a másiknak a DNS-utótag alapján.The DNS server for each network forwards requests to the other, based on DNS suffix. Más kérelmek feloldása az Azure rekurzív feloldó használatával történik.Other requests are resolved using the Azure recursive resolver.

      Az egyes konfigurációkat a példa: egyéni DNS szakaszban találja.For an example of each configuration, see the Example: Custom DNS section.

További információ: a virtuális gépek és a szerepkör példányainak névfeloldása .For more information, see the Name Resolution for VMs and Role Instances document.

Közvetlen kapcsolódás Apache Hadoop szolgáltatásokhozDirectly connect to Apache Hadoop services

A fürthöz a következő helyen csatlakozhat: https://CLUSTERNAME.azurehdinsight.net .You can connect to the cluster at https://CLUSTERNAME.azurehdinsight.net. Ez a cím egy nyilvános IP-címet használ, amely nem érhető el, ha a NSG használatával korlátozza a bejövő forgalmat az internetről.This address uses a public IP, which may not be reachable if you have used NSGs to restrict incoming traffic from the internet. Emellett, ha a fürtöt egy VNet helyezi üzembe, a magánhálózati végponton keresztül is elérheti azt https://CLUSTERNAME-int.azurehdinsight.net .Additionally, when you deploy the cluster in a VNet you can access it using the private endpoint https://CLUSTERNAME-int.azurehdinsight.net. Ez a végpont egy magánhálózati IP-címhez lett feloldva a VNet a fürt eléréséhez.This endpoint resolves to a private IP inside the VNet for cluster access.

Az Apache Ambari és más weboldalakhoz a virtuális hálózaton keresztül történő kapcsolódáshoz kövesse az alábbi lépéseket:To connect to Apache Ambari and other web pages through the virtual network, use the following steps:

  1. A HDInsight-fürtcsomópontok belső teljes tartománynevének (FQDN) felderítéséhez használja az alábbi módszerek egyikét:To discover the internal fully qualified domain names (FQDN) of the HDInsight cluster nodes, use one of the following methods:

    Cserélje le a helyére a RESOURCEGROUP virtuális hálózatot tartalmazó erőforráscsoport nevét, majd írja be a parancsot:Replace RESOURCEGROUP with the name of the resource group that contains the virtual network, and then enter the command:

    $clusterNICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP" | where-object {$_.Name -like "*node*"}
    
    $nodes = @()
    foreach($nic in $clusterNICs) {
        $node = new-object System.Object
        $node | add-member -MemberType NoteProperty -name "Type" -value $nic.Name.Split('-')[1]
        $node | add-member -MemberType NoteProperty -name "InternalIP" -value $nic.IpConfigurations.PrivateIpAddress
        $node | add-member -MemberType NoteProperty -name "InternalFQDN" -value $nic.DnsSettings.InternalFqdn
        $nodes += $node
    }
    $nodes | sort-object Type
    
    az network nic list --resource-group RESOURCEGROUP --output table --query "[?contains(name,'node')].{NICname:name,InternalIP:ipConfigurations[0].privateIpAddress,InternalFQDN:dnsSettings.internalFqdn}"
    

    A visszaadott csomópontok listájában keresse meg a fő csomópontok teljes tartománynevét, és használja a teljes tartománynevet a Ambari és más webszolgáltatásokhoz való kapcsolódáshoz.In the list of nodes returned, find the FQDN for the head nodes and use the FQDNs to connect to Ambari and other web services. Például a használatával http://<headnode-fqdn>:8080 érheti el a Ambari.For example, use http://<headnode-fqdn>:8080 to access Ambari.

    Fontos

    A fő csomópontokon futó egyes szolgáltatások egyszerre csak egy csomóponton aktívak.Some services hosted on the head nodes are only active on one node at a time. Ha egy fő csomóponton próbál hozzáférni egy szolgáltatáshoz, és 404-es hibát ad vissza, váltson át a másik fő csomópontra.If you try accessing a service on one head node and it returns a 404 error, switch to the other head node.

  2. A szolgáltatás által elérhető csomópontok és portok meghatározásához tekintse meg a Hadoop Services által a HDInsight dokumentumban használt portokat .To determine the node and port that a service is available on, see the Ports used by Hadoop services on HDInsight document.

TerheléselosztásLoad balancing

HDInsight-fürt létrehozásakor a terheléselosztó is létrejön.When you create an HDInsight cluster, a load balancer is created as well. A terheléselosztó típusa az alapszintű SKU szintjénvan, amely bizonyos korlátozásokkal rendelkezik.The type of this load balancer is at the basic SKU level, which has certain constraints. Ezen megkötések egyike az, hogy ha két virtuális hálózattal rendelkezik különböző régiókban, akkor nem lehet alapszintű terheléselosztóhoz csatlakozni.One of these constraints is that if you have two virtual networks in different regions, you cannot connect to basic load balancers. További információért lásd a Virtual Networks gyakori kérdések: a globális vnet-társítás korlátozásaicímű témakört.See virtual networks FAQ: constraints on global vnet peering, for more information.

Következő lépésekNext steps