Architektura virtuální sítě Azure HDInsightAzure HDInsight virtual network architecture

Tento článek popisuje prostředky, které jsou k dispozici při nasazování clusteru služby HDInsight do vlastní virtuální sítě Azure.This article explains the resources that are present when you deploy an HDInsight cluster into a custom Azure Virtual Network. Tyto informace vám pomůže připojení místních prostředků do vašeho clusteru HDInsight v Azure.This information will help you to connect on-premises resources to your HDInsight cluster in Azure. Další informace ve virtuálních sítích Azure najdete v tématu co je Azure Virtual Network?.For more information on Azure Virtual Networks, see What is Azure Virtual Network?.

Typy prostředků v clusterech Azure HDInsightResource types in Azure HDInsight clusters

Clustery Azure HDInsight mají různé typy virtuálních počítačů nebo uzly.Azure HDInsight clusters have different types of virtual machines, or nodes. U každého typu uzlu hraje roli ve fungování systému.Each node type plays a role in the operation of the system. Následující tabulka shrnuje tyto typy uzlů a jejich rolí v clusteru.The following table summarizes these node types and their roles in the cluster.

TypeType PopisDescription
Hlavní uzelHead node Pro všechny typy clusteru, s výjimkou Apache Storm hlavní uzly hostují procesy, které spravují provádění distribuované aplikace.For all cluster types except Apache Storm, the head nodes host the processes that manage execution of the distributed application. K hlavnímu uzlu je také uzel, který je možné, připojte se přes SSH a spouštět aplikace, které jsou pak koordinovaný ke spuštění napříč prostředky clusteru.The head node is also the node that you can SSH into and execute applications that are then coordinated to run across the cluster resources. Počet hlavních uzlů je pevně nastavena na dvě pro všechny typy clusteru.The number of head nodes is fixed at two for all cluster types.
Uzel zooKeeperZooKeeper node Zookeeper koordinuje úkoly mezi uzly, které provádějí zpracování dat.Zookeeper coordinates tasks between the nodes that are doing data processing. Také nemá volba lídra nebo hlavního uzlu a uchovává informace o které hlavního uzlu běží konkrétní hlavní služby.It also does leader election of the head node, and keeps track of which head node is running a specific master service. Počet uzly ZooKeeper je pevně nastavena na tři.The number of ZooKeeper nodes is fixed at three.
Pracovní uzelWorker node Představuje uzly, které podporují funkce pro zpracování dat.Represents the nodes that support data processing functionality. Pracovní uzly lze přidat nebo odebrat z clusteru škálovat výpočetní funkce a spravujte náklady.Worker nodes can be added or removed from the cluster to scale computing capability and manage costs.
Hraničnímu uzlu R serveruR Server edge node Hraničnímu uzlu R serveru představuje uzel, který je možné, připojte se přes SSH a spouštět aplikace, které jsou pak koordinovaný ke spuštění napříč prostředky clusteru.The R Server edge node represents the node you can SSH into and execute applications that are then coordinated to run across the cluster resources. Hraniční uzel není součástí analýzy dat v rámci clusteru.An edge node doesn't participate in data analysis within the cluster. Tento uzel je hostitelem také R Studio Server umožňuje spustit R aplikaci pomocí prohlížeče.This node also hosts R Studio Server, enabling you to run R application using a browser.
Oblast uzluRegion node Pro typ clusteru HBase uzlu oblasti (také označované jako datový uzel) běží oblastním serveru.For the HBase cluster type, the region node (also referred to as a Data Node) runs the Region Server. Oblastní servery poskytovat a spravovat část data spravovaná přes HBase.Region Servers serve and manage a portion of the data managed by HBase. Uzly oblasti lze přidat nebo odebrat z clusteru škálovat výpočetní funkce a spravujte náklady.Region nodes can be added or removed from the cluster to scale computing capability and manage costs.
Uzel nimbusNimbus node Pro typ clusteru Storm uzel Nimbus poskytuje funkce podobné hlavní uzel.For the Storm cluster type, the Nimbus node provides functionality similar to the Head node. Uzel Nimbus přiřazuje úlohy jiným uzlům v clusteru prostřednictvím nástroje Zookeeper, který koordinuje spuštěné topologie Storm.The Nimbus node assigns tasks to other nodes in a cluster through Zookeeper, which coordinates the running of Storm topologies.
Dohledové uzlySupervisor node Pro typ clusteru Storm spustí dohledové uzly podle uzel Nimbus provádět požadované zpracování pokynů.For the Storm cluster type, the supervisor node executes the instructions provided by the Nimbus node to performing the desired processing.

Prostředky základní virtuální sítěBasic virtual network resources

Následující diagram znázorňuje umístění uzlů HDInsight a síťové prostředky v Azure.The following diagram shows the placement of HDInsight nodes and network resources in Azure.

Diagram vytvořené ve virtuální síti Azure vlastních entit HDInsight

Výchozí prostředky k dispozici, když HDInsight je nasazený do virtuální sítě Azure zahrnují typy uzlů clusteru, uvedené v předchozí tabulce, jakož i síťová zařízení, které podporují komunikaci mezi virtuální sítí a mimo sítě.The default resources present when HDInsight is deployed into an Azure Virtual Network include the cluster node types mentioned in the previous table, as well as network devices that support communication between the virtual network and outside networks.

Následující tabulka shrnuje cluster devíti uzlů, které vytvářejí, když HDInsight je nasazený do vlastní virtuální sítě Azure.The following table summarizes the nine cluster nodes that are created when HDInsight is deployed into a custom Azure Virtual Network.

Typ prostředkuResource type Číslo, které jsou k dispoziciNumber present PodrobnostiDetails
Hlavní uzelHead node dvatwo
Uzel ZookeeperZookeeper node třithree
Pracovní uzelWorker node dvatwo Toto číslo se může lišit v závislosti na konfiguraci clusteru a škálování.This number can vary based on cluster configuration and scaling. Pro Apache Kafka se vyžaduje minimálně tři pracovní uzly.A minimum of three worker nodes is needed for Apache Kafka.
Uzel brányGateway node dvatwo Uzly brány jsou virtuální počítače s Azure, které se vytvoří v Azure, ale nejsou viditelné v rámci vašeho předplatného.Gateway nodes are Azure virtual machines that are created on Azure, but aren't visible in your subscription. Pokud je potřeba restartovat tyto uzly, obraťte se na podporu.Contact support if you need to reboot these nodes.

K dispozici následující síťovým prostředkům se automaticky vytvoří ve virtuální síti použít s HDInsight:The following network resources present are automatically created inside the virtual network used with HDInsight:

Síťové zdrojeNetworking resource Číslo, které jsou k dispoziciNumber present PodrobnostiDetails
Nástroj pro vyrovnávání zatíženíLoad balancer třithree
Síťová rozhraníNetwork Interfaces devětnine Tato hodnota je založena na normální cluster, kde má každý uzel vlastní síťové rozhraní.This value is based on a normal cluster, where each node has its own network interface. Devět rozhraní jsou dva hlavní uzly, tři uzly zookeeper, dvěma pracovními uzly a dvěma uzly brány uvedených v předchozí tabulce.The nine interfaces are for the two head nodes, three zookeeper nodes, two worker nodes, and two gateway nodes mentioned in the previous table.
Veřejné IP adresyPublic IP Addresses dvatwo

Koncové body pro připojení k HDInsightEndpoints for connecting to HDInsight

Lze přistoupit ke clusteru HDInsight třemi způsoby:You can access your HDInsight cluster in three ways:

  • Koncový bod HTTPS mimo virtuální síť na CLUSTERNAME.azurehdinsight.net.An HTTPS endpoint outside of the virtual network at CLUSTERNAME.azurehdinsight.net.
  • Koncový bod SSH pro připojení přímo k hlavnímu uzlu v CLUSTERNAME-ssh.azurehdinsight.net.An SSH endpoint for directly connecting to the headnode at CLUSTERNAME-ssh.azurehdinsight.net.
  • Koncový bod HTTPS v rámci virtuální sítě CLUSTERNAME-int.azurehdinsight.net.An HTTPS endpoint within the virtual network CLUSTERNAME-int.azurehdinsight.net. Všimněte si, že "-int" v této adrese URL.Notice the "-int" in this URL. Tento koncový bod se přeložit na privátní IP adresu v dané virtuální síti a není přístupný z veřejného Internetu.This endpoint will resolve to a private IP in that virtual network and isn't accessible from the public internet.

Tyto tři koncové body jsou přiřazeny nástroji pro vyrovnávání zatížení.These three endpoints are each assigned a load balancer.

Veřejné IP adresy jsou také k dispozici na dvou koncových bodů, které umožňují připojení z mimo virtuální síť.Public IP addresses are also provided to the two endpoints that allow connection from outside the virtual network.

  1. Jedna veřejná IP adresa přiřazená plně kvalifikovaný název domény (FQDN) nástroje pro vyrovnávání zatížení mají používat při připojování ke clusteru z Internetu CLUSTERNAME.azurehdinsight.net.One public IP is assigned to the load balancer for the fully qualified domain name (FQDN) to use when connecting to the cluster from the internet CLUSTERNAME.azurehdinsight.net.
  2. Druhá veřejná IP adresa se používá pro název domény jen pro SSH CLUSTERNAME-ssh.azurehdinsight.net.The second public IP address is used for the SSH only domain name CLUSTERNAME-ssh.azurehdinsight.net.

Další postupNext steps