Vytvoření clusteru HDInsight, který používá Zóny dostupnosti

  • Článek

Cluster Azure HDInsight se skládá z několika uzlů (hlavní uzly, pracovní uzly, uzly brány a uzly zookeeper). Ve výchozím nastavení nemá uživatel v oblasti, která podporuje Zóny dostupnosti, žádnou kontrolu nad tím, které uzly clusteru jsou zřízeny v jaké zóně dostupnosti.

Díky této nové funkci zóny dostupnosti teď uživatel může určit, která zóna dostupnosti má hostovat všechny uzly clusteru HDInsight. Uzly clusteru jsou fyzicky oddělené od jiné zóny dostupnosti a jsou izolované od selhání v jiných Zóny dostupnosti ve stejné oblasti. Tento model nasazení také poskytuje levné síťové připojení s nízkou latencí v rámci clusteru.

Replikace tohoto modelu nasazení do více Zóny dostupnosti může poskytnout vyšší úroveň dostupnosti, aby byla zajištěna ochrana před selháním hardwaru.

V tomto článku se dozvíte, jak vytvořit cluster HDInsight v rámci zóny dostupnosti a jak tuto funkci použít k dosažení vyšší dostupnosti.

Než začnete

Funkce Zóna dostupnosti se podporuje jenom pro clustery vytvořené po 15. červnu. Po vytvoření clusteru není možné aktualizovat nastavení zóny dostupnosti. Nemůžete také aktualizovat existující cluster se zónou dostupnosti, aby používal zóny dostupnosti.

Požadavky a dostupnost oblastí

Požadavky:

  • Clustery musí být vytvořeny ve vlastní virtuální síti.
  • Potřebujete použít vlastní databázi SQL pro Ambari DB a externí metastor (například metastor Hive), abyste mohli tyto databáze nakonfigurovat ve stejné zóně dostupnosti.

Clustery HDInsight je možné v současné době vytvářet pomocí zón dostupnosti v následujících oblastech:

  • Austrálie – východ
  • Brazílie – jih
  • Střední Kanada
  • Střední USA
  • East US
  • USA – východ 2
  • Francie – střed
  • Německo – středozápad
  • Japonsko – východ
  • Jižní Korea – střed
  • Severní Evropa
  • Southeast Asia
  • Středojižní USA
  • Velká Británie – jih
  • US Gov – Virginie
  • Západní Evropa
  • Západní USA 2

Přehled zón dostupnosti pro clustery HDInsight

Zóny dostupnosti jsou jedinečná fyzická umístění v rámci oblasti. Každou zónu tvoří jedno nebo několik datacenter vybavených nezávislým napájením, chlazením a sítí. V Azure oblast obsahuje jednu nebo více Zóny dostupnosti. Toto fyzické oddělení zón dostupnosti v rámci oblasti chrání aplikace a data před selháním datacentra. Další informace najdete v tématu Co jsou zóny dostupnosti v Azure.

Clustery Azure HDInsight je možné nakonfigurovat tak, aby se nasazovaly v rámci jedné zóny dostupnosti. Všechny uzly v tomto clusteru HDInsight, včetně dvou hlavních uzlů, tří uzlů zookeeperu, dvou uzlů brány a pracovních uzlů, se umístí do zadané zóny dostupnosti. Například v oblasti USA – východ jsou tři zóny dostupnosti. Cluster HDInsight v oblasti USA – východ je možné vytvořit se všemi uzly v zóně dostupnosti 1.

Používání zón dostupnosti s clusterem HDInsight tímto způsobem může poskytovat výhody výkonu i nákladů:

  • Lepší výkon kvůli nízké latenci síťového připojení
  • Nižší náklady: Přenos dat ve stejné zóně dostupnosti je zdarma. Přenos dat v zóně dostupnosti bude mít další náklady na síť.

Pokud vaše aplikace vyžaduje vysokou dostupnost napříč několika zónami dostupnosti, můžete vytvořit jeden primární cluster HDInsight v jedné zóně dostupnosti a vytvořit sekundární cluster HDInsight v jiné zóně dostupnosti s minimální velikostí, abyste ušetřili náklady. Pokud dojde k výpadku jedné z ostatních zón dostupnosti, nebude mít tento cluster HDInsight vliv. Pokud tato zóna dostupnosti klesne, zákazníci musí přepnout sekundární clustery v jiné zóně dostupnosti na primární, směrovat úlohy do tohoto nového primárního clusteru a rychle vertikálně navýšit kapacitu clusteru, aby získali zpracování dat.

Vytvoření clusteru HDInsight pomocí zóny dostupnosti

Pomocí šablony Azure Resource Manageru (ARM) můžete spustit cluster HDInsight do zadané zóny dostupnosti.

V části Prostředky musíte přidat oddíl "zóny" a zadat, do které zóny dostupnosti chcete tento cluster nasadit.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

Ověření uzlů v rámci jedné zóny dostupnosti napříč zónami

Až bude cluster HDInsight připravený, můžete zkontrolovat umístění a zjistit, ve které zóně dostupnosti jsou nasazené.

Screenshot sthat hows availability zone info in cluster overview.

Získání odpovědi rozhraní API:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

Vertikální navýšení kapacity clusteru

Cluster HDInsight můžete vertikálně navýšit s více pracovními uzly. Nově přidané pracovní uzly se umístí do stejné zóny dostupnosti tohoto clusteru.

Osvědčené postupy

  • Pravidelně zálohujte konfigurace v databázi Ambari.
  • Implementujte logiku pro snadné směrování úloh do sekundárního clusteru.

Když az přestane fungovat, co očekávat

  • K tomuto clusteru se nedá připojit ssh
  • Tento cluster nejde odstranit, vertikálně navýšit nebo vertikálně snížit kapacitu.
  • Nemůžete odesílat úlohy nebo zobrazit historii úloh.
  • Stále můžete odeslat novou žádost o vytvoření clusteru v jiné oblasti.