Jaké jsou výchozí a doporučené konfigurace uzlů pro Azure HDInsight?

  • Článek
  • 3 min ke čtení

Tento článek popisuje výchozí a doporučené konfigurace uzlů pro clustery Azure HDInsight.

V následujících tabulkách jsou uvedeny výchozí a Doporučené velikosti virtuálních počítačů pro clustery HDInsight. Tyto informace jsou nezbytné k pochopení velikosti virtuálních počítačů, které se mají použít při vytváření skriptů PowerShellu nebo rozhraní příkazového řádku Azure CLI pro nasazení clusterů HDInsight.

Pokud v clusteru potřebujete víc než 32 uzlů pracovních procesů, vyberte velikost hlavního uzlu s aspoň 8 jádry a 14 GB paměti RAM.

Jedinými typy clusterů, které mají datové disky, jsou Kafka a HBA clustery s povolenou funkcí urychleného zápisu. HDInsight podporuje P30 a S30 velikosti disků v těchto scénářích. Pro všechny ostatní typy clusterů poskytuje HDInsight spravované místo na disku clusteru. Od 11/07/2019 bude velikost spravovaného disku každého uzlu v nově vytvořeném clusteru 128 GB. Tato změna se nedá změnit.

Specifikace všech minimálních doporučených typů virtuálních počítačů použitých v tomto dokumentu jsou shrnuté v následující tabulce.

Velikost Virtuální procesory Paměť: GiB Dočasné úložiště (SSD): GiB Maximální propustnost dočasného úložiště: IOPS / čtení v MB/s / zápis v MB/s Maximální propustnost datových disků: IOPS Maximální počet síťových karet/očekávaná šířka pásma sítě (MB/s)
Standard_D3_v2 4 14 200 12000 / 187 / 93 16/16x500 4 / 3 000
Standard_D4_v2 8 28 400 24000 / 375 / 187 32/32x500 8 / 6 000
Standard_D5_v2 16 56 800 48000 / 750 / 375 64/64x500 8 / 12000
Standard_D12_v2 4 28 200 12000 / 187 / 93 16 / 16×500 4 / 3 000
Standard_D13_v2 8 56 400 24000 / 375 / 187 32 / 32×500 8 / 6 000
Standard_D14_v2 16 112 800 48000 / 750 / 375 64/64x500 8 / 12000
Standard_A1_v2 1 2 10 1000 / 20 / 10 2 / 2×500 2 / 250
Standard_A2_v2 2 4 20 2000 / 40 / 20 4 / 4×500 2 / 500
Standard_A4_v2 4 8 40 4000 / 80 / 40 8 / 8×500 4 / 1 000

Další informace o specifikacích jednotlivých typů virtuálních počítačů najdete v následujících dokumentech:

Všechny podporované oblasti kromě Brazílie – jih a Japonsko – západ

Poznámka

Pokud chcete získat identifikátor SKU pro použití v PowerShellu a dalších skriptech, přidejte Standard_ na začátek všech SKU virtuálních počítačů v následujících tabulkách. Například D12_v2 by se stala Standard_D12_v2 .

Typ clusteru Hadoop HBase Interaktivní dotaz Storm Spark Kafka
Head: výchozí velikost virtuálního počítače D12_v2 D12_v2 D13_v2 A4_v2 D12_v2,
D13_v2*		 D3_v2
Hlavní: minimální doporučené velikosti virtuálních počítačů D5_v2 D3_v2 D13_v2 A4_v2 D12_v2,
D13_v2*		 D3_v2
Pracovní proces: výchozí velikost virtuálního počítače D4_v2 D4_v2 D14_v2 D3_v2 D13_v2 4 D12_v2 se 2 disky S30 na zprostředkovatele
Pracovní proces: minimální doporučené velikosti virtuálních počítačů D5_v2 D3_v2 D13_v2 D3_v2 D12_v2 D3_v2
ZooKeeper: výchozí velikost virtuálního počítače A4_v2 A4_v2 A4_v2 A4_v2
ZooKeeper: minimální doporučené velikosti virtuálních počítačů A4_v2 A4_v2 A2_v2 A4_v2

*= Velikosti virtuálních počítačů pro Enterprise sparkového balíčku zabezpečení (ESP)

Pouze Brazílie – jih a Japonsko – západ

Typ clusteru Hadoop HBase Interaktivní dotaz Storm Spark
Head: výchozí velikost virtuálního počítače D12 D12 D13 A4_v2 D12
Hlavní: minimální doporučené velikosti virtuálních počítačů D5_v2 D3_v2 D13_v2 A4_v2 D12_v2
Pracovní proces: výchozí velikost virtuálního počítače D4 D4 D14 D3 D13
Pracovní proces: minimální doporučené velikosti virtuálních počítačů D5_v2 D3_v2 D13_v2 D3_v2 D12_v2
ZooKeeper: výchozí velikost virtuálního počítače A4_v2 A4_v2 A4_v2
ZooKeeper: minimální doporučené velikosti virtuálních počítačů A4_v2 A4_v2 A4_v2

Poznámka

  • Head se pro typ clusteru Storm označuje jako Nimbus.
  • Pracovní proces se označuje jako Supervisor pro typ clusteru Storm.
  • Pracovní proces se pro typ clusteru HBase označuje jako Oblast.

Další kroky