Vilka är standardkonfigurationerna och de rekommenderade nodkonfigurationerna för Azure HDInsight?

  • Artikel
  • 2 minuter för att läsa

Den här artikeln beskriver standardkonfigurationer och rekommenderade nodkonfigurationer Azure HDInsight kluster.

I följande tabeller visas standardstorlekar och rekommenderade storlekar för virtuella datorer (VM) för HDInsight-kluster. Den här informationen är nödvändig för att förstå de VM-storlekar som ska användas när du skapar PowerShell- eller Azure CLI-skript för att distribuera HDInsight-kluster.

Om du behöver mer än 32 arbetsnoder i ett kluster väljer du en huvudnodstorlek med minst 8 kärnor och 14 GB RAM-minne.

De enda klustertyperna som har datadiskar är Kafka- och HBase-kluster med funktionen Accelererade skrivningar aktiverad. HDInsight stöder P30- och S30-diskstorlekar i dessa scenarier. För alla andra klustertyper tillhandahåller HDInsight hanterat diskutrymme med klustret. Från och med 2019-11-07 är storleken på den hanterade disken för varje nod i det nya klustret 128 GB. Detta kan inte ändras.

Specifikationerna för alla minsta rekommenderade typer av virtuella datorer som används i det här dokumentet sammanfattas i följande tabell.

Storlek Virtuell processor Minne: GiB Temporär lagring (SSD) GiB Maximalt genomflöde för temporär lagring: IOPS / Mbit/s för läsning / M/bit/s för skrivning Maximalt antal datadiskar/dataflöde: IOPS Maximalt antal nätverkskort/förväntad nätverksbandbredd (Mbit/s)
Standard_D3_v2 4 14 200 12 000 / 187 / 93 16 /16x500 4/3 000
Standard_D4_v2 8 28 400 24 000 / 375 / 187 32 /32x500 8/6 000
Standard_D5_v2 16 56 800 48 000 / 750 / 375 64/64x500 8 / 12000
Standard_D12_v2 4 28 200 12 000 / 187 / 93 16 / 16 x 500 4/3 000
Standard_D13_v2 8 56 400 24 000 / 375 / 187 32 / 32 x 500 8/6 000
Standard_D14_v2 16 112 800 48 000 / 750 / 375 64/64x500 8 / 12000
Standard_A1_v2 1 2 10 1 000 / 20 / 10 2 / 2 x 500 2/250
Standard_A2_v2 2 4 20 2 000 / 40 / 20 4 / 4 x 500 2/500
Standard_A4_v2 4 8 40 4 000 / 80 / 40 8 / 8 x 500 4/1 000

Mer information om specifikationerna för varje typ av virtuell dator finns i följande dokument:

Alla regioner som stöds utom Brasilien, södra och Japan, västra

Anteckning

Om du vill hämta SKU-identifieraren för användning i PowerShell och andra skript lägger du till i början av Standard_ alla VM SKU:er i tabellerna nedan. Till exempel D12_v2 skulle bli Standard_D12_v2 .

Klustertyp Hadoop HBase Interaktiv fråga Storm Spark Kafka
Huvud: standardstorlek för virtuell dator D12_v2 D12_v2 D13_v2 A4_v2 D12_v2,
D13_v2*		 D3_v2
Huvud: minsta rekommenderade VM-storlekar D5_v2 D3_v2 D13_v2 A4_v2 D12_v2,
D13_v2*		 D3_v2
Arbetsroll: standardstorlek för virtuell dator D4_v2 D4_v2 D14_v2 D3_v2 D13_v2 4 D12_v2 med 2 S30-diskar per a broker
Arbetare: minsta rekommenderade VM-storlekar D5_v2 D3_v2 D13_v2 D3_v2 D12_v2 D3_v2
ZooKeeper: standardstorlek för virtuell dator A4_v2 A4_v2 A4_v2 A4_v2
ZooKeeper: minsta rekommenderade VM-storlekar A4_v2 A4_v2 A2_v2 A4_v2

* = VM-storlekar för Spark Enterprise Security Package kluster (ESP)

Endast Brasilien, södra och Japan, västra

Klustertyp Hadoop HBase Interaktiv fråga Storm Spark
Huvud: standardstorlek för virtuell dator D12 D12 D13 A4_v2 D12
Huvud: minsta rekommenderade VM-storlekar D5_v2 D3_v2 D13_v2 A4_v2 D12_v2
Arbetsroll: standardstorlek för virtuell dator D4 D4 D14 D3 D13
Arbetare: minsta rekommenderade VM-storlekar D5_v2 D3_v2 D13_v2 D3_v2 D12_v2
ZooKeeper: standardstorlek för virtuell dator A4_v2 A4_v2 A4_v2
ZooKeeper: minsta rekommenderade VM-storlekar A4_v2 A4_v2 A4_v2

Anteckning

  • Head kallas Nimbus för Storm-klustertypen.
  • Arbetsrollen kallas övervakare för Storm-klustertypen.
  • Worker kallas region för HBase-klustertypen.

Nästa steg