Wat zijn de standaard- en aanbevolen knooppuntconfiguraties voor Azure HDInsight?

  • Artikel
  • 3 minuten om te lezen

In dit artikel worden de standaard en aanbevolen knooppuntconfiguraties voor Azure HDInsight beschreven.

In de volgende tabellen worden de standaard- en aanbevolen VM-grootten (virtuele machine) voor HDInsight-clusters vermeld. Deze informatie is nodig om inzicht te krijgen in de VM-grootten die moeten worden gebruikt bij het maken van PowerShell- of Azure CLI-scripts voor het implementeren van HDInsight-clusters.

Als u meer dan 32 werkknooppunten in een cluster nodig hebt, selecteert u een hoofdknooppuntgrootte met ten minste 8 kernen en 14 GB RAM-geheugen.

De enige clustertypen met gegevensschijven zijn Kafka- en HBase-clusters met de functie Versnelde schrijfingen ingeschakeld. HDInsight ondersteunt in deze scenario's P30- en S30-schijfgrootten. Voor alle andere clustertypen biedt HDInsight beheerde schijfruimte met het cluster. Vanaf 07-11-2019 is de grootte van de beheerde schijf van elk knooppunt in het zojuist gemaakte cluster 128 GB. Dit kan niet worden gewijzigd.

De specificaties van alle minimaal aanbevolen VM-typen die in dit document worden gebruikt, worden samengevat in de volgende tabel.

Grootte vCPU Geheugen: GiB Tijdelijke opslag (SSD) GiB Maximale tijdelijke opslagdoorvoer: IOPS / MBps lezen / MBps schrijven Maximumaantal gegevensschijven / doorvoer: IOPS Maximale NIC's/verwachte netwerkbandbreedte (Mbps)
Standard_D3_v2 4 14 200 12.000 / 187 / 93 16/16x500 4 / 3000
Standard_D4_v2 8 28 400 24.000 / 375 / 187 32/32x500 8 / 6000
Standard_D5_v2 16 56 800 48.000 / 750 / 375 64 / 64x500 8 / 12000
Standard_D12_v2 4 28 200 12.000 / 187 / 93 16 / 16 x 500 4 / 3000
Standard_D13_v2 8 56 400 24.000 / 375 / 187 32 / 32 x 500 8 / 6000
Standard_D14_v2 16 112 800 48.000 / 750 / 375 64 / 64x500 8 / 12000
Standard_A1_v2 1 2 10 1000 / 20 / 10 2 / 2 x 500 2 / 250
Standard_A2_v2 2 4 20 2000 / 40 / 20 4 / 4 x 500 2 / 500
Standard_A4_v2 4 8 40 4000 / 80 / 40 8 / 8 x 500 4 / 1000

Zie de volgende documenten voor meer informatie over de specificaties van elk VM-type:

Alle ondersteunde regio's behalve Brazilië - zuid en Japan - west

Notitie

Als u de SKU-id wilt op halen voor gebruik in PowerShell en andere scripts, voegt u toe aan het begin van alle VM-SKU's Standard_ in de onderstaande tabellen. Wordt bijvoorbeeld D12_v2 Standard_D12_v2 .

Clustertype Hadoop HBase Interactive Query Storm Spark Kafka
Head: standaard VM-grootte D12_v2 D12_v2 D13_v2 A4_v2 D12_v2,
D13_v2*		 D3_v2
Head: minimaal aanbevolen VM-grootten D5_v2 D3_v2 D13_v2 A4_v2 D12_v2,
D13_v2*		 D3_v2
Worker: standaard VM-grootte D4_v2 D4_v2 D14_v2 D3_v2 D13_v2 4 D12_v2 met 2 S30-schijven per broker
Worker: minimaal aanbevolen VM-grootten D5_v2 D3_v2 D13_v2 D3_v2 D12_v2 D3_v2
ZooKeeper: standaard VM-grootte A4_v2 A4_v2 A4_v2 A4_v2
ZooKeeper: minimaal aanbevolen VM-grootten A4_v2 A4_v2 A2_v2 A4_v2

* = VM-grootten voor Spark Enterprise Security Package-clusters (ESP)

Alleen Brazilië - zuid en Japan - west

Clustertype Hadoop HBase Interactive Query Storm Spark
Head: standaard VM-grootte D12 D12 D13 A4_v2 D12
Head: minimaal aanbevolen VM-grootten D5_v2 D3_v2 D13_v2 A4_v2 D12_v2
Worker: standaard VM-grootte D4 D4 D14 D3 D13
Worker: minimaal aanbevolen VM-grootten D5_v2 D3_v2 D13_v2 D3_v2 D12_v2
ZooKeeper: standaard VM-grootte A4_v2 A4_v2 A4_v2
ZooKeeper: minimaal aanbevolen VM-grootten A4_v2 A4_v2 A4_v2

Notitie

  • Head staat bekend als Nimbus voor het Storm-clustertype.
  • Worker staat bekend als Supervisor voor het Storm-clustertype.
  • Worker staat bekend als Regio voor het HBase-clustertype.

Volgende stappen