Jakie są domyślne i zalecane konfiguracje węzłów dla usługi Azure HDInsight?

W tym artykule omówiono domyślne i zalecane konfiguracje węzłów dla klastrów usługi Azure HDInsight.

W poniższych tabelach wymieniono domyślne i zalecane rozmiary maszyn wirtualnych dla klastrów usługi HDInsight. Te informacje są niezbędne do zrozumienia rozmiarów maszyn wirtualnych do użycia podczas tworzenia skryptów programu PowerShell lub interfejsu wiersza polecenia platformy Azure w celu wdrożenia klastrów usługi HDInsight.

Jeśli potrzebujesz więcej niż 32 węzłów roboczych w klastrze, wybierz rozmiar węzła głównego z co najmniej 8 rdzeniami i 14 GB pamięci RAM.

Jedynymi typami klastrów z dyskami danych są klastry Kafka i HBase z włączoną funkcją Przyspieszone zapisy. Usługa HDInsight obsługuje rozmiary dysków P30 i S30 w tych scenariuszach. W przypadku wszystkich innych typów klastrów usługa HDInsight zapewnia zarządzane miejsce na dysku w klastrze. Od 11.07.2019 rozmiar dysku zarządzanego każdego węzła w nowo utworzonym klastrze wynosi 128 GB. Nie można tego zmienić.

Specyfikacje wszystkich minimalnych zalecanych typów maszyn wirtualnych używanych w tym dokumencie zostały podsumowane w poniższej tabeli.

Rozmiar Procesor wirtualny Pamięć: GiB Magazyn tymczasowy (SSD): GiB Maksymalna przepływność magazynu tymczasowego: operacje we/wy na sek. / odczyt MB/s / zapis MB/s Maksymalna liczba dysków danych / przepływność: liczba operacji we/wy na sekundę Maksymalna liczba kart sieciowych/ Oczekiwana przepustowość sieci (Mb/s)
Standardowa_D3_v2 4 14 200 12000 / 187 / 93 16 / 16 x 500 4 / 3000
Standardowa_D4_v2 8 28 400 24000 / 375 / 187 32 / 32 x 500 8 / 6000
Standardowa_D5_v2 16 56 800 48000 / 750 / 375 64 / 64x500 8 / 12000
Standardowa_D12_v2 4 28 200 12000 / 187 / 93 16 / 16 x 500 4 / 3000
Standardowa_D13_v2 8 56 400 24000 / 375 / 187 32 / 32 x 500 8 / 6000
Standardowa_D14_v2 16 112 800 48000 / 750 / 375 64 / 64x500 8 / 12000
Standardowa_A1_v2 1 2 10 1000 / 20 / 10 2 / 2 x 500 2 / 250
Standardowa_A2_v2 2 4 20 2000 / 40 / 20 4 / 4 x 500 2 / 500
Standardowa_A4_v2 4 8 40 4000 / 80 / 40 8 / 8 x 500 4 / 1000

Aby uzyskać więcej informacji na temat specyfikacji poszczególnych typów maszyn wirtualnych, zobacz następujące dokumenty:

Wszystkie obsługiwane regiony

Uwaga

Aby uzyskać identyfikator jednostki SKU do użycia w programie PowerShell i innych skryptach, dodaj Standard_ do początku wszystkich jednostek SKU maszyn wirtualnych w poniższych tabelach. Na przykład D12_v2 stanie się to .Standard_D12_v2

Typ klastra Hadoop HBase Zapytanie interakcyjne platforma Spark Kafka
Head: domyślny rozmiar maszyny wirtualnej E4_v3 E4_v3 D13_v2 E8_v3,
D13_v2*
E4_v3
Head: minimalne zalecane rozmiary maszyn wirtualnych D5_v2 D3_v2 D13_v2 D12_v2,
D13_v2*
D3_v2
Proces roboczy: domyślny rozmiar maszyny wirtualnej E8_v3 E4_v3 D14_v2 E8_v3 4 E4_v3 z 2 dyskami S30 na brokera
Proces roboczy: minimalne zalecane rozmiary maszyn wirtualnych D5_v2 D3_v2 D13_v2 D12_v2 D3_v2
ZooKeeper: domyślny rozmiar maszyny wirtualnej A4_v2 A4_v2 A4_v2
ZooKeeper: minimalne zalecane rozmiary maszyn wirtualnych A4_v2 A4_v2 A4_v2

* = rozmiary maszyn wirtualnych dla klastrów pakietu Spark Enterprise Security (ESP)

Uwaga

  • Proces roboczy jest znany jako Region dla typu klastra HBase.

Następne kroki