Azure HDInsight クラスターの適切な VM サイズの選択Selecting the right VM size for your Azure HDInsight cluster

この記事では、HDInsight クラスター内のさまざまなノードに適した VM サイズを選択する方法について説明します。This article discusses how to select the right VM size for the various nodes in your HDInsight cluster.

まず、CPU 処理、RAM サイズ、ネットワーク待機時間などの仮想マシンの特性が、ワークロードの処理にどのように影響するかを理解します。Begin by understanding how the properties of a virtual machine such as CPU processing, RAM size, and network latency will affect the processing of your workloads. 次に、アプリケーションについて考えます。使用するアプリケーションが、さまざまな VM ファミリの最適化対象にどれだけ合致しているかを検討します。Next, think about your application and how it matches with what different VM families are optimized for. 使用する予定の VM ファミリが、デプロイする予定のクラスターの種類と互換性があることを確認します。Make sure that the VM family that you would like to use is compatible with the cluster type that you plan to deploy. クラスターの種類ごとの、サポート対象で推奨されるすべての VM サイズの一覧については、Azure HDInsight でサポートされるノード構成に関するページを参照してください。For a list of all supported and recommended VM sizes for each cluster type, see Azure HDInsight supported node configurations. 最後に、ベンチマーク プロセスを使用していくつかのサンプル ワークロードをテストし、そのファミリ内のどの SKU が適しているかを調べます。Lastly, you can use a benchmarking process to test some sample workloads and check which SKU within that family is right for you.

ストレージの種類やクラスター サイズの選択など、クラスターのその他の側面に関する計画の詳細については、「HDInsight クラスターの容量計画」を参照してください。For more information on planning other aspects of your cluster such as selecting a storage type or cluster size, see Capacity planning for HDInsight clusters.

VM の特性とビッグ データのワークロードVM properties and big data workloads

VM のサイズと種類は、CPU の処理能力、RAM サイズ、ネットワーク待ち時間によって決まります。The VM size and type is determined by CPU processing power, RAM size, and network latency:

  • CPU: VM サイズによってコア数が決まります。CPU: The VM size dictates the number of cores. コア数が増えるほど、各ノードで実現できる並列計算の度合いが上がります。The more cores, the greater the degree of parallel computation each node can achieve. また、VM の一部の種類は高速コアを備えています。Also, some VM types have faster cores.

  • RAM: VM サイズによって、VM で使用可能な RAM の容量も決まります。RAM: The VM size also dictates the amount of RAM available in the VM. 処理するデータをディスクから読み取るのではなく、メモリに格納するワークロードの場合、ワーカー ノードにデータを格納できる十分なメモリがあることを確認します。For workloads that store data in memory for processing, rather than reading from disk, ensure your worker nodes have enough memory to fit the data.

  • ネットワーク: クラスターのほとんどの種類では、クラスターで処理されるデータはローカル ディスク上に存在するのではなく、Data Lake Storage や Azure Storage などの外部ストレージ サービスに存在します。Network: For most cluster types, the data processed by the cluster isn't on local disk, but rather in an external storage service such as Data Lake Storage or Azure Storage. ノードの VM とストレージ サービス間のネットワーク帯域幅とスループットを考慮します。Consider the network bandwidth and throughput between the node VM and the storage service. 通常は、VM のサイズが大きいほど、VM が使用できるネットワーク帯域幅が増加します。The network bandwidth available to a VM typically increases with larger sizes. 詳細については、VM サイズの概要に関する記事をご覧ください。For details, see VM sizes overview.

VM の最適化についてUnderstanding VM optimization

Azure の仮想マシン ファミリは、さまざまなユース ケースに適合するよう最適化されています。Virtual machine families in Azure are optimized to suit different use cases. 次の表で、最も一般的なユース ケースの一部と、それに合致する VM ファミリを確認することができます。In the table below, you can find some of the most popular use cases and the VM families that match to them.

種類Type サイズSizes 説明Description
エントリ レベルEntry-level A、Av2A, Av2 開発とテストのような、エントリ レベルのワークロードに最適な CPU パフォーマンスとメモリ構成を備えています。Have CPU performance and memory configurations best suited for entry level workloads like development and test. A シリーズは経済的で、Azure の使用を開始するための低コストなオプションとなっています。They are economical and provide a low-cost option to get started with Azure.
汎用General purpose D、DSv2、Dv2D, DSv2, Dv2 バランスのとれた CPU 対メモリ比。Balanced CPU-to-memory ratio. テストと開発、小~中規模のデータベース、および低~中程度のトラフィックの Web サーバーに最適です。Ideal for testing and development, small to medium databases, and low to medium traffic web servers.
コンピューティングの最適化Compute optimized FF 高い CPU 対メモリ比。High CPU-to-memory ratio. トラフィックが中程度の Web サーバー、ネットワーク アプライアンス、バッチ処理、アプリケーション サーバーに適しています。Good for medium traffic web servers, network appliances, batch processes, and application servers.
メモリの最適化Memory optimized Esv3、Ev3Esv3, Ev3 高いメモリ対 CPU 比。High memory-to-CPU ratio. リレーショナル データベース サーバー、中~大規模のキャッシュ、およびメモリ内分析に適しています。Great for relational database servers, medium to large caches, and in-memory analytics.
  • HDInsight がサポートされるリージョンで提供されている VM インスタンスの価格については、HDInsight の価格に関するページを参照してください。For information about pricing of available VM instances across HDInsight supported regions, see HDInsight Pricing.

軽いワークロードに向けたコスト節約型の VM の種類Cost saving VM types for light workloads

処理要件が厳しくない場合は、F シリーズが、HDInsight を使い始めるのに適した選択肢となる可能性があります。If you have light processing requirements, the F-series can be a good choice to get started with HDInsight. F シリーズは時間あたりの料金が抑えられており、vCPU あたりの Azure コンピューティング ユニット (ACU) に基づく Azure ポートフォリオにおいて、最もコスト パフォーマンスに優れています。At a lower per-hour list price, the F-series is the best value in price-performance in the Azure portfolio based on the Azure Compute Unit (ACU) per vCPU.

次の表では、Fsv2 シリーズの VM で作成できるクラスターの種類とノードの種類について説明します。The following table describes the cluster types and node types, which can be created with the Fsv2-series VMs.

クラスターの種類Cluster Type VersionVersion ワーカー ノードWorker Node ヘッド ノードHead Node Zookeeper ノードZookeeper Node
SparkSpark AllAll F4 以上F4 and above ×no ×no
HadoopHadoop AllAll F4 以上F4 and above ×no ×no
KafkaKafka AllAll F4 以上F4 and above ×no ×no
hbaseHBase AllAll F4 以上F4 and above ×no ×no
LLAPLLAP disableddisabled ×no ×no ×no
StormStorm disableddisabled ×no ×no ×no
ML ServiceML Service HDI 3.6 のみHDI 3.6 ONLY F4 以上F4 and above ×no ×no

F シリーズの各 SKU の仕様を確認するには、F シリーズの VM サイズに関するページを参照してください。To see the specifications of each F-series SKU, see F-series VM sizes.

ベンチマークBenchmarking

ベンチマークは、シミュレートされたワークロードをさまざまな VM で実行し、運用環境のワークロードに対してどれだけのパフォーマンスが発揮されるかを測定するプロセスです。Benchmarking is the process of running simulated workloads on different VMs to measure how well they will perform for your production workloads.

VM SKU とクラスター サイズのベンチマークの詳細については、Azure HDInsight のクラスターの容量計画に関するページを参照してください。For more information on benchmarking for VM SKUs and cluster sizes, see Cluster capacity planning in Azure HDInsight .

次の手順Next steps