HDInsight 上の Apache Kafka 用に記憶域とスケーラビリティを構成するConfigure storage and scalability for Apache Kafka on HDInsight

HDInsight 上の Apache Kafka によって使用されるマネージド ディスクの数を構成する方法について説明します。Learn how to configure the number of managed disks used by Apache Kafka on HDInsight.

HDInsight 上の Kafka は、HDInsight クラスターの仮想マシンのローカル ディスクを使います。Kafka on HDInsight uses the local disk of the virtual machines in the HDInsight cluster. Kafka は I/O が非常に多いため、Azure Managed Disks を使ってノードごとに高いスループットと多くの記憶域を提供します。Since Kafka is very I/O heavy, Azure Managed Disks is used to provide high throughput and provide more storage per node. 従来の仮想ハード ドライブ (VHD) を Kafka 用に使う場合は、各ノードは 1 TB に制限されます。If traditional virtual hard drives (VHD) were used for Kafka, each node is limited to 1 TB. マネージド ディスクの場合は、複数のディスクを使ってクラスターの各ノードを 16 TB にできます。With managed disks, you can use multiple disks to achieve 16 TB for each node in the cluster.

次の図は、マネージド ディスクを使う前と使った後の HDInsight 上の Kafka を比較したものです。The following diagram provides a comparison between Kafka on HDInsight before managed disks, and Kafka on HDInsight with managed disks:

Kafka とマネージド ディスクのアーキテクチャ

マネージド ディスクを構成する:Azure ポータルConfigure managed disks: Azure portal

  1. HDInsight クラスターの作成」の手順に従って、Portal を使ってクラスターを作成する一般的な手順を理解します。Follow the steps in the Create an HDInsight cluster to understand the common steps to create a cluster using the portal. Portal の作成プロセスは実行しないでください。Do not complete the portal creation process.

  2. [クラスター サイズ] セクションの [Disks per worker node(ワーカー ノードごとのディスク数)] フィールドを使って、ディスクの数を構成します。From the Cluster size section, use the Disks per worker node field to configure the number of disks.

    注意

    マネージド ディスクの種類は、Standard (HDD) または Premium (SSD) です。The type of managed disk can be either Standard (HDD) or Premium (SSD). Premium ディスクは、DS および GS シリーズの VM で使われます。Premium disks are used with DS and GS series VMs. 他の種類の VM はすべて Standard を使います。All other VM types use standard.

    ワーカー ノードごとのディスク数が強調表示されている [クラスター サイズ] セクション

マネージド ディスクを構成する:Resource Manager テンプレートConfigure managed disks: Resource Manager template

Kafka クラスターのワーカー ノードによって使われるディスクの数を制御するには、テンプレートの次のセクションを使います。To control the number of disks used by the worker nodes in a Kafka cluster, use the following section of the template:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

https://hditutorialdata.blob.core.windows.net/armtemplates/create-linux-based-kafka-mirror-cluster-in-vnet-v2.1.json に、マネージド ディスクを構成する方法を示す完全なテンプレートがあります。You can find a complete template that demonstrates how to configure managed disks at https://hditutorialdata.blob.core.windows.net/armtemplates/create-linux-based-kafka-mirror-cluster-in-vnet-v2.1.json.

次の手順Next steps

HDInsight 上の Apache Kafka の操作の詳細については、次のドキュメントを参照してください。For more information on working with Apache Kafka on HDInsight, see the following documents: