HDInsight 上の Apache Kafka 用に記憶域とスケーラビリティを構成する

HDInsight 上の Apache Kafka によって使用されるマネージド ディスクの数を構成する方法について説明します。

HDInsight 上の Kafka は、HDInsight クラスターの仮想マシンのローカル ディスクを使います。 Kafka は I/O が非常に多いため、Azure Managed Disks を使ってノードごとに高いスループットと多くの記憶域を提供します。 従来の仮想ハード ドライブ (VHD) を Kafka 用に使う場合は、各ノードは 1 TB に制限されます。 マネージド ディスクの場合は、複数のディスクを使ってクラスターの各ノードを 16 TB にできます。

次の図は、マネージド ディスクを使う前と使った後の HDInsight 上の Kafka を比較したものです。

kafka with managed disks architecture.

マネージド ディスクを構成する: Azure Portal

  1. HDInsight クラスターの作成」の手順に従って、Portal を使ってクラスターを作成する一般的な手順を理解します。 ポータルの作成プロセスを完了しないでください。

  2. [構成と価格] セクションで、[ノード数] フィールドを使用して、ディスクの数を構成します。

    Note

    マネージド ディスクの種類は、Standard (HDD) または Premium (SSD) です。 Premium ディスクは、DS および GS シリーズの VM で使われます。 他の種類の VM はすべて Standard を使います。

    cluster size section with the disks per worker node highlighted.

マネージド ディスクを構成する: Resource Manager テンプレート

Kafka クラスターのワーカー ノードによって使われるディスクの数を制御するには、テンプレートの次のセクションを使います。

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

次のステップ

HDInsight 上の Apache Kafka の操作の詳細については、次のドキュメントを参照してください。