Konfigurieren von Speicher und Skalierbarkeit für Apache Kafka in HDInsightConfigure storage and scalability for Apache Kafka on HDInsight

Erfahren Sie, wie Sie die Anzahl der von Apache Kafka in HDInsight verwendeten verwalteten Datenträgern konfigurieren.Learn how to configure the number of managed disks used by Apache Kafka on HDInsight.

Kafka in HDInsight verwendet den lokalen Datenträger der virtuellen Computer im HDInsight-Cluster.Kafka on HDInsight uses the local disk of the virtual machines in the HDInsight cluster. Da Kafka sehr E/A-intensiv ist, wird Azure Managed Disks verwendet, um einen hohen Durchsatz zu ermöglichen und mehr Speicher pro Knoten bereitzustellen.Since Kafka is very I/O heavy, Azure Managed Disks is used to provide high throughput and provide more storage per node. Wenn herkömmliche virtuelle Festplatten (VHD) für Kafka verwendet werden, ist jeder Knoten auf 1 TB beschränkt.If traditional virtual hard drives (VHD) were used for Kafka, each node is limited to 1 TB. Mit verwalteten Datenträgern können Sie mehrere Datenträger verwenden, um für jeden Knoten im Cluster 16 TB zu erzielen.With managed disks, you can use multiple disks to achieve 16 TB for each node in the cluster.

Das folgende Diagramm zeigt einen Vergleich zwischen Kafka in HDInsight vor verwalteten Datenträgern und Kafka in HDInsight mit verwalteten Datenträgern:The following diagram provides a comparison between Kafka on HDInsight before managed disks, and Kafka on HDInsight with managed disks:

Diagramm, das Kafka in HDInsight mit einer einzelnen VHD pro VM im Vergleich zu mehreren verwalteten Datenträgern pro VM zeigt

Konfigurieren von verwalteten Datenträgern: Azure-PortalConfigure managed disks: Azure portal

  1. Führen Sie die Schritte unter Erstellen eines HDInsight-Clusters aus, um die übliche Vorgehensweise zum Erstellen eines Clusters mit dem Portal zu verstehen.Follow the steps in the Create an HDInsight cluster to understand the common steps to create a cluster using the portal. Führen Sie den Vorgang zum Erstellen eines Portals nicht aus.Do not complete the portal creation process.

  2. Verwenden Sie im Abschnitt Clustergröße das Feld Datenträger pro Workerknoten, um die Anzahl von Datenträgern zu konfigurieren.From the Cluster size section, use the Disks per worker node field to configure the number of disks.

    Hinweis

    Der Typ des verwalteten Datenträgers kann entweder Standard (HDD) oder Premium (SSD) sein.The type of managed disk can be either Standard (HDD) or Premium (SSD). Premium-Datenträger werden mit virtuellen Computern der DS- und GS-Serie verwendet.Premium disks are used with DS and GS series VMs. Alle anderen virtuellen Computertypen verwenden den Standardtyp.All other VM types use standard.

    Abbildung des Abschnitts „Clustergröße“ mit hervorgehobenen Datenträgern pro Workerknoten

Konfigurieren von verwalteten Datenträgern: Resource Manager-VorlageConfigure managed disks: Resource Manager template

Um die Anzahl der von den Workerknoten in einem Kafka-Cluster verwendeten Datenträger zu steuern, verwenden Sie den folgenden Abschnitt der Vorlage:To control the number of disks used by the worker nodes in a Kafka cluster, use the following section of the template:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Sie finden eine vollständige Vorlage, die das Konfigurieren von verwalteten Datenträgern veranschaulicht, unter https://hditutorialdata.blob.core.windows.net/armtemplates/create-linux-based-kafka-mirror-cluster-in-vnet-v2.1.json.You can find a complete template that demonstrates how to configure managed disks at https://hditutorialdata.blob.core.windows.net/armtemplates/create-linux-based-kafka-mirror-cluster-in-vnet-v2.1.json.

Nächste SchritteNext steps

Weitere Informationen zur Verwendung von Apache Kafka in HDInsight finden Sie in den folgenden Dokumenten:For more information on working with Apache Kafka on HDInsight, see the following documents: