Konfigurace úložiště a škálovatelnosti pro platformu Apache Kafka v prostředí HDInsight

  • Článek

Zjistěte, jak nakonfigurovat počet spravovaných disků používaných Apache Kafka ve službě HDInsight.

Platforma Kafka ve službě HDInsight používá místní disky virtuálních počítačů v clusteru HDInsight. Protože je platforma Kafka náročná na V/V prostředky, k zajištění vysoké propustnosti a vyšší kapacity úložiště na každý uzel se využívají Spravované disky Azure. Kdyby platforma Kafka využívala tradiční virtuální pevné disky (VHD), každý uzel by byl omezený na 1 TB. Díky spravovaným diskům můžete používat více disků, se kterými každý uzel v clusteru nabídne kapacitu až 16 TB.

Následující diagram porovnává platformu Kafka ve službě HDInsight před použitím spravovaných disků a s nimi:

kafka with managed disks architecture.

Konfigurace spravovaných disků: portál Azure Portal

  1. Postupujte podle kroků v tématu Vytvoření clusteru HDInsight, kde se dozvíte, jaký je obecný postup pro vytvoření clusteru pomocí portálu. Nedokončí proces vytváření portálu.

  2. V části Konfigurace a ceny nakonfigurujte počet disků pomocí pole Počet uzlů.

    Poznámka:

    Typ spravovaného disku může být buď Standardní (HDD), nebo Prémiový (SSD). Prémiové disky se používají u virtuálních počítačů řady DS a GS. Všechny ostatní typy virtuálních počítačů používají standardní disky.

    cluster size section with the disks per worker node highlighted.

Konfigurace spravovaných disků: šablony Resource Manageru

Pokud chcete nastavit počet disků, které využívají pracovní uzly v clusteru Kafka, použijte následující část šablony:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Další kroky

Další informace o práci s Apache Kafka ve službě HDInsight najdete v následujících dokumentech: