HDInsight üzerinde Apache Kafka için depolamayı ve ölçeklenebilirliği yapılandırma

  • Makale

HDInsight üzerinde Apache Kafka tarafından kullanılan yönetilen disklerin sayısını yapılandırmayı öğrenin.

HDInsight üzerinde Kafka, HDInsight kümesindeki sanal makinelerin yerel diskini kullanır. Kafka G/Ç açısından oldukça yoğun olduğundan yüksek aktarım hızı ve düğüm başına daha fazla depolama alanı sağlamak için Azure Yönetilen Diskler kullanılır. Kafka için geleneksel sanal sabit diskler (VHD) kullanıldıysa her düğüm 1 TB ile sınırlıdır. Yönetilen disklerle kümedeki her düğüm için 16 TB elde etmek üzere birden çok disk kullanabilirsiniz.

Aşağıdaki diyagramda, yönetilen diskli HDInsight üzerinde Kafka ile yönetilen disksiz HDInsight üzerinde Kafka karşılaştırılmaktadır:

kafka with managed disks architecture.

Yönetilen diskleri yapılandırma: Azure portalı

  1. Portalı kullanarak küme oluşturmaya yönelik genel adımları öğrenmek için HDInsight kümesi oluşturma bölümündeki adımları uygulayın. Portal oluşturma işlemini tamamlamayın.

  2. Yapılandırma ve Fiyatlandırma bölümünde Düğüm Sayısı alanını kullanarak disk sayısını yapılandırın.

    Not

    Yönetilen diskin türü Standart (HDD) veya Premium (SSD) olabilir. Premium diskler, DS ve GS serisi VM'lerle kullanılır. Diğer tüm VM türleri standart disk kullanır.

    cluster size section with the disks per worker node highlighted.

Yönetilen diskleri yapılandırma: Resource Manager şablonu

Kafka kümesindeki çalışan düğümleri tarafından kullanılan disk sayısını denetlemek için şablonun şu bölümünü kullanın:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

Sonraki adımlar

HDInsight üzerinde Apache Kafka ile çalışma hakkında daha fazla bilgi için aşağıdaki belgelere bakın: