HDInsight’ta Apache Kafka ile verilerinizin yüksek kullanılabilirliği
Temel alınan donanım rafı yapılandırmasından yararlanmak için Apache Kafka konuları için bölüm çoğaltmalarını yapılandırmayı öğrenin. Bu yapılandırma, HDInsight’taki Apache Kafka’da depolanmış verilerin kullanılabilir olmasını sağlar.
Apache Kafka ile hata ve güncelleştirme etki alanları
Hata etki alanı, bir Azure veri merkezinde temel donanımlardan oluşan mantıksal bir gruplandırmadır. Her hata etki alanı ortak bir güç kaynağı ve ağ anahtarına sahiptir. Bir HDInsight kümesi içindeki düğümleri uygulayan sanal makineler ve yönetilen diskler, bu hata etki alanlarına dağıtılır. Bu mimari, fiziksel donanım hatalarının olası etkisini sınırlar.
Her Azure bölgesinde belirli sayıda hata etki alanı bulunur. Etki alanlarının ve içerdikleri hata etki alanı sayısının listesi için Kullanılabilirlik kümeleri belgelerine bakın.
Önemli
Kafka, hata etki alanları ile uyumlu değildir. Kafka’da bir konu oluşturduğunuzda, tüm bölüm çoğaltmaları aynı hata etki alanında depolanabilir. HDInsight, bu sorunu çözmek için Kafka bölüm yeniden dengeleme aracını kullanıma sunuyor.
Bölüm çoğaltmaları ne zaman yeniden dengelenmelidir?
Kafka verilerinizin en yüksek kullanılabilirliğe sahip olmasını istiyorsanız, konu başlığınız için bölüm çoğaltmalarını aşağıdaki durumlarda yeniden dengelemeniz gerekir:
Yeni bir konu veya bölüm oluşturulduğunda
Bir kümenin ölçeğini artırdığınızda
Çoğaltma faktörü
Önemli
Üç hata etki alanı içeren ve çoğaltma faktörü 3 olan bir Azure bölgesi kullanmanız önerilir.
Yalnızca iki hata etki alanı içeren bir bölge kullanmanız gerekiyorsa, çoğaltmaları iki hata etki alanına eşit oranda yaymak için çoğaltma faktörü olarak 4 kullanın.
Konu oluşturma ve çoğaltma faktörünü ayarlama örneği için HDInsight üzerinde Apache Kafka ile başlama belgesine bakın.
Bölüm çoğaltmalarını yeniden dengeleme
Seçilen konuları yeniden dengelemek için Apache Kafka bölüm yeniden dengeleme aracını kullanın. Bu araç bir SSH oturumundan Kafka kümenizin baş düğümüne doğru çalıştırılmalıdır.
SSH kullanarak HDInsight’a bağlanma hakkında daha fazla bilgi için HDInsight ile SSH’yi kullanma belgesine bakın.