Apache HBase için Azure HDInsight Hızlandırılmış Yazma İşlemleri

Bu makalede, Azure HDInsight'da Apache HBase için Hızlandırılmış Yazmalar özelliğinin arka planı ve yazma performansını geliştirmek için nasıl etkili bir şekilde kullanılası açıklanmıştır. Hızlandırılmış Yazmalar, Apache HBase Ön Yazma Günlüğü(WAL) performansını geliştirmek için Azure premium SSD yönetilen diskleri kullanır. Apache HBase hakkında daha fazla bilgi edinmek için bkz. HDInsight'ta Apache HBase nedir?

HBase mimarisine genel bakış

HBase'de bir satır bir veya daha fazla sütundan oluşur ve bir satır anahtarıyla tanımlanır. Bir tabloyu birden çok satırdan oluşturabilirsiniz. Sütunlar, bu sütundaki değerin zaman damgasına sahip sürümleri olan hücreleri içerir. Sütunlar sütun ailelerine gruplanır ve bir sütun ailesinde yer alan tüm sütunlar HFiles adlı depolama dosyalarında birlikte depolanır.

HBase'de bölgeler, veri işleme yükünü dengelemek için kullanılır. HBase ilk olarak bir tablonun satırlarını tek bir bölgede depolar. Tablodaki veri miktarı arttıkça satırlar birden çok bölgeye yayılır. Bölge Sunucuları birden çok bölge için istekleri işebilir.

Apache HBase için Ön Günlük Yazma

HBase ilk olarak veri güncelleştirmelerini Yazma Ön Günlüğü (WAL) adlı bir işleme günlüğü türüne yazar. Güncelleştirme WAL'de depolandığı zaman bellek içinde MemStore'a yazılır. Bellekte yer alan veriler maksimum kapasiteye ulaştığında, diske HFile olarak yazılır.

Bir RegionServer kilitleniyorsa veya MemStore boşaltmadan kullanılamaz duruma gelirse, güncelleştirmeleri yeniden oynatmak için Önceden Yazma Günlüğü kullanılabilir. WAL olmadan, bir RegionServer güncelleştirmeleri HFile'a boşaltmadan önce kilitleniyorsa, bu güncelleştirmelerin hepsi kaybolur.

Apache HBase için Azure HDInsight Hızlandırılmış Yazmalar özelliği

Hızlandırılmış Yazmalar özelliği, bulut depolamada yer alan Ön Yazma Günlüklerini kullanmanın neden olduğu daha yüksek yazma gecikmeleri sorununu çözer. HDInsight Apache HBase kümeleri için Hızlandırılmış Yazmalar özelliği, her RegionServer'a (çalışan düğümü) premium SSD ile yönetilen diskler iliştirer. Daha sonra Yazma Ön Günlükleri, bulut depolama alanı yerine bu premium yönetilen disklere bağlanan Hadoop Dosya Sistemine (HDFS) yazılır. Premium diskler Solid-State Diskler (SDD) kullanır ve hataya dayanıklılık ile mükemmel bir I/O performansı sunar. Tek bir depolama biriminin kullanım dışı olması, aynı kullanılabilirlik kümesinde yer alan diğer depolama birimlerini etkilemez. Sonuç olarak, yönetilen diskler uygulamalarınız için düşük yazma gecikme süresi ve daha iyi bir süre sağlar. Azure tarafından yönetilen diskler hakkında daha fazla bilgi edinmek için bkz. Azure yönetilen disklere giriş.

HDInsight'ta HBase için Hızlandırılmış Yazmalar'ı etkinleştirme

Hızlandırılmış Yazmalar özelliğiyle yeni bir HBase kümesi oluşturmak için HDInsight'takümeleri ayarlama adımlarını izleyin. Temel sekmesinde HBase olarak küme türünü seçin, bir bileşen sürümü belirtin ve ardından HBase hızlandırılmış yazmalarını etkinleştir'in yanındaki onay kutusuna tıklayın. Ardından, küme oluşturma için kalan adımlarla devam edin.

Diğer önemli noktalar

Veri dayanıklılığını korumak için en az üç çalışan düğümüne sahip bir küme oluşturun. Oluşturulduktan sonra kümenin ölçeğini üç çalışan düğümünden az olacak şekilde ölçeklendiresiniz.

Önceden Yaz Günlük verilerini kaybetmemeniz için kümeyi silmeden önce HBase tablolarınızı boşaltabilir veya devre dışı dilersiniz.

flush 'mytable'

disable 'mytable'

Kümenizin ölçeğini aşağı doğru ölçeklendirerek benzer adımları izleyin: Tablolarınızı boşaltarak gelen verileri durdurmak için tablolarınızı devre dışı bırakma. Kümenizin ölçeğini üç düğümden az olacak şekilde ölçeklendiresiniz.

Bu adımların ardından, ölçeğin başarılı bir şekilde indirilene kadar, adnode'ların yeterli çoğaltılmış veya geçici dosyalar nedeniyle güvenli moda geçilebilsin.

Adnode'sunuz ölçek düştükten sonra güvenli moda girebilse, hdfs komutlarını kullanarak altta çoğaltılan blokları yeniden çoğaltın ve hdfs'yi güvenli moddan çıkarın. Bu yeniden çoğaltma, HBase'i başarıyla yeniden başlatmanızı sağlar.

Sonraki adımlar

• Ön Günlük Yazma özelliğiyle ilgili resmi Apache HBase belgeleri
• HDInsight Apache HBase kümenizi Hızlandırılmış Yazmalar'ı kullanmak üzere yükseltmek için bkz. Apache HBase kümenizi yeni bir sürüme geçirme.