AKS üzerinde HDInsight'ta Apache Flink® Yapılandırma yönetimi

Önemli

Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.

AKS'de HDInsight, çoğu özellik için Apache Flink'in varsayılan yapılandırmalarını ve yaygın uygulama profillerini temel alan birkaç yapılandırma sağlar. Ancak durum kullanımı, paralellik veya bellek ayarlarıyla belirli uygulamaların performansını artırmak için Flink yapılandırma özelliklerini değiştirmeniz gerekiyorsa AKS kümesindeki HDInsight'taki Flink İşleri Bölümünü kullanarak Flink iş yapılandırmasını değiştirebilirsiniz.

1. Ayarlar > Flink İşleri'ne > gidin, Güncelleştir'e tıklayın.

   

2. Yapılandırmayı düzenlemek için + Satır ekle'ye tıklayın.

   

   Burada denetim noktası aralığı Küme düzeyinde değiştirilir.

3. Tamam'a ve ardından Kaydet'e tıklayarak değişiklikleri güncelleştirin.

4. Kaydedildikten sonra, yeni yapılandırmalar birkaç dakika içinde (yaklaşık 5 dakika) güncelleştirilir.

5. Yapılandırma Yönetimi Ayarlar kullanılarak güncelleştirilebilen yapılandırmalar.

   processMemory size:

6. veya iş yöneticisi ve görev yöneticisinin işlem bellek boyutu için varsayılan ayarlar, küme oluşturma sırasında kullanıcı tarafından yapılandırılan bellek olacaktır.

7. Bu boyut aşağıdaki yapılandırma özelliği kullanılarak yapılandırılabilir. Görev yöneticisi işlem belleğini değiştirmek için bu yapılandırmayı kullanın.

   taskmanager.memory.process.size : <value>

   Örnek: taskmanager.memory.process.size : 2000mb

8. İş yöneticisi için

   jobmanager.memory.process.size : <value>

   Not

   Yapılandırılabilir işlem belleği üst sınırı için jobmanager/taskmanageryapılandırılan belleğe eşittir.

Denetim Noktası Aralığı

Denetim noktası aralığı, Flink'in denetim noktasını ne sıklıkta tetiklediğini belirler. Milisaniye cinsinden tanımlanır ve aşağıdaki yapılandırma özelliği kullanılarak ayarlanabilir

execution.checkpoint.interval: <value>

Varsayılan ayar 60.000 milisaniyedir (1 dk), bu değer istenildiği gibi değiştirilebilir.

Durum Arka Ucu

Durum arka ucu, Flink'in uygulamanızın durumunu nasıl yöneteceğini ve kalıcı hale getireceğini belirler. Denetim noktalarının depolanma şeklini etkiler. Aşağıdaki özelliği kullanarak 'durum arka ucu' yapılandırabilirsiniz:

state.backend: <value>

VARSAYıLAN olarak AKS üzerinde HDInsight'taki Apache Flink kümeleri Rocks DB kullanır.

Denetim Noktası Depolama Yolu

Denetim noktalarını kullanıcı tarafından yapılandırıldığı gibi depolama alanında abfs depolayarak kalıcı denetim noktalarına varsayılan olarak izin veririz. denetim noktaları kalıcı olduğundan iş başarısız olsa bile, en son denetim noktasıyla kolayca başlatılabilir.

state.checkpoints.dir: <path> değerini denetim noktalarının depolandığı istenen yolla değiştirin <path> .

Varsayılan olarak, kullanıcı tarafından yapılandırılan depolama hesabında (ABFS) depolanır. Flink podları erişebildiği sürece bu değer istenen herhangi bir yola değiştirilebilir.

En Fazla Eşzamanlı Denetim Noktası

Aşağıdaki özelliği ayarlayarak en fazla eşzamanlı denetim noktası sayısını sınırlayabilirsiniz: checkpoint.max-concurrent-checkpoints: <value>

değerini, istenen en fazla eşzamanlı denetim noktası sayısıyla değiştirin <value> . Örneğin, bir kerede yalnızca bir denetim noktasına izin vermek için 1.

En fazla korunan denetim noktası sayısı

Aşağıdaki özelliği ayarlayarak tutulacak en fazla denetim noktası sayısını sınırlayabilirsiniz: state.checkpoints.num-retained: <value> değerini istenen maksimum sayı ile değiştirin <value> . Varsayılan olarak en fazla beş denetim noktasını koruruz.

Savepoint Depolama yolu

Kayıt noktalarını depolama alanında abfs depolayarak (kullanıcı tarafından yapılandırıldığı gibi) kalıcı kayıt noktalarına varsayılan olarak izin veririz. Kullanıcı işi belirli bir kayıt noktasıyla durdurmak ve daha sonra başlatmak isterse bu konumu yapılandırabilir. state.checkpoints.dir: <path> değerini, kayıt noktalarının depolandığı istenen yolla değiştirin <path> . Varsayılan olarak, kullanıcı tarafından yapılandırılan depolama hesabında depolanır. (ABFS'i destekliyoruz). Flink podları erişebildiği sürece bu değer istenen herhangi bir yola değiştirilebilir.

İş yöneticisi yüksek kullanılabilirliği

AKS üzerinde HDInsight'ta Flink arka uç olarak Kubernetes kullanır. İş Yöneticisi bilinen/bilinmeyen bir sorun nedeniyle arada başarısız olsa bile, pod birkaç saniye içinde yeniden başlatılır. Bu nedenle, bu sorun nedeniyle iş yeniden başlatılıyor olsa bile, iş en son denetim noktasından geri kurtarılır.

SSS

neden arasında İş hatası var? İşler aniden başarısız olsa bile, denetim noktaları sürekli olarak gerçekleşiyorsa, iş varsayılan olarak en son denetim noktasından yeniden başlatılır.

aralarındaki iş stratejisi değiştirlsin mi? Bir iş düzeyi hatası nedeniyle üretimdeyken işin değiştirilmesi gereken kullanım örnekleri vardır. Bu süre boyunca, kullanıcı işi durdurabilir ve bu da otomatik olarak bir kaydetme noktası alır ve kayıt noktası konumuna kaydeder.

1. savepoint Öğesine tıklayın ve tamamlanmasını bekleyinsavepoint.

   

2. Kayıt noktası tamamlandıktan sonra Başlat'a tıklayın; İş Sekmesini Başlat görüntülenir. Açılan listeden kayıt noktası adını seçin. Gerekirse tüm yapılandırmaları düzenleyin. Ardından Tamam'a tıklayın.

   

kayıt noktası işte sağlandığından, Flink verileri işlemeye nereden başlayacağını bilir.

Başvuru

• Apache Flink Yapılandırmaları
• Apache, Apache Kafka, Kafka, Apache Flink, Flink ve ilişkili açık kaynak proje adları Apache Software Foundation'ın (ASF) ticari markalarıdır.