Gelişmiş Otomatik Ölçeklendirme ile Delta Live Tables işlem hatlarının küme kullanımını iyileştirme

Databricks Gelişmiş Otomatik Ölçeklendirme, iş yükü hacmine göre küme kaynaklarını otomatik olarak ayırarak küme kullanımını en iyi duruma getirerek işlem hatlarınızın veri işleme gecikme süresini en düşük düzeyde etkiler.

Gelişmiş Otomatik Ölçeklendirme, aşağıdaki özelliklerle Azure Databricks kümesi otomatik ölçeklendirme işlevselliğini geliştirir:

• Gelişmiş Otomatik Ölçeklendirme, akış iş yüklerinin iyileştirmesini uygular ve toplu iş yüklerinin performansını iyileştirmeye yönelik iyileştirmeler ekler. Gelişmiş Otomatik Ölçeklendirme, iş yükü değiştikçe makineleri ekleyerek veya kaldırarak maliyetleri iyileştirir.
• Gelişmiş Otomatik Ölçeklendirme, yetersiz kullanılan düğümleri proaktif olarak kapatır ve kapatma sırasında başarısız görevler olmamasını garanti eder. Mevcut küme otomatik ölçeklendirme özelliği yalnızca düğüm boşta olduğunda düğümlerin ölçeğini küçültür.

Gelişmiş Otomatik Ölçeklendirme, Delta Live Tables kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için Gelişmiş Otomatik Ölçeklendirme'yi etkinleştirebilirsiniz. Delta Live Tables API'siyle işlem hatları oluştururken veya düzenlerken Gelişmiş Otomatik Ölçeklendirme'yi de etkinleştirebilirsiniz.

Gelişmiş Otomatik Ölçeklendirmeyi Etkinleştirme

Not

İşlem kaynakları sunucusuz işlem hatları için otomatik olarak iyileştirildiğinden, işlem hattı için Sunucusuz (Genel Önizleme) seçeneğini belirlediğinizde Databricks Gelişmiş Otomatik Ölçeklendirme ayarları kullanılamaz.

Sunucusuz DLT işlem hatlarını etkinleştirme hakkında bilgi edinmek için Azure Databricks hesap ekibinize başvurun.

Gelişmiş Otomatik Ölçeklendirme'yi kullanmak için aşağıdakilerden birini yapın:

• Delta Live Tables kullanıcı arabiriminde işlem hattı oluşturduğunuzda veya işlem hattını düzenlerken Küme modunu Gelişmiş otomatik ölçeklendirme olarak ayarlayın.
• autoscale İşlem hattı kümesi yapılandırmasına ayarını ekleyin ve alanını olarak ENHANCEDayarlayınmode. Bkz . İşlem ayarlarınızı yapılandırma.

Üretim işlem hatları için Gelişmiş Otomatik Ölçeklendirme'yi yapılandırırken aşağıdaki yönergeleri kullanın:

• Min workers Ayarı varsayılan olarak bırakın.
• Max workers Ayarı bütçe ve işlem hattı önceliğine göre bir değer olarak ayarlayın.

Aşağıdaki örnek, en az 5 çalışan ve en fazla 10 çalışan ile Gelişmiş Otomatik Ölçeklendirme kümesi yapılandırılır. max_workers değerinden büyük veya eşit min_workersolmalıdır.

Not

• Gelişmiş Otomatik Ölçeklendirme yalnızca kümeler için updates kullanılabilir. Mevcut otomatik ölçeklendirme özelliği kümeler için maintenance kullanılır.
• Yapılandırmanın autoscale iki modu vardır:
  • LEGACY: Küme otomatik ölçeklendirmesini kullanın.
  • ENHANCED: Gelişmiş Otomatik Ölçeklendirme'yi kullanın.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

İşlem hattı sürekli yürütme için yapılandırılmışsa, otomatik ölçeklendirme yapılandırması değiştikten sonra işlem hattı otomatik olarak yeniden başlatılır. Yeniden başlatmadan sonra, kısa bir süre artan gecikme süresi bekleyebilirsiniz. Bu kısa gecikme süresinin ardından küme boyutu yapılandırmanıza autoscale göre güncelleştirilmeli ve işlem hattı gecikme süresi önceki gecikme süresi özelliklerine döndürülmelidir.

Gelişmiş Otomatik Ölçeklendirme özellikli işlem hatlarını izleme

Gelişmiş Otomatik Ölçeklendirme ölçümlerini izlemek için Delta Live Tables kullanıcı arabirimindeki olay günlüğünü kullanabilirsiniz. Gelişmiş Otomatik Ölçeklendirme olayları olay türüne autoscale sahiptir. Örnek olaylar şunlardır:

Etkinlik	İleti
Küme yeniden boyutlandırma isteği başlatıldı	Scaling [up or down] to <y> executors from current cluster size of <x>
Küme yeniden boyutlandırma isteği başarılı oldu	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
Küme yeniden boyutlandırma isteği kısmen başarılı oldu	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
Küme yeniden boyutlandırma isteği başarısız oldu	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

Olay günlüğünü doğrudan sorgulayarak Gelişmiş Otomatik Ölçeklendirme olaylarını da görüntüleyebilirsiniz:

• Kapsam ölçümlerinin olay günlüğünü sorgulamak için bkz . Olay günlüğünü sorgulayarak veri kapsamlarını izleme.
• Gelişmiş Otomatik Ölçeklendirme işlemleri sırasında küme yeniden boyutlandırma isteklerini ve yanıtlarını izlemek için bkz . Olay günlüğünden Gelişmiş Otomatik Ölçeklendirme olaylarını izleme.