Delta Live Tables işlem hattında güncelleştirme çalıştırma

Bu makalede Delta Live Tables işlem hattı güncelleştirmesinin ne olduğu ve nasıl çalıştırılacakları açıklanmaktadır.

İşlem hattı oluşturduktan ve çalıştırmaya hazır olduktan sonra bir güncelleştirme başlatırsınız. İşlem hattı güncelleştirmesi aşağıdakileri yapar:

• Doğru yapılandırmaya sahip bir küme başlatır.
• Tanımlanan tüm tabloları ve görünümleri bulur ve geçersiz sütun adları, eksik bağımlılıklar ve söz dizimi hataları gibi analiz hatalarını denetler.
• Kullanılabilir en son verilerle tabloları ve görünümleri oluşturur veya güncelleştirir.

Doğrulama güncelleştirmesi kullanarak tabloların oluşturulmasını veya güncelleştirilmeyi beklemeden işlem hattının kaynak kodundaki sorunları de kontrol edebilirsiniz. Bu Validate özellik, işlem hattınızdaki yanlış tablo veya sütun adları gibi hataları hızla bulup düzeltmenize olanak tanıyarak işlem hatlarını geliştirirken veya test ederken kullanışlıdır.

İşlem hattı oluşturmayı öğrenmek için bkz . Öğretici: İlk Delta Live Tables işlem hattınızı çalıştırma.

İşlem hattı güncelleştirmesini başlatma

Azure Databricks, işlem hattı güncelleştirmelerini başlatmak için aşağıdakiler de dahil olmak üzere çeşitli seçenekler sağlar:

• Delta Live Tables kullanıcı arabiriminde aşağıdaki seçeneklere sahipsiniz:
  • İşlem hattı ayrıntıları sayfasındaki düğmeye tıklayın.
  • İşlem hatları listesinde Eylemler sütununa tıklayın.
• Not defterinde güncelleştirme başlatmak için, not defteri araç çubuğunda Delta Live Tablolar > Başlat'a tıklayın. Bkz. Not defterinden Delta Live Tables işlem hattını açma veya çalıştırma.
• API veya CLI kullanarak işlem hatlarını program aracılığıyla tetikleyebilirsiniz. Bkz . Delta Live Tables API kılavuzu.
• Delta Live Tables kullanıcı arabirimini veya iş kullanıcı arabirimini kullanarak işlem hattını iş olarak zamanlayabilirsiniz. Bkz. İşlem hattı zamanlama.

Delta Live Tabloları tabloları ve görünümleri nasıl güncelleştirir?

Tablolar ve görünümler güncelleştirildi ve bu tabloların nasıl güncelleştirildiğinden, güncelleştirme türüne bağlıdır:

• Tümünü yenile: Tüm canlı tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Tüm akış tabloları için tabloya yeni satırlar eklenir.
• Tümünü tam yenileme: Tüm canlı tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Delta Live Tables, tüm akış tabloları için her tablodaki tüm verileri temizlemeyi ve ardından akış kaynağındaki tüm verileri yüklemeyi dener.
• Yenileme seçimi: 'nin refresh selection davranışı ile refresh allaynıdır, ancak yalnızca seçili tabloları yenilemenize olanak tanır. Seçili canlı tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Seçili akış tabloları için tabloya yeni satırlar eklenir.
• Tam yenileme seçimi: 'nin full refresh selection davranışı ile full refresh allaynıdır, ancak yalnızca seçili tabloların tam yenilemesini gerçekleştirmenize olanak tanır. Seçili canlı tablolar, giriş veri kaynaklarının geçerli durumunu yansıtacak şekilde güncelleştirilir. Delta Live Tables, seçili akış tabloları için her tablodaki tüm verileri temizlemeyi ve ardından akış kaynağındaki tüm verileri yüklemeyi dener.

Mevcut canlı tablolar için bir güncelleştirme, gerçekleştirilmiş görünümdeki SQL REFRESH ile aynı davranışa sahiptir. Yeni canlı tablolar için davranış, SQL CREATE işlemiyle aynıdır.

Seçili tablolar için işlem hattı güncelleştirmesi başlatma

İşlem hattınızda yalnızca seçili tablolar için verileri yeniden işlemek isteyebilirsiniz. Örneğin, geliştirme sırasında yalnızca tek bir tabloyu değiştirir ve test süresini kısaltmak istersiniz veya işlem hattı güncelleştirmesi başarısız olur ve yalnızca başarısız tabloları yenilemek istersiniz.

Not

Seçmeli yenilemeyi yalnızca tetiklenen işlem hatlarıyla kullanabilirsiniz.

Yalnızca seçili tabloları yenileyen bir güncelleştirme başlatmak için İşlem hattı ayrıntıları sayfasında:

1. Yenileme için tablo seç'e tıklayın. Yenileme için tabloları seçin iletişim kutusu görüntülenir.

   Yenileme için tabloları seç düğmesini görmüyorsanız İşlem hattı ayrıntıları sayfasında en son güncelleştirmenin görüntülendiğinden ve güncelleştirmenin tamamlandığından emin olun. Örneğin, güncelleştirme başarısız olduğundan en son güncelleştirme için bir DAG görüntülenmezse Yenileme için tabloları seç düğmesi görüntülenmez.

2. Yenilenmesi gereken tabloları seçmek için her tabloya tıklayın. Seçili tablolar vurgulanır ve etiketlenir. Bir tabloyu güncelleştirmeden kaldırmak için tabloya yeniden tıklayın.

3. Seçimi yenile'ye tıklayın.

   Not

   Seçimi yenile düğmesi, seçili tabloların sayısını parantez içinde görüntüler.

Seçili tablolar için zaten alınmış olan verileri yeniden işlemek için Seçimi yenile düğmesinin yanına tıklayın ve Tam Yenileme seçimi'ne tıklayın.

Başarısız tablolar için işlem hattı güncelleştirmesi başlatma

İşlem hattı grafiğindeki bir veya daha fazla tablodaki hatalar nedeniyle işlem hattı güncelleştirmesi başarısız olursa, yalnızca başarısız tabloların ve aşağı akış bağımlılıklarının güncelleştirmesini başlatabilirsiniz.

Not

Dışlanan tablolar, başarısız bir tabloya bağlı olsalar bile yenilenmez.

Başarısız tabloları güncelleştirmek için İşlem hattı ayrıntıları sayfasında Başarısız tabloları yenile'ye tıklayın.

Yalnızca seçili başarısız tabloları güncelleştirmek için:

1. Başarısız tabloları yenile düğmesinin yanına tıklayın ve Yenileme için tabloları seç'e tıklayın. Yenileme için tabloları seçin iletişim kutusu görüntülenir.

2. Yenilenmesi gereken tabloları seçmek için her tabloya tıklayın. Seçili tablolar vurgulanır ve etiketlenir. Bir tabloyu güncelleştirmeden kaldırmak için tabloya yeniden tıklayın.

3. Seçimi yenile'ye tıklayın.

   Not

   Seçimi yenile düğmesi, seçili tabloların sayısını parantez içinde görüntüler.

Seçili tablolar için zaten alınmış olan verileri yeniden işlemek için Seçimi yenile düğmesinin yanına tıklayın ve Tam Yenileme seçimi'ne tıklayın.

Tabloların güncelleştirilesini beklemeden işlem hattında hata olup olmadığını denetleme

Önemli

Delta Live Tables Validate güncelleştirme özelliği Genel Önizleme aşamasındadır.

tam güncelleştirme çalıştırmadan işlem hattının kaynak kodunun geçerli olup olmadığını denetlemek için Doğrula'yı kullanın. Güncelleştirme Validate , işlem hattında tanımlanan veri kümelerinin ve akışların tanımlarını çözümler ancak hiçbir veri kümesini gerçekleştirmez veya yayımlamaz. Doğrulama sırasında bulunan yanlış tablo veya sütun adları gibi hatalar kullanıcı arabiriminde bildirilir.

Bir Validate güncelleştirmeyi çalıştırmak için işlem hattı ayrıntıları sayfasında Başlat'ın yanına tıklayınve Doğrula'ya tıklayın.

Validate Güncelleştirme tamamlandıktan sonra, olay günlüğü yalnızca güncelleştirmeyle Validate ilgili olayları gösterir ve DAG'de hiçbir ölçüm görüntülenmez. Hatalar bulunursa, ayrıntılar olay günlüğünde kullanılabilir.

Yalnızca en son Validate güncelleştirmenin sonuçlarını görebilirsiniz. Validate Güncelleştirme en son çalıştırılan güncelleştirmeyse, güncelleştirme geçmişinde seçerek sonuçları görebilirsiniz. Güncelleştirmeden Validate sonra başka bir güncelleştirme çalıştırılırsa sonuçlar artık kullanıcı arabiriminde kullanılamaz.

Sürekli ve tetiklenen işlem hattı yürütme karşılaştırması

İşlem hattı tetiklenen yürütme modunu kullanıyorsa, sistem işlem hattındaki tüm tabloları veya seçili tabloları bir kez başarıyla yeniledikten sonra işlemeyi durdurur ve güncelleştirmenin parçası olan her tablonun güncelleştirme başlatıldığında kullanılabilir verilere göre güncelleştirilmesini sağlar.

İşlem hattı sürekli yürütme kullanıyorsa Delta Live Tables, yeni verileri işlem hattı genelindeki tabloların güncel kalmasını sağlamak için veri kaynaklarına ulaştığında işler.

Yürütme modu, hesaplanan tablo türünden bağımsızdır. Hem gerçekleştirilmiş görünümler hem de akış tabloları yürütme modunda güncelleştirilebilir. Sürekli yürütme modunda gereksiz işlemeyi önlemek için, işlem hatları bağımlı Delta tablolarını otomatik olarak izler ve yalnızca bu bağımlı tabloların içeriği değiştiğinde bir güncelleştirme gerçekleştirir.

Veri işlem hattı yürütme modlarını karşılaştıran tablo

Aşağıdaki tabloda, bu yürütme modları arasındaki farklar vurgulanır:

	Tetiklenmiş	Sürekli
Güncelleştirme ne zaman durduruluyor?	Tamamlandıktan sonra otomatik olarak.	El ile durdurulana kadar sürekli olarak çalışır.
Hangi veriler işlenir?	Güncelleştirme başlatıldığında kullanılabilir veriler.	Yapılandırılan kaynaklara ulaşan tüm veriler.
Bu, hangi veri tazeliği gereksinimleri için en iyisidir?	Veri güncelleştirmeleri 10 dakikada bir, saatlik veya günlük olarak çalıştırılır.	Her 10 saniye ile birkaç dakika arasında istenen veri güncelleştirmeleri.

Tetiklenen işlem hatları, küme yalnızca işlem hattını yürütmek için yeterince uzun çalıştığından kaynak tüketimini ve giderleri azaltabilir. Ancak işlem hattı tetiklenene kadar yeni veriler işlenmez. Sürekli işlem hatları her zaman çalışan bir küme gerektirir ve bu daha pahalıdır ancak işleme gecikme süresini azaltır.

Yürütme modunu ayarlardaki İşlem hattı modu seçeneğiyle yapılandırabilirsiniz.

İşlem hattı sınırlarını seçme

Delta Live Tables işlem hattı, tek bir tabloya, bağımlı ilişkisi olan birçok tabloya, ilişkisi olmayan birçok tabloya veya bağımlı ilişkileri olan birden çok bağımsız tablo akışına yönelik güncelleştirmeleri işleyebilir. Bu bölüm, işlem hatlarınızı nasıl ayıracaklarını belirlemeye yardımcı olacak önemli noktalar içerir.

Daha büyük Delta Live Tables işlem hatlarının bir dizi avantajı vardır. Bunlar aşağıdakileri içerir:

• Küme kaynaklarını daha verimli kullanın.
• Çalışma alanınızdaki işlem hattı sayısını azaltın.
• İş akışı düzenlemenin karmaşıklığını azaltın.

İşlem hatlarının nasıl bölünmesi gerektiğine ilişkin bazı yaygın öneriler şunlardır:

• İşlevleri ekip sınırlarında bölün. Örneğin, veri ekibiniz verileri dönüştürmek için işlem hatları tutarken, veri analistleriniz de dönüştürülen verileri analiz eden işlem hatlarını koruyabilir.
• Bağlamayı azaltmak ve ortak işlevlerin yeniden kullanımını kolaylaştırmak için uygulamaya özgü sınırlarda işlevselliği bölün.

Geliştirme ve üretim modları

Geliştirme ve üretim modları arasında geçiş yaparak işlem hattı yürütmeyi iyileştirebilirsiniz. Bu iki mod arasında geçiş yapmak için İşlem Hatları kullanıcı arabirimindeki düğmeleri kullanın. İşlem hatları varsayılan olarak geliştirme modunda çalışır.

İşlem hattınızı geliştirme modunda çalıştırdığınızda Delta Live Tables sistemi aşağıdakileri yapar:

• Yeniden başlatmaların yükünü önlemek için kümeyi yeniden kullanılır. Varsayılan olarak, geliştirme modu etkinleştirildiğinde kümeler iki saat boyunca çalışır. İşlem ayarlarınızı yapılandırma'daki ayar ile pipelines.clusterShutdown.delay bunu değiştirebilirsiniz.
• İşlem hattı yeniden denemelerini devre dışı bırakır, böylece hataları hemen algılayabilir ve düzeltebilirsiniz.

Üretim modunda Delta Live Tables sistemi aşağıdakileri yapar:

• Bellek sızıntıları ve eski kimlik bilgileri de dahil olmak üzere belirli kurtarılabilir hatalar için kümeyi yeniden başlatır.
• Belirli hatalar, örneğin küme başlatma hatası durumunda yürütmeyi yeniden denenir.

Not

Geliştirme ve üretim modları arasında geçiş yapmak yalnızca küme ve işlem hattı yürütme davranışını denetler. Tabloları yayımlamak için katalogdaki Depolama konumlar ve hedef şemalar işlem hattı ayarlarının bir parçası olarak yapılandırılmalıdır ve modlar arasında geçiş yaparken etkilenmez.

İşlem hattı zamanlama

Tetiklenen işlem hattını el ile başlatabilir veya azure databricks işiyle bir zamanlamaya göre işlem hattını çalıştırabilirsiniz. Doğrudan Delta Live Tables kullanıcı arabiriminde tek bir işlem hattı göreviyle iş oluşturabilir ve zamanlayabilir veya işler kullanıcı arabirimindeki çok görevli iş akışına bir işlem hattı görevi ekleyebilirsiniz.

Delta Live Tables kullanıcı arabiriminde tek görevli bir iş ve iş için zamanlama oluşturmak için:

1. Zamanlama Zamanlama > Zamanlama'ya tıklayın. Zamanladüğmesi, işlem hattı bir veya daha fazla zamanlanmış işe (örneğin, Zamanlama (5) dahil edilirse mevcut zamanlamaların sayısını gösterecek şekilde güncelleştirilir.
2. İş adı alanına proje için bir ad girin.
3. Zamanlamayı Zamanlandı olarak ayarlayın.
4. Dönemi, başlangıç saatini ve saat dilimini belirtin.
5. İşlem hattı başlatma, başarı veya hata uyarılarını almak için bir veya daha fazla e-posta adresi yapılandırın.
6. Oluştur’a tıklayın.