Azure Databricks işleri için ayarları yapılandırma

Bu makalede, İşler kullanıcı arabiriminde Azure Databricks İşleri'ni ve tek tek iş görevlerini yapılandırmaya ilişkin ayrıntılar sağlanır. databricks CLI kullanarak iş ayarlarını düzenleme hakkında bilgi edinmek için CLI komutunu databricks jobs update -hçalıştırın. İşler API'sini kullanma hakkında bilgi edinmek için bkz. İşler API'sini.

Bazı yapılandırma seçenekleri iş üzerinde, diğer seçenekler ise tek tek görevlerde kullanılabilir. Örneğin, en fazla eşzamanlı çalıştırma yalnızca iş üzerinde ayarlanabilirken, her görev için yeniden deneme ilkeleri tanımlanır.

İşi düzenleme

bir işin yapılandırmasını değiştirmek için:

1. Kenar çubuğunda İş Akışları'na tıklayın.
2. Ad sütununda iş adına tıklayın.

Yan panelde İş ayrıntıları görüntülenir. İşin tetikleyicisini, işlem yapılandırmasını, bildirimleri, en fazla eşzamanlı çalıştırma sayısını değiştirebilir, süre eşiklerini yapılandırabilir ve etiket ekleyebilir veya değiştirebilirsiniz. İş erişim denetimi etkinse, iş izinlerini de düzenleyebilirsiniz.

Tüm iş görevleri için parametre ekleme

Anahtar sözcük bağımsız değişkenlerini kabul etmek üzere yapılandırılmış Python tekerlek dosyaları da dahil olmak üzere, işin anahtar-değer parametrelerini kabul eden görevlerinden herhangi birine geçirilen bir işteki parametreleri yapılandırabilirsiniz. İş düzeyinde ayarlanan parametreler, yapılandırılan görev düzeyi parametrelerine eklenir. Görevlere geçirilen iş parametreleri, görev yapılandırmasında ve görevde yapılandırılmış tüm parametrelerde görünür.

İş parametrelerini veya Spark Submit görevleri gibi JAR anahtar-değer parametreleriyle yapılandırılmamış görevlere de geçirebilirsiniz. İş parametrelerini bu görevlere geçirmek için, bağımsız değişkenleri parametresini key tanımlayan ile değiştirerek [name] olarak {{job.parameters.[name]}}biçimlendirin.

İş parametreleri, görev parametrelerine göre önceliklidir. bir iş parametresi ve görev parametresi aynı anahtara sahipse, iş parametresi görev parametresini geçersiz kılar.

Yapılandırılmış iş parametrelerini geçersiz kılabilir veya bir işi farklı parametrelerle çalıştırdığınızda veya bir iş çalıştırması onarırken yeni iş parametreleri ekleyebilirsiniz.

Ayrıca, bir dizi dinamik değer başvurusu kullanarak işler ve görevlerle ilgili bağlamı paylaşabilirsiniz.

İş parametreleri eklemek için İş ayrıntıları yan panelinde Parametreleri düzenle'ye tıklayın ve her parametrenin anahtarını ve varsayılan değerini belirtin. Kullanılabilir dinamik değer başvurularının listesini görüntülemek için Dinamik değerlere gözat'a tıklayın.

İşe etiket ekleme

İşinize etiketler veya key:value öznitelikleri eklemek için, işi düzenlerken etiket ekleyebilirsiniz. İşler listesindeki işleri filtrelemek için etiketleri kullanabilirsiniz; örneğin, belirli bir department departmana ait tüm işleri filtrelemek için bir etiket kullanabilirsiniz.

Not

İş etiketleri, kişisel bilgiler veya parolalar gibi hassas bilgileri depolamak için tasarlanmadığından Databricks, yalnızca hassas olmayan değerler için etiketlerin kullanılmasını önerir.

Etiketler, bir iş çalıştırıldığında oluşturulan iş kümelerine de yayılır ve etiketleri mevcut küme izlemenizle kullanmanıza olanak sağlar.

Etiket eklemek veya düzenlemek için İş ayrıntıları yan panelinde + Etiket'e tıklayın. Etiketi anahtar ve değer veya etiket olarak ekleyebilirsiniz. Etiket eklemek için, etiketi Anahtar alanına girin ve Değer alanını boş bırakın.

Paylaşılan kümeleri yapılandırma

Kümeyle ilişkili görevleri görmek için Görevler sekmesine tıklayın ve yan panelde kümenin üzerine gelin. tüm ilişkili görevlerin küme yapılandırmasını değiştirmek için kümenin altında Yapılandır'a tıklayın. Tüm ilişkili görevler için yeni bir küme yapılandırmak için kümenin altındaki Değiştir'e tıklayın.

İşe erişimi denetleme

İş erişim denetimi, iş sahiplerinin ve yöneticilerin işlerinde ayrıntılı izinler vermelerini sağlar. İş sahipleri, iş sonuçlarını hangi diğer kullanıcıların veya grupların görüntüleyebileceğini seçebilir. Sahipler, iş çalıştırmalarını kimlerin yönetebileceğini de seçebilir (Şimdi çalıştır ve Çalıştırma izinlerini iptal et).

İş izin düzeyleri hakkında bilgi için bkz . İş ACL'leri.

üzerindeki izinleri yönetmek için iş üzerinde CAN MANAGE veya IS OWNER iznine sahip olmanız gerekir.

1. Kenar çubuğunda İş Çalıştırmaları'na tıklayın.

2. İşin adına tıklayın.

3. İş ayrıntıları panelinde İzinleri düzenle'ye tıklayın.

4. İzin Ayarlar Kullanıcı, Grup veya Hizmet Sorumlusu Seç... açılan menüsüne tıklayın ve bir kullanıcı, grup veya hizmet sorumlusu seçin.

   

5. Ekle'yi tıklatın.

6. Kaydet'e tıklayın.

İş sahibini yönetme

Varsayılan olarak, işin oluşturucusu IS OWNER iznine sahiptir ve işin Farklı çalıştır ayarındaki kullanıcıdır. İş, Farklı çalıştır ayarında kullanıcının kimliği olarak çalıştırılır . Farklı çalıştır ayarı hakkında daha fazla bilgi için bkz. Bir işi hizmet sorumlusu olarak çalıştırma.

Çalışma alanı yöneticileri iş sahibini kendileri olarak değiştirebilir. Sahiplik aktarıldığında, önceki sahibine CAN MANAGE izni verilir

Not

RestrictWorkspaceAdmins Çalışma alanı üzerindeki ayar olarak ayarlandığındaALLOW ALL, çalışma alanı yöneticileri bir iş sahibini çalışma alanlarındaki herhangi bir kullanıcı veya hizmet sorumlusuyla değiştirebilir. Çalışma alanı yöneticilerinin yalnızca iş sahibini kendileriyle değiştirmesini kısıtlamak için bkz . Çalışma alanı yöneticilerini kısıtlama.

En fazla eşzamanlı çalıştırmayı yapılandırma

Bu iş için en fazla paralel çalıştırma sayısını ayarlamak için Gelişmiş ayarlar'ın altında Eş zamanlı çalıştırmaları düzenle'ye tıklayın. Azure Databricks, yeni bir çalıştırma başlatmaya çalışırken iş zaten etkin çalıştırma sayısı üst sınırına ulaştıysa çalıştırmayı atlar. Aynı işin birden çok çalıştırmasını eşzamanlı olarak gerçekleştirmek için bu değeri varsayılan değer olan 1'den daha yüksek bir değere ayarlayın. Bu, örneğin işinizi sık sık tetikliyorsanız ve ardışık çalıştırmaların birbiriyle çakışmasına izin vermek istiyorsanız veya giriş parametrelerine göre farklı birden çok çalıştırma tetiklemeyi istiyorsanız kullanışlıdır.

İş çalıştırmalarının kuyruğa alınmasını etkinleştirme

Eşzamanlılık sınırları nedeniyle hemen çalıştırılamayan bir işin çalıştırmalarını bir kuyruğa yerleştirilecek şekilde etkinleştirmek için Gelişmiş ayarlar'ın altındaki Kuyruk iki durumlu düğmesini tıklatın. Bkz. Eşzamanlılık sınırları nedeniyle işim çalıştırılamıyorsa ne olacak?.

Not

Kuyruğa alma, 15 Nisan 2024'te kullanıcı arabirimi aracılığıyla oluşturulan işler için varsayılan olarak etkindir.

Bir iş için beklenen tamamlanma süresini veya zaman aşımını yapılandırma

İş için beklenen tamamlanma süresi ve işin tamamlanma süresi üst sınırı dahil olmak üzere, bir iş için isteğe bağlı süre eşikleri yapılandırabilirsiniz. Süre eşiklerini yapılandırmak için Süre eşiklerini ayarla'ya tıklayın.

İşin beklenen tamamlanma süresini yapılandırmak için Uyarı alanına beklenen süreyi girin. İş bu eşiği aşarsa, yavaş çalışan iş için bildirimleri yapılandırabilirsiniz. Bkz . Yavaş çalışan veya geç çalışan işler için bildirimleri yapılandırma.

Bir işin tamamlanma süresi üst sınırını yapılandırmak için, Zaman Aşımı alanına maksimum süreyi girin. İş bu süre içinde tamamlanmazsa, Azure Databricks durumunu "Zaman Aşımına Uğradı" olarak ayarlar ve iş durdurulur.

Görevi düzenleme

Görev yapılandırma seçeneklerini ayarlamak için:

1. Kenar çubuğunda İş Akışları'na tıklayın.
2. Ad sütununda iş adına tıklayın.
3. Görevler sekmesine tıklayın ve düzenlenecek görevi seçin.

Görev bağımlılıklarını tanımlama

Bir işteki görevlerin yürütülme sırasını, Bağımlı açılan menüsünü kullanarak tanımlayabilirsiniz. Bu alanı, işteki bir veya daha fazla görev olarak ayarlayabilirsiniz.

Not

İş yalnızca bir görevden oluşuyorsa bağımlı seçeneği görünür değildir.

Görev bağımlılıklarını yapılandırmak, iş zamanlayıcılarında yürütme sırasını temsil etmenin yaygın bir yolu olan, görev yürütmesinin Yönlendirilmiş Bir Döngüsel Grafını (DAG) oluşturur. Örneğin, dört görevden oluşan aşağıdaki işi göz önünde bulundurun:

• 1. Görev kök görevdir ve başka hiçbir göreve bağımlı değildir.
• Görev 2 ve Görev 3, önce 1. Görevin tamamlanmasına bağlıdır.
• Son olarak, Görev 4, Görev 2 ve Görev 3'in başarıyla tamamlanmasına bağlıdır.

Azure Databricks, aşağı akış görevlerini çalıştırmadan önce yukarı akış görevlerini çalıştırır ve bunların mümkün olduğunca çoğunu paralel olarak çalıştırır. Aşağıdaki diyagramda bu görevler için işleme sırası gösterilmektedir:

Görev için küme yapılandırma

Bir görevin çalıştığı kümeyi yapılandırmak için Küme açılan menüsüne tıklayın. Paylaşılan bir iş kümesini düzenleyebilirsiniz, ancak diğer görevler bunu kullanmaya devam ediyorsa paylaşılan kümeyi silemezsiniz.

Görevleri çalıştırmak için kümeleri seçme ve yapılandırma hakkında daha fazla bilgi edinmek için bkz . Azure Databricks işlemini işlerinizle birlikte kullanma.

Bağımlı kitaplıkları yapılandırma

Bağımlı kitaplıklar görev çalıştırılmadan önce kümeye yüklenir. Çalıştırma başlamadan önce yüklendiklerinden emin olmak için tüm görev bağımlılıklarını ayarlamanız gerekir. Bağımlılıkları belirtmek için Kitaplık bağımlılıklarını yönetme makalesindeki önerileri izleyin.

Görev için beklenen tamamlanma süresini veya zaman aşımını yapılandırma

Görev için beklenen tamamlanma süresi ve görev için maksimum tamamlanma süresi dahil olmak üzere, görev için isteğe bağlı süre eşiklerini yapılandırabilirsiniz. Süre eşiklerini yapılandırmak için Süre eşiği'ne tıklayın.

Görevin beklenen tamamlanma süresini yapılandırmak için Uyarı alanına süreyi girin. Görev bu eşiği aşarsa bir olay tetikler. Bir görevin yavaş çalıştığını bildirmek için bu olayı kullanabilirsiniz. Bkz . Yavaş çalışan veya geç çalışan işler için bildirimleri yapılandırma.

Görevin tamamlanma süresi üst sınırını yapılandırmak için, Zaman Aşımı alanına maksimum süreyi girin. Görev bu süre içinde tamamlanmazsa, Azure Databricks durumunu "Zaman Aşımına Uğradı" olarak ayarlar.

Görev için yeniden deneme ilkesi yapılandırma

Başarısız görev çalıştırmalarının ne zaman ve kaç kez yeniden deneneceğini belirleyen bir ilke yapılandırmak için, Yeniden Denemeler'in yanındaki + Ekle'ye tıklayın. Yeniden deneme aralığı, başarısız çalıştırmanın başlangıcı ile sonraki yeniden deneme çalıştırması arasında milisaniye olarak hesaplanır.

Not

Hem Zaman Aşımıhem de Yeniden Denemeleri yapılandırıyorsanız, zaman aşımı her yeniden deneme için geçerlidir.