Azure Databricks işlem'i işlerinizle birlikte kullanma

Azure Databricks işini çalıştırdığınızda, işin bir parçası olarak yapılandırılan görevler, görev türüne bağlı olarak sunucusuz işlem, küme veya SQL ambarı olmak üzere Azure Databricks işlemi üzerinde çalıştırılır. bir işi kullanıma hazır hale getirme sırasında işlem türü ve yapılandırma seçeneklerinin seçilmesi önemlidir. Bu makalede, işlerinizi çalıştırmak için Azure Databricks işlem kaynaklarını kullanma önerileri sağlanır.

Azure Databricks işlerinizle sunucusuz işlem kullanma hakkında daha fazla bilgi edinmek için bkz . Azure Databricks işinizi iş akışları için sunucusuz işlemle çalıştırma.

Not

Gizli diziler , kümenin Spark sürücü günlüğünden stdout ve stderr akışlarından yeniden işlenmez. Hassas verileri korumak için Spark sürücü günlükleri varsayılan olarak yalnızca iş, tek kullanıcı erişim modu ve paylaşılan erişim modu kümeleri üzerinde YÖNETİLEMİş iznine sahip kullanıcılar tarafından görüntülenebilir. CAN ATTACH TO veya CAN RESTART iznine sahip kullanıcıların bu kümelerdeki günlükleri görüntülemesine izin vermek için, küme yapılandırmasında aşağıdaki Spark yapılandırma özelliğini ayarlayın: spark.databricks.acl.needAdminPermissionToViewLogs false.

YalıtımSız Paylaşılan erişim modu kümelerinde Spark sürücü günlükleri, CAN ATTACH TO veya CAN MANAGE iznine sahip kullanıcılar tarafından görüntülenebilir. Günlükleri kimlerin okuyabileceğini yalnızca CAN MANAGE iznine sahip kullanıcılarla sınırlamak için trueolarak ayarlayınspark.databricks.acl.needAdminPermissionToViewLogs.

Küme yapılandırmasına Spark özellikleri eklemeyi öğrenmek için bkz. Spark yapılandırması.

Paylaşılan iş kümelerini kullanma

Birden çok görevi düzenleyen işlerle kaynak kullanımını iyileştirmek için paylaşılan iş kümelerini kullanın. Paylaşılan iş kümesi, aynı iş çalıştırmasında birden çok görevin kümeyi yeniden kullanmasına olanak tanır. İşin parçası olan tüm görevleri veya belirli iş yükleri için en iyi duruma getirilmiş birden çok iş kümesini çalıştırmak için tek bir iş kümesi kullanabilirsiniz. Paylaşılan iş kümesi kullanmak için:

1. Bir görev oluşturduğunuzda ve küme yapılandırmasını tamamladığınızda Yeni İş Kümeleri'ni seçin.
2. İşe görev eklerken yeni kümeyi seçin veya yeni bir iş kümesi oluşturun. Yeni İş Kümeleri'ni seçtiğinizde yapılandırdığınız tüm kümeler , işteki herhangi bir görev için kullanılabilir.

Paylaşılan iş kümesinin kapsamı tek bir iş çalıştırması kapsamındadır ve aynı işin diğer işleri veya çalıştırmaları tarafından kullanılamaz.

Kitaplıklar paylaşılan bir iş kümesi yapılandırmasında bildirilemez. Görev ayarlarına bağımlı kitaplıklar eklemeniz gerekir.

İşiniz için doğru küme türünü seçin

• Yeni İş Kümeleri , bir iş veya görev çalıştırması için ayrılmış kümelerdir. Kümeyi kullanan ilk görev başlatıldığında ve kümeyi kullanan son görev tamamlandıktan sonra sonlandırıldığında paylaşılan bir iş kümesi oluşturulur ve başlatılır. Küme boştayken sonlandırılmaz, ancak yalnızca tüm görevler tamamlandıktan sonra sonlandırılır. Paylaşılan bir iş kümesi başarısız olursa veya tüm görevler tamamlanmadan sonlandırılırsa yeni bir küme oluşturulur. Tek bir görev kapsamında bir küme oluşturulur ve görev tamamlandığında görev başlatıldığında ve sonlandırıldığında başlatılır. Üretimde Databricks, her işin veya görevin tamamen yalıtılmış bir ortamda çalışması için yeni paylaşılan veya görev kapsamlı kümelerin kullanılmasını önerir.
• Görevi yeni bir kümede çalıştırdığınızda, görev iş yükü fiyatlandırmasına bağlı olarak veri mühendisliği (görev) iş yükü olarak değerlendirilir. Bir görevi var olan bir çok amaçlı kümede çalıştırdığınızda, görev, tüm amaçlı iş yükü fiyatlandırmasına tabi olarak veri analizi (çok amaçlı) iş yükü olarak değerlendirilir.
• Sonlandırılan mevcut bir kümeyi seçerseniz ve iş sahibinin YENIDEN BAŞLATILABİlİR izni varsa, iş çalıştırılacak şekilde zamanlandığında Azure Databricks kümeyi başlatır.
• Mevcut tüm amaçlı kümeler, panoları düzenli aralıklarla güncelleştirme gibi görevler için en iyi şekilde çalışır.

Küme başlangıç sürelerini azaltmak için havuz kullanma

Yeni iş kümesi başlangıç süresini azaltmak için bir havuz oluşturun ve işin kümesini havuzu kullanacak şekilde yapılandırın.