Azure Data Factory ve Synapse Analytics işlem hatlarıyla yinelemeli geliştirme ve hata ayıklama
UYGULANANLAR:
Azure Data Factory Azure Synapse Analytics
Bahşiş
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Azure Data Factory ve Synapse Analytics, işlem hatlarının yinelemeli geliştirilmesini ve hata ayıklamasını destekler. Bu özellikler, çekme isteği oluşturmadan veya bunları hizmette yayımlamadan önce değişikliklerinizi test etmenizi sağlar.
Bu özelliğin sekiz dakikalık tanıtımı ve tanıtımı için aşağıdaki videoyu izleyin:
İşlem hattı hatalarını ayıklama
İşlem hattı tuvalini kullanarak yazarken, Hata Ayıklama özelliğini kullanarak etkinliklerinizi test edebilirsiniz. Test çalıştırmaları yaptığınızda, Hata Ayıkla'yı seçmeden önce değişikliklerinizi hizmette yayımlamanız gerekmez. Bu özellik, iş akışını güncelleştirmeden önce değişikliklerin beklendiği gibi çalıştığından emin olmak istediğiniz senaryolarda yararlıdır.
İşlem hattı çalışırken, işlem hattı tuvalinin Çıkış sekmesinde her etkinliğin sonuçlarını görebilirsiniz.
İşlem hattı tuvalinin Çıkış penceresinde test çalıştırmalarınızın sonuçlarını görüntüleyin.
Bir test çalıştırması başarılı olduktan sonra işlem hattınıza daha fazla etkinlik ekleyin ve hata ayıklamaya yinelemeli bir şekilde devam edin. Devam ederken test çalıştırmalarını iptal edebilirsiniz.
Önemli
Hata ayıkla'nın seçilmesi işlem hattını çalıştırır. Örneğin, işlem hattı kopyalama etkinliği içeriyorsa, test çalıştırması verileri kaynaktan hedefe kopyalar. Sonuç olarak, hata ayıklarken kopyalama etkinliklerinizde ve diğer etkinliklerinizde test klasörlerini kullanmanızı öneririz. İşlem hattında hata ayıkladıktan sonra, normal işlemlerde kullanmak istediğiniz gerçek klasörlere geçin.
Kesme noktalarını ayarlama
Hizmet, işlem hattı tuvalinde belirli bir etkinliğe ulaşana kadar işlem hattında hata ayıklamanıza olanak tanır. Test etmek istediğiniz etkinliğe bir kesme noktası koyun ve Hata Ayıkla'yı seçin. Hizmet, testin yalnızca işlem hattı tuvali üzerindeki kesme noktası etkinliğine kadar çalışmasını sağlar. İşlem hattının tamamını değil, işlem hattı içindeki etkinliklerin yalnızca bir alt kümesini test etmek istemediğinizde Bu Kadar Hata Ayıkla özelliği yararlıdır.
Kesme noktası ayarlamak için işlem hattı tuvalinde bir öğe seçin. Öğenin sağ üst köşesinde boş bir kırmızı daire olarak Bir Hata AyıklamaYa kadar seçeneği görüntülenir.
Hata AyıklamaYa kadar seçeneğini belirledikten sonra, kesme noktasının etkin olduğunu belirtmek için kırmızı daire doldurulur.
Hata ayıklama çalıştırmalarını izleme
İşlem hattı hata ayıklama çalıştırmasını çalıştırdığınızda, sonuçlar işlem hattı tuvalinin Çıkış penceresinde görüntülenir. Çıkış sekmesi yalnızca geçerli tarayıcı oturumu sırasında gerçekleşen en son çalıştırmayı içerir.
Hata ayıklama çalıştırmalarının geçmiş görünümünü görüntülemek veya tüm etkin hata ayıklama çalıştırmalarının listesini görmek için İzleme deneyimine gidebilirsiniz.
Dekont
Hizmet yalnızca 15 gün boyunca hata ayıklama çalıştırma geçmişini kalıcı hale alır.
Eşleme veri akışlarında hata ayıklama
Eşleme veri akışları, büyük ölçekte çalışan kodsuz veri dönüştürme mantığı oluşturmanıza olanak tanır. Mantığınızı oluştururken, canlı bir Spark kümesi kullanarak verilerinizle etkileşimli olarak çalışmak için hata ayıklama oturumunu açabilirsiniz. Daha fazla bilgi edinmek için eşleme veri akışı hata ayıklama modu hakkında bilgi edinin.
İzleme deneyiminde etkin veri akışı hata ayıklama oturumlarını izleyebilirsiniz.
Veri akışı tasarımcısında veri önizlemesi ve veri akışlarında işlem hattı hata ayıklama, küçük veri örnekleriyle en iyi şekilde çalışacak şekilde tasarlanmıştır. Ancak, mantığınızı büyük miktarda veriye karşı bir işlem hattında veya veri akışında test etmeniz gerekiyorsa, hata ayıklama oturumunda kullanılan Azure Integration Runtime'ın boyutunu daha fazla çekirdek ve en az genel amaçlı işlemle artırın.
Veri akışı etkinliğiyle işlem hattında hata ayıklama
Veri akışıyla bir hata ayıklama işlem hattı çalıştırması yürütürken, işlemde kullanılacak iki seçeneğiniz vardır. Mevcut bir hata ayıklama kümesini kullanabilir veya veri akışlarınız için yeni bir tam zamanında küme oluşturabilirsiniz.
Mevcut bir hata ayıklama oturumunun kullanılması, küme zaten çalıştığından veri akışı başlatma süresini büyük ölçüde azaltır, ancak birden çok iş aynı anda çalıştırıldığında başarısız olabileceğinden karmaşık veya paralel iş yükleri için önerilmez.
Etkinlik çalışma zamanının kullanılması, her veri akışı etkinliğinin tümleştirme çalışma zamanında belirtilen ayarları kullanarak yeni bir küme oluşturur. Bu, her işin yalıtılmasını sağlar ve karmaşık iş yükleri veya performans testi için kullanılmalıdır. Hata ayıklama için kullanılan küme kaynaklarının ek iş isteklerine hizmet vermek üzere bu süre boyunca kullanılabilir olması için Azure IR'de TTL'yi de denetleyebilirsiniz.
Dekont
Paralel olarak yürütülen veri akışlarına veya büyük veri kümeleriyle test edilmesi gereken veri akışlarına sahip bir işlem hattınız varsa, hizmetin veri akışı etkinliğinizde seçtiğiniz Integration Runtime'ı kullanabilmesi için "Etkinlik Çalışma Zamanı Kullan"ı seçin. Bu, veri akışlarının birden çok kümede yürütülmesine olanak tanır ve paralel veri akışı yürütmelerinizi barındırabilir.
İlgili içerik
Değişikliklerinizi test ettikten sonra, sürekli tümleştirme ve dağıtım kullanarak bunları daha yüksek ortamlara yükseltin.