İş ve görev çıktılarını kalıcı hale getirme
Azure Batch'de çalışan bir görev çalıştırıldığında çıkış verileri üretebilir. Görev çıktı verilerinin genellikle işteki diğer görevler, işi yürüten istemci uygulaması veya her ikisi tarafından alınması gerekir. Görevler çıktı verilerini batch işlem düğümünün dosya sistemine yazar, ancak düğümdeki tüm veriler yeniden tasarlanan veya düğüm havuzdan ayrıldığında kaybolur. Görevlerin, görev tarafından oluşturulan dosyaların silindiği bir dosya saklama süresi de olabilir. Bu nedenlerden dolayı, daha sonra ihtiyacınız olacak görev çıktısını Azure Depolama gibi bir veri deposunda kalıcı hale getirmek önemlidir.
Batch'teki depolama hesabı seçenekleri için bkz . Batch hesapları ve Azure Depolama hesapları.
Görev çıktısının bazı yaygın örnekleri şunlardır:
- Görev giriş verilerini işlerken oluşturulan dosyalar.
- Görev yürütme ile ilişkili günlük dosyaları.
Bu makalede, çıktı verilerini kalıcı hale eklemeye yönelik çeşitli seçenekler açıklanmaktadır. Batch görevlerinden ve işlerinden alınan çıktı verilerini Azure Depolama'ya veya diğer depolara kalıcı hale getirmek için kullanabilirsiniz.
Kalıcı çıkış seçenekleri
Çıktı verilerini kalıcı hale getirmenin birden çok yolu vardır. Senaryonuz için en iyi yöntemi seçin:
- Batch hizmeti API'sini kullanın.
- .NET için Batch Dosya Kuralları kitaplığını kullanın.
- C# ve .NET uygulamaları için Batch Dosya Kuralları kitaplığını kullanın.
- .NET dışındaki diller için Batch Dosya Kuralları standardını kullanın.
- Özel bir dosya taşıma çözümü kullanın.
Batch hizmeti API'si
Çıktı verilerini kalıcı hale getirmek için Batch hizmeti API'sini kullanabilirsiniz. Bir işe görev eklediğinizde veya bir işe görev koleksiyonu eklediğinizde görev verileri için Azure Depolama'da çıkış dosyalarını belirtin.
Daha fazla bilgi için bkz . Batch hizmeti API'siyle görev verilerini Azure Depolama'da kalıcı hale getirmek.
Batch Dosya Kuralları kitaplığı
Batch Dosya Kuralları standardı, Azure Depolama'da görev çıktı dosyalarını adlandırmak için isteğe bağlı bir kural kümesidir. Standart, bir dosyanın hedef kapsayıcısı ve blob yolu için işin ve görevin adlarını temel alan adlandırma kuralları sağlar.
Çıktı veri dosyalarınızı adlandırmak için Dosya Kuralları standardını kullanmak isteğe bağlıdır. Bunun yerine hedef kapsayıcıyı ve blob yolunu adlandırmayı seçebilirsiniz. Dosya Kuralları standardını kullanıyorsanız çıkış dosyalarınızı Azure portal görüntüleyebilirsiniz.
C# ve .NET ile bir Batch çözümü oluşturuyorsanız.NET için Batch Dosya Kuralları kitaplığını kullanabilirsiniz. Kitaplık çıktı dosyalarını Azure Depolama'ya taşır ve hedef kapsayıcıları ve blobları Batch Dosya Kuralları standardına göre adlandırır.
Daha fazla bilgi için bkz. .NET için Batch Dosya Kuralları kitaplığıyla iş ve görev verilerini Azure Depolama'da kalıcı hale getirmek.
Batch Dosya Kuralları standardı
.NET dışında bir dil kullanıyorsanız, Batch Dosya Kuralları standardını kendi uygulamanızda uygulayabilirsiniz. Aşağıdaki durumlarda bu yaklaşımı kullanın:
- Ortak bir adlandırma düzeni kullanmak istiyorsunuz.
- görev çıkışını Azure portal görüntülemek istiyorsunuz.
Özel dosya taşıma çözümü
Ayrıca kendi eksiksiz dosya taşıma çözümünüzü de uygulayabilirsiniz. Aşağıdaki durumlarda bu yaklaşımı kullanın:
- Görev verilerini Azure Depolama dışındaki bir veri deposunda kalıcı hale getirmek istiyorsunuz. Örneğin, dosyaları Azure SQL veya Azure DataLake gibi bir veri deposuna yüklemek istiyorsunuz. Bu konuma yüklemek için özel bir betik veya yürütülebilir dosya oluşturun. Ardından, birincil yürütülebilir dosyanızı çalıştırdıktan sonra komut satırında özel betiği veya yürütülebilir dosyayı çağırın. Örneğin, bir Windows düğümünde çağrısında bulunur
doMyWork.exe && uploadMyFilesToSql.exe. - İlk sonuçların denetim noktası oluşturma veya erken karşıya yüklenmesini istiyorsunuz.
- Hata işleme üzerinde ayrıntılı denetim sağlamak istiyorsunuz. Örneğin, belirli görev çıkış kodları temelinde belirli karşıya yükleme eylemlerini yapmak için görev bağımlılığı eylemlerini kullanmak istiyorsunuz.
Tasarım konusunda dikkat edilmesi gerekenler
Batch çözümünüzü tasarlarken aşağıdaki faktörleri göz önünde bulundurun.
İşlem düğümleri, özellikle otomatik ölçeklendirmenin etkinleştirildiği Batch havuzlarında genellikle geçicidir. Yalnızca bir görevin çıkışını görebilirsiniz:
- Görevin çalıştığı düğüm mevcutken.
- Görev için ayarladığınız dosya saklama süresi boyunca.
Azure portal bir Batch görevi görüntüleyip Düğümdeki dosyalar'ı seçtiğinizde, yalnızca çıkış dosyalarını değil, bu görevin tüm dosyalarını görürsünüz. Görev çıkışını doğrudan havuzunuzdaki işlem düğümlerinden almak için dosya adına ve düğümdeki çıkış konumuna ihtiyacınız vardır.
Görev çıktı verilerini daha uzun süre tutmak istiyorsanız, görevi çıkış dosyalarını bir veri deposuna yükleyecek şekilde yapılandırın. Veri deposu olarak Azure depolamanın kullanılması önerilir. Batch hizmeti API'sinde görev çıktı verilerini Azure Depolama'ya yazmak için tümleştirme vardır. Verilerinizi korumak için diğer dayanıklı depolama seçeneklerini kullanabilirsiniz. Ancak, diğer depolama seçenekleri için uygulama mantığını kendiniz yazmanız gerekir.
Çıkış verilerinizi Azure Depolama'da görüntülemek için Azure portal veya Azure Depolama Gezgini gibi bir Azure Depolama istemci uygulamasını kullanın. Çıkış dosyanızın konumunu not edin ve doğrudan bu konuma gidin.