Azure HPC Önbelleği'de dosya geri yazmayı özelleştirme

HPC Önbelleği kullanıcılar, flush_file.py yardımcı programını kullanarak önbelleğin belirli dosyaları isteğe bağlı olarak arka uç depolama alanına yazmasını isteyebilir. Bu yardımcı program, Linux istemci makinelerinde yükleyip kullandığınız ayrı olarak indirilen bir yazılım paketidir.

Bu özellik, önbelleğe alınmış dosyalarda yapılan değişikliklerin önbelleği bağlamamış sistemler için mümkün olan en kısa sürede kullanılabilir olmasını istediğiniz durumlar için tasarlanmıştır.

Örneğin, buluttaki bilgi işlem işlerinizi ölçeklendirmek için Azure HPC Önbelleği kullanabilirsiniz, ancak veri kümenizi kalıcı olarak şirket içi veri merkezinde depolayabilirsiniz. İşlem görevleri Azure HPC Önbelleği ile oluşturulan değişikliklere bağlı olarak veri merkezinde gerçekleşirse, bulut görevi tarafından oluşturulan çıkışı veya değişiklikleri şirket içi NAS depolama alanına geri göndermek için bu yardımcı programı kullanabilirsiniz. Bu, yeni dosyaların şirket içi işlem kaynakları tarafından hemen kullanılmasını sağlar.

Özel geri yazma ve temizleme arasında seçim yapma

Azure HPC Önbelleği'da yerleşik olarak bulunan "depolama hedefi temizleme" seçeneğiyle verilerin geri yazılması zorlanabilir ancak bu yaklaşım tüm durumlar için doğru olmayabilir.

• Değiştirilen dosyaların tümünü depolama sistemine geri yazmak, veri miktarına ve şirket içi sisteme ağ bağlantısının hızına bağlı olarak birkaç dakika hatta saat sürebilir. Ayrıca, yalnızca bitirdiğiniz dosyaları yazılacak şekilde seçemezsiniz; hala etkin olarak değiştirilmekte olan dosyalar bu hesaplamaya dahil edilir.

• Önbellek, temizleme işlemi sırasında bu depolama hedefinden bazı isteklerin sunulmasını engelleyebilir. Bu, aynı depolama hedefinde bulunan dosyaları kullanan başka işlem istemcileri varsa işlemeyi geciktirebilir.

• Bu eylemi tetikleme, son kullanıcıların sahip olmadığı Azure Resource Manager'a katkıda bulunan erişimi gerektirir.

Örneğin, aynı HPC Önbelleği depolama hedefinde bulunan verileri kullanan birden çok paralel (ancak örtüşmeyen) işlem işiniz olabilir. Bir iş tamamlandığında, bu işin çıktısını önbellekten arka uçta uzun vadeli depolama alanınıza hemen yazmak istersiniz.

Üç seçeneğiniz vardır:

• Önbelleğe alınan dosyaların önbellekten otomatik olarak geri yazılması için bekleyin; ancak dosyalar tamamen geri yazılmadan önce önbellekte bir saatten fazla kalabilir. Zamanlama, önbellek kullanım modelinizin geri yazma gecikmesine ve ağ bağlantısı performansı ve dosyaların boyutu gibi diğer faktörlere bağlıdır. (Okuma Geri yazma gecikmesi hakkında daha fazla bilgi edinmek için önbellek kullanım modellerini anlayın.)

• Önbelleğe alınan dosyaları depolama hedefinin tamamı için hemen temizleyin; ancak bu, bu depolama hedefinin verilerini de kullanan diğer işlem işlerini kesintiye uğratabilir.

• Önbelleğe yalnızca istediğiniz belirli dosyaları geri yazmak üzere özel bir NFS isteği göndermek için bu özelleştirilmiş geri yazma yardımcı programını kullanın. Bu senaryo diğer istemcilerin erişimini kesintiye uğratmaz ve işlem görevinin herhangi bir noktasında tetiklenebilir.

Geri yazma yardımcı programı hakkında

Geri yazma yardımcı programı, önbellekten uzun vadeli depolama sistemine yazılacak tek tek dosyaları belirtmek için kullanabileceğiniz bir betik içerir.

Betik, yazacak dosyaların giriş akışının yanı sıra depolama hedefi dışarı aktarmanızın önbellek ad alanı yolunu ve HPC Önbelleği bağlama IP adresini alır.

Betik, özel bağımsız değişkenler etkinleştirilmiş bir NFSv3 "commit" çağrısı kullanır. Linux nfs-common istemcisi bu bağımsız değişkenleri uygun şekilde geçiremez, bu nedenle flush_file.py yardımcı programı, HPC Önbelleği NFS hizmetiyle iletişim kurmak için Python kitaplığındaki bir NFS istemci öykünücüsü kullanır. Kitaplık, işlem istemcinizin Linux çekirdek tabanlı NFS istemcisinde mevcut olabilecek tüm sınırlamaları atlayan gerekli her şeyi içerir.

Bu özelliği kullanmak için aşağıdakileri yapmanız gerekir:

• hpc-cache-nfsv3-client GitHub Microsoft HPC-Cache-NFSv3-client deposundaki kitaplığını adresinden https://github.com/microsoft/hpc-cache-nfsv3-clientyükleyin. bir veya daha fazla işlem istemcisinde. Önkoşul bilgileri ve yönergeler deponun README dosyasına eklenir.

• Önbelleğe ihtiyacınız olan tam dosyaları uzun vadeli depolama sistemine yazmasını bildirmek için dahil edilen 'flush_file.py' betiğini kullanın.

GitHub deposunda flush_file.py betiğini yükleme ve kullanma hakkında daha fazla bilgi edinin.