Model tabanlı eğitim hızlandırmayı etkinleştirme

Genel Bakış

Yavaş performans veya sınırlı simülatör kullanılabilirliği söz konusu olduğunda, sinir ağı modellemesini etkinleştirerek içinde Bonsai kavram eğitimini hızlandırabilirsiniz. Sinir ağı modellemesi ile, Bonsai eğitim simülatörünüzün sistem dinamiklerini modellemek için sinir ağı tekniklerini kullanır. Öğrenilen modelden oluşturulan veriler ve simülatörden alınan veriler daha sonra eğitimi geliştirmek için birlikte kullanılır.

Nueral-network modelinin aslına uygunluğu, bağlı simülatörlerle eğitildikçe Bonsai zaman içinde artar ve ek veriler oluşturur. Eğitim sırasında, Bonsai öğrenilen model ve simülasyonunuz tarafından oluşturulan verilerin karışımını otomatik olarak ayarlar. Verilerin karışımı, öğrenilen modelin doğruluğuna ve değerlendirme performansına katkısına dayanır. Sonunda, eğitilen model kavram eğitimi verilerinin ana kaynağı haline gelir ve özgün simülatörün değerlendirmelerin dışında artık kullanılmaması gerekir.

Hedeflenen bileşenler aynı çalışma alanı içinde aynı yönetilen simülatörü kullanıyorsa ve simülatör durumu, simülatör eylemi ve simülatör yapılandırma türü tanımları tutarlıysa, öğrenilen bir model farklı kavramlar ve beyinler arasında paylaşılabilir. Bonsai , öğrenilen modelin doğruluğunu sürekli geliştirmek için beyinler ve kavramlar arasında oluşturulan verileri kullanabilir.

Önemli

Model tabanlı eğitim hızlandırma yalnızca simülatörlerle çevrimiçi eğitim için desteklenir. Sinir ağı modellemesi şu anda veri kümesi eğitimi için desteklenmiyor. Ayrıca, eğitim hızlandırmaya yönelik beyinler ve kavramlar arasında veri ve öğrenilen modellerin paylaşılması yalnızca yönetilen simülatörlerle eğitim için desteklenir.

Model tabanlı eğitim hızlandırmayı etkinleştirme

Sinir ağı desteğini etkinleştirmek için algoritma yan tümcesindeki ModelBasedTraining parametresini kullanınAcceleration:

algorithm {
  ModelBasedTraining: {
    Acceleration: "on"
  }
}

Model tabanlı eğitimin desteklenen modları

Model tabanlı eğitim üç modu destekler: off, autove on.

Değer Açıklama
off VARSAYILAN Hızlandırma kapalıdır ve eğitim yalnızca benzetimi kullanır
auto Hızlandırma etkindir ancak yalnızca gerektiğinde kullanılır
on Hızlandırma etkindir ve her zaman kullanılır

Hızlandırma etkinleştirildiğinde ve olarak ayarlandığında auto, Bonsai bu kavramın ilk eğitim oturumunun başında belirli bir kavram için bir sinir ağı modeli kullanıp kullanmamaya karar verir. Bonsai benzetimi simülatör örneği başına on saniyeden/yinelemeden daha yavaşsa hızlandırmayı kullanır ve sistem öğrenilen bir modelin eğitim süresini iyileştireceğini yüksek güvenle tahmin edebilir. Eğitimi durdurup sürdürürseniz hızlandırma kullanma (veya kullanmama) kararı değişmez.

Hızlandırma özelliği etkinleştirildiğinde, Bonsai eğitimin başlangıcında aşağıdaki iletiyi görüntüler:

"Bu kavram için model tabanlı eğitim hızlandırma etkinleştirildi. Bu işlev şu anda beta testindedir."

En iyi yöntemler

Daha iyi eğitim kararlılığı ve hızlandırması sağlamak için aşağıdakileri göz önünde bulundurun:

  • Tutarlı bir simülatör şemasını koruma: Öğrenilen eğitim modeli ve onu eğitmek için kullanılan simülatör verileri, simülatör durumu, eylem ve yapılandırma türleri farklı beyin belirtimlerinde tutarlı olduğunda aynı yönetilen simülatör kullanılarak farklı beyinler arasında paylaşılabilir. Bonsai Aynı simülatör şemasının varyasyonlarıyla her karşılaştığında, yeni bir öğrenilen model oluşturmak için önceden var olan simülatör verileri segmentlere ayrılmıştır. Tutarlı bir simülatör şemasının korunması, model tabanlı eğitimin geçerli kapsamını geliştirir.
  • Ödül ve sonlandırmayı ayırma: Mürekkep Oluşturma'daki işlevleri tanımlayarak veya Mürekkep Oluşturma hedeflerini kullanarak ödül ve terminal işlevlerinizi simülasyon dinamiklerinden ayırma. Ödül ve sonlandırmayı ayırma, simülatörün yeniden kullanılabilirliğini ve öğrenilen modelin genelleştirilebilirliğini artırır.
  • Doğru tür tanımlarını kullanın: Durum, eylem ve yapılandırma alanlarını tanımlamak için doğru türlerin kullanılması, durum tahminleri yaparken öğrenilen modeli etkili bir şekilde yönlendirmek için önemlidir. Örneğin, belirli bir durum alanı simülatörün içinde bir tamsayıysa, bunu beyin belirtiminde bir tamsayı olarak tanımlamak, hızlandırıcı modelini tamsayı sonuçlarını tahmin etmeye zorlar. Sıralı ve nominal (ayrık ve sürekli) türler arasında veri eşleştirme sırasında doğruluk özellikle önemlidir.
  • Aralıkları uygun şekilde kısıtlayın: Durumunuz, eyleminiz ve yapılandırma türleriniz için sıkı aralıklar kullanın. Olası değerler kümesini sınırlamak, model girişi için normalleştirmeyi artırır ve model doğruluğunu artırır.
  • Sim yapılandırma aralıklarınızı tanımlamak için Mürekkep Oluşturma'nın kullanılması: Yapılandırma aralıklarınızı Mürekkep Oluşturma'da tanımlama (simülatör içinde değil) hızlandırıcı modelinin aslına uygunluğuna yardımcı olur. Örneğin bir Moab senaryosunda, eğitimi geliştirmek ve daha geniş bir gerçek dünya senaryosu yelpazesine genelleştirmek için yapılandırılan top boyutunu rastgele seçmeyi seçebilirsiniz. Mürekkep oluşturma yapılandırma türü kısıtlamasında topun boyut aralığını ifade etmek, simülatörü rastgele seçmeye zorlamak yerine hızlandırıcı modelini daha etkili bir şekilde yönlendirecektir.