Managed simülatörleri ile eğitilen Brains 'i değerlendirin


  • Toplam tamamlanma süresi: 15 dakika
  • Etkin zaman: 10 dakika

BonsaiBeyinizin belirli senaryolarda ne kadar iyi bir şekilde çalıştığını değerlendiren Kullanıcı tanımlı denemeleri çalıştırmak için UI ve CLI 'de özel değerlendirme işlevini kullanın Bonsai .

İpucu

Değerlendirme bölüm yapılandırmalarını tamamen özelleştirmek istiyorsanız kendi değerlendirme yapılandırma dosyanızı oluşturup bunun yerine karşıya yükleyebilirsiniz.

Başlamadan önce

  • Bir benzeticisinin olması gerekir. Simülatör olmadan bir beyini eğitmenize veya değerlendiremezsiniz. Simülatörü yerel (yönetilmeyen) veya paketlenmiş Bonsai (yönetilen) olabilir.
  • Eğitilen (veya kısmen eğitimli) bir beyinin olması gerekir. Beyde eğitim sürecinde olsa bile, eğitim başladıktan sonra, bir kez eğitim başladıktan sonra özel değerlendirmeler çalıştırabilirsiniz.

Kullanıcı arabirimi ile bir değerlendirme başlatma Bonsai

  1. Bonsai UIuygulamasını açın.
  2. Değerlendirmek istediğiniz beyinli sürümü seçin.
  3. Eğitme sekmesinde öğesini seçin.
  4. Değerlendirme panelinde + Yeni değerlendirme düğmesini seçin.
  5. Değerlendirmenize ait bölüm sayısını ayarlayın.
  6. Inkling sözdizimini kullanarak kısıtlamak istediğiniz yapılandırılabilir değişkenler için bir değer, değer kümesi veya değer aralığı belirtin.
  7. Generate (Oluştur) düğmesine tıklayın.
  8. Oluşturulan JSON değerlendirmesi bölüm yapılandırmasını gözden geçirin. Bonsai dosyasında listelenen her yapılandırma için bir değerlendirme Bölümü çalıştırır. Bonsai boş bıraktığınızda herhangi bir değer veya bölüm yapılandırması için simülatör varsayılanlarını kullanır.

Değerlendirme yapılandırması kalıcı

Değerlendirme oluşturma ve yapılandırmanın kalıcı ekran görüntüsü. Kullanıcı arabirimi, kullanıcılardan değerlendirmelerine yönelik özellikler ve bölüm yapılandırmalarının belirtmesini ister.

JSON dosyası doğru göründüğünde değerlendirmeyi başlatmak için değerlendirmeyi Çalıştır ' a tıklayın. Değerlendirme, Inkling dosyanızda tanımlanan simülatör paketiyle otomatik olarak başlar. Örneğin, simulator deyiminiz aşağıdaki kod parçacığı gibi görünüyorsa, değerlendirmenizi otomatik olarak Moab simülatör paketiyle başlar:

source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
  package "Moab"
}

İpucu

Bonsai Mürekkep oluşturma dosyanızdaki değerlendirme yapılandırma değişkenlerinin listesini çeker. Ek yapılandırma değişkenleri eklemek için, Inkling dosyanızın ilgili bölümünü güncelleştirdiğinizden emin olun.

CLI ile bir değerlendirme başlatma Bonsai

  1. Bir değerlendirme yapılandırma dosyası oluşturun.
  2. Değerlendirmeyi başlatmak için komutunu kullanın:
    bonsai brain version assessment start             \
      --brain-name=BRAIN_NAME                         \
      --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
      --concept-name=CONCEPT_NAME                     \
      --simulator-package-name=SIMULATOR_PACKAGE_NAME \
      –-instance-count INSTANCE_COUNT
    

Yönetilen simülatörleri için günlük kaydı otomatik olarak gerçekleşir, bu nedenle ayrı bir günlüğe kaydetme komutu oluşturmanız gerekmez.

Değerlendirme sonuçlarını değerlendir

Değerlendirmenizi tamamladıktan sonra, Kullanıcı arabirimindeki ilgili değerlendirmeye tıklayarak üst düzey sonuçları gözden geçirebilirsiniz Bonsai .

Özel değerlendirmelere ait veriler, çalışma alanınızın Log Analytics çalışma alanında depolanır Bonsai . Değerlendirme verilerini iki şekilde sorgulayabilirsiniz:

Değerlendirme verilerini yorumlama hakkında daha ayrıntılı yönergeler için değerlendirme verilerini değerlendir öğreticisini izleyin.

Pratik bir örnek

Aşağıdaki örnek, Bonsai Kullanıcı arabirimi değerlendirmesi özelliğini kullanarak Moab 'nin farklı levha ile nasıl gerçekleştiğini araştırma sürecinde size yol gösterir.

Bu Moab levha yüksekliğinin fiziksel cihazda yapılandırılabildiği için, örnek değerlendirmesi hedefi, cihazın en iyi şekilde dengelenmesi gereken en uygun levha yüksekliğini belirlemektir.

  1. Bonsai UIuygulamasını açın.
  2. Hoş geldiniz sayfasında Moab örneğini seçin.
  3. Yeni Moab beyni, beyinli listesinden seçin.
  4. Eğitme sekmesini seçin.
  5. Tanıtıma eğitime başlamak için eğitme ' yi seçin.
  6. Simülatörleri başladıktan sonra + Yeni değerlendirme' ya tıklayın.
  7. Değerlendirmede yapılandırma değişkeni listesini gözden geçirin. Levha yüksekliğinin listede olmadığına dikkat edin. Yükseklik, Moab Inkling dosyasında varsayılan olarak dahil edilmediğinden bir yapılandırma değişkeni olarak listelenmez.
  8. Eğitim sekmesini seçerek Moab ınkini dosyasını açın.
  9. Simülatör bildirimine kaydırın:
    source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
    
    Yapılandırma değişkenleri SimConfig simülatör bildiriminin kullandığı tür içinde tanımlanır.
  10. SimConfigInkinin içindeki tanıma gidin.
  11. height_zYapılandırma değişkeni olarak ekleyin ve değeri 0.1 ve 0.2 e arasında bir float olacak şekilde kısıtlayın.
    type SimConfig {
        # Model initial ball conditions
        initial_x: number<-RadiusOfPlate .. RadiusOfPlate>, # in (m)
        initial_y: number<-RadiusOfPlate .. RadiusOfPlate>,
    
        # Model initial ball velocity conditions
        initial_vel_x: number<-MaxVelocity .. MaxVelocity>, # in (m/s)
        initial_vel_y: number<-MaxVelocity .. MaxVelocity>,
    
        # Range -1 to 1 is a scaled value that represents
        # the full plate rotation range supported by the hardware.
        initial_pitch: number<-1 .. 1>,
        initial_roll: number<-1 .. 1>,
    
        # Starting height of the Moab plate in meters (m) 
        height_z: number<0.1 .. 0.2>
    }
    
  12. Değerlendirme listesine geri dönmek için eğitme sekmesini seçin.
  13. Değerlendirmede yapılandırma değişkeni listesini gözden geçirin. height_zArtık yapılandırma değişkeni listesinde görüntülendiğine dikkat edin.
  14. height_zDeğerlendirmede kalıcı olarak 0,1 ve 0.15 d arasında olacak şekilde yapılandırın.
  15. Bölüm sayısını olarak değiştirin 100 .
  16. Aşağıda gösterildiği gibi, diğer tüm yapılandırma değişkenlerine sabit değerler atayın.

Örnek değerlendirme yapılandırması

Değerlendirme oluşturma ve yapılandırmanın aşağıdaki ayarlarla kalıcı olarak ekran görüntüsü:

  • Görünen ad: değişen yükseklik
  • Açıklama: yüksekliği Değiştir ve diğer yapılandırma değişkenleri sabitlerini tut
  • Bölüm sayısı: 100
  • Bölüm başına en fazla yineleme: 250
  • Saat cinsinden zaman aşımı: 24

Ve aşağıdaki yapılandırma değerlerini:

  • height_z: sayı < 0,1.. 0,15>
  • initial_pitch: 0
  • initial_roll: 0
  • initial_vel_x: 0,1
  • initial_vel_y: 0,1
  • initial_x: 0,5
  • initial_y: 0,5

Bir değerlendirme yapılandırma dosyası oluşturmak için Oluştur ' u seçtiğinizde, KARŞıLıK gelen JSON çıktısı 100 bölüm yapılandırmalarını içerir. Tüm height_z diğer yapılandırma değişkenleri sabit tutulurken, değerleri, tüm 100 bölümleri genelinde 0,1 k ile 0.15 d arasında eşit olarak dağıtılır.

Hazırsanız, örnek değerlendirmeyi başlatmak için Çalıştır ' ı seçin.