Yönetilen simülatörlerle eğitilmiş beyinleri değerlendirme


  • Toplam tamamlanma süresi: 15 dakika
  • Etkin süre: 10 dakika

Belirli senaryolarda Bonsai beyninizin Bonsai ne kadar iyi performans sergilediğini değerlendiren kullanıcı tanımlı denemeler çalıştırmak için kullanıcı arabiriminde ve CLI'da özel değerlendirme işlevselliğini kullanın.

İpucu

Değerlendirme bölümü yapılandırmalarınızı tamamen özelleştirmek istiyorsanız , kendi değerlendirme yapılandırma dosyanızı oluşturabilir ve bunun yerine karşıya yükleyebilirsiniz.

Başlamadan önce

  • Simülatöre sahip olmanız gerekir. Simülatör olmadan bir beyni eğitemez veya değerlendiremezsiniz. Simülatörünüz yerel (yönetilmeyen) veya içinde paketlenmiş Bonsai (yönetilen) olabilir.
  • Eğitimli (veya kısmen eğitilmiş) bir beyniniz olmalıdır. Beyin hala eğitim sürecinde olsa bile eğitim başladıktan sonra yapay zekanız üzerinde özel değerlendirmeler çalıştırabilirsiniz.

Kullanıcı arabirimiyle Bonsai değerlendirme başlatma

  1. Kullanıcı arabiriminiBonsai açın.
  2. Değerlendirmek istediğiniz beyin sürümünü seçin.
  3. Eğit sekmesinde öğesini seçin.
  4. Değerlendirme panelinde + Yeni değerlendirme düğmesini seçin.
  5. Değerlendirmeniz için bölüm sayısını ayarlayın.
  6. Mürekkep Oluşturma söz dizimini kullanarak kısıtlamak istediğiniz yapılandırılabilir değişkenler için bir değer, değer kümesi veya değer aralığı belirtin.
  7. Generate (Oluştur) düğmesine tıklayın.
  8. Oluşturulan JSON değerlendirmesi bölüm yapılandırmalarını gözden geçirin. Bonsai dosyasında listelenen her yapılandırma için bir değerlendirme bölümü çalıştırır. Bonsai boş bıraktığınız herhangi bir değer veya bölüm yapılandırması için simülatör varsayılanlarını kullanır.

Assessment configuration modal

Değerlendirme oluşturma ve yapılandırma kalıcısının ekran görüntüsü. Kullanıcı arabirimi, kullanıcılardan değerlendirmeleri için özellikleri ve bölüm yapılandırmalarını belirtmelerini ister.

JSON dosyası doğru göründüğünde değerlendirmeyi başlatmak için Değerlendirmeyi çalıştır'a tıklayın. Değerlendirme, Mürekkep Oluşturma dosyanızda tanımlanan simülatör paketiyle otomatik olarak başlar. Örneğin, deyiminiz simulator aşağıdaki kod parçacığı gibi görünüyorsa değerlendirmeniz otomatik olarak simülatör paketiyle Moab başlar:

source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
  package "Moab"
}

İpucu

Bonsai Mürekkep Oluşturma dosyanızdan değerlendirme yapılandırma değişkenlerinin listesini çeker. Ek yapılandırma değişkenleri eklemek için Mürekkep Oluşturma dosyanızın ilgili bölümünü güncelleştirdiğinden emin olun.

CLI ile Bonsai değerlendirme başlatma

  1. Değerlendirme yapılandırma dosyası oluşturun.
  2. Değerlendirmeyi brain version assessment start başlatmak için komutunu kullanın:
    bonsai brain version assessment start             \
      --brain-name=BRAIN_NAME                         \
      --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
      --concept-name=CONCEPT_NAME                     \
      --simulator-package-name=SIMULATOR_PACKAGE_NAME \
      –-instance-count INSTANCE_COUNT
    

Günlük, yönetilen simülatörler için otomatik olarak gerçekleşir, bu nedenle ayrı bir günlüğe kaydetme komutu yapmanız gerekmez.

Değerlendirme sonuçlarını değerlendirme

Değerlendirmeniz tamamlandıktan sonra, kullanıcı arabiriminde ilgili değerlendirmeye Bonsai tıklayarak üst düzey sonuçları gözden geçirebilirsiniz.

Özel değerlendirmelerden alınan veriler, çalışma alanınız Bonsai için Log Analytics Çalışma Alanında depolanır. Değerlendirme verilerini iki şekilde sorgulayabilirsiniz:

  • KQL kullanarak verileri sorgulamak için Günlükleri sorgulama kılavuzunu izleyin.
  • Verilerinizi Jupyter'e aktarmak ve orada analiz etmek için açık kaynak değerlendirme verileri Jupyter not defterini kullanın. custom-assessment-logs.ipnyb dosyasında yer alan yönergeler, işlemde size yol gösterir.

Değerlendirme verilerini yorumlama hakkında daha ayrıntılı yönergeler için Değerlendirme verilerini değerlendirme öğreticisini izleyin.

Pratik bir örnek

Aşağıdaki örnek, Moab'ın kullanıcı arabirimi değerlendirme özelliğini kullanarak farklı plaka yükseklikleriyle nasıl performans sergilediğinize Bonsai ilişkin araştırma işleminde size yol gösterir.

Moab plaka yüksekliğinin fiziksel cihazda yapılandırılabilir olduğu göz önünde bulundurulduğunda, örnek değerlendirmenin amacı, cihazın hala topu iyi dengeleyebilecek en yüksek plaka yüksekliğini belirlemektir.

  1. Kullanıcı arabiriminiBonsai açın.
  2. Hoş geldiniz sayfasında Moab örneğini seçin.
  3. Beyin listesinden yeni Moab beynini seçin.
  4. Eğit sekmesini seçin.
  5. Tanıtım eğitimine başlamak için Eğit'i seçin.
  6. Simülatörler başlatıldıktan sonra + Yeni değerlendirme'ye tıklayın.
  7. Değerlendirme kalıcısında yapılandırma değişkeni listesini gözden geçirin. Plaka yüksekliğinin listede yer almadığını fark edin. Moab Mürekkep Oluşturma dosyasına varsayılan olarak dahil edilmediğinden height, yapılandırma değişkeni olarak listelenmez.
  8. Moab Mürekkep Oluşturma dosyasını açmak için Öğret sekmesini seçin.
  9. Simülatör deyimine gidin:
    source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
    
    Yapılandırma değişkenleri simülatör deyimi tarafından kullanılan türde tanımlanır SimConfig .
  10. SimConfig Mürekkep Oluşturma'da tanıma gidin.
  11. Yapılandırma değişkeni olarak ekleyin height_z ve değeri 0,1m ile 0,2m arasında bir float olacak şekilde kısıtlar.
    type SimConfig {
        # Model initial ball conditions
        initial_x: number<-RadiusOfPlate .. RadiusOfPlate>, # in (m)
        initial_y: number<-RadiusOfPlate .. RadiusOfPlate>,
    
        # Model initial ball velocity conditions
        initial_vel_x: number<-MaxVelocity .. MaxVelocity>, # in (m/s)
        initial_vel_y: number<-MaxVelocity .. MaxVelocity>,
    
        # Range -1 to 1 is a scaled value that represents
        # the full plate rotation range supported by the hardware.
        initial_pitch: number<-1 .. 1>,
        initial_roll: number<-1 .. 1>,
    
        # Starting height of the Moab plate in meters (m) 
        height_z: number<0.1 .. 0.2>
    }
    
  12. Değerlendirme listesine geri dönmek için Eğitme sekmesini seçin.
  13. Değerlendirme kalıcısında yapılandırma değişkeni listesini gözden geçirin. height_z Şimdi yapılandırma değişkeni listesinde göründüğüne dikkat edin.
  14. Değerlendirme yönteminde 0,1m ile 0,15m arasında olacak şekilde yapılandırın height_z .
  15. Bölüm sayısını olarak 100değiştirin.
  16. Aşağıda gösterildiği gibi diğer tüm yapılandırma değişkenlerine sabit değerler atayın.

Example assessment configuration

Aşağıdaki ayarlarla değerlendirme oluşturma ve yapılandırma kalıcı ekran görüntüsü:

  • Görünen ad: Değişen Yükseklik
  • Açıklama: Yüksekliği değiştirin ve diğer yapılandırma değişkenlerini sabit tutun
  • Bölüm sayısı: 100
  • Bölüm başına en fazla yineleme: 250
  • Saat cinsinden zaman aşımı: 24

Ve aşağıdaki yapılandırma değerleri:

  • height_z: sayı0.1< .. 0,15>
  • initial_pitch: 0
  • initial_roll: 0
  • initial_vel_x: 0.1
  • initial_vel_y: 0.1
  • initial_x: 0,5
  • initial_y: 0,5

Bir değerlendirme yapılandırma dosyası oluşturmak için Oluştur'u seçtiğinizde ilgili JSON çıktısı 100 bölüm yapılandırması içerir. için değerler height_z , diğer tüm yapılandırma değişkenleri sabit tutulurken tüm 100 bölümde 0,1m ile 0,15m arasında eşit olarak dağıtılır.

Hazır olduğunuzda, örnek değerlendirmeyi başlatmak için Çalıştır'ı seçin.