Utvärdera tränade hjärna med hanterade simulatorer

• Total tid att slutföra:15 minuter
• Aktiv tid:10 minuter

Använd anpassade utvärderingsfunktioner i användargränssnittet och CLI för att köra användardefinierade experiment som utvärderar hur bra BonsaiBonsai hjärnan presterar i specifika scenarier.

Innan du börjar

• Du måste ha en simulator. Du kan inte träna eller utvärdera en hjärna utan en simulator. Simulatorn kan vara lokal (ohanterad) eller paketerad i Bonsai (hanterad).
• Du måste ha en tränad (eller delvis tränad) hjärna. Du kan köra anpassade utvärderingar på din AI när träningen börjar, även om hjärnan fortfarande håller på att tränas.

Starta en utvärdering med Bonsai användargränssnittet

1. Öppna Bonsai UI.
2. Välj den brain-version som du vill utvärdera.
3. Välj på fliken Träna.
4. Välj knappen + Ny utvärdering i utvärderingspanelen.
5. Ange antalet avsnitt för utvärderingen.
6. Ange ett värde, en uppsättning värden eller ett värdeintervall för de konfigurerbara variabler som du vill begränsa med hjälp av In syntax.
7. Klicka på Generera.
8. Granska de genererade konfigurationerna för JSON-utvärderingsavsnittet. Bonsai kör ett utvärderingsavsnitt för varje konfiguration som anges i filen. Bonsai använder simulatorstandardinställningar för alla värden eller konfigurationer där du lämnar tomt.

När JSON-filen ser korrekt ut klickar du på Kör utvärdering för att starta utvärderingen. Utvärderingen börjar automatiskt med det simulatorpaket som definierats i indelningsfilen. Om din instruktion till simulator exempel ser ut som följande kodfragment börjar utvärderingen automatiskt med Moab simulatorpaketet:

source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
  package "Moab"
}

Starta en utvärdering med Bonsai CLI

1. Skapa en utvärderingskonfigurationsfil.
2. Använd kommandot för att starta utvärderingen:

   bonsai brain version assessment start             \
     --brain-name=BRAIN_NAME                         \
     --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
     --concept-name=CONCEPT_NAME                     \
     --simulator-package-name=SIMULATOR_PACKAGE_NAME \
     –-instance-count INSTANCE_COUNT
   

Loggning sker automatiskt för hanterade simulatorer, så du behöver inte skapa ett separat loggningskommando.

Utvärdera utvärderingsresultat

När utvärderingen är klar kan du granska resultaten på hög nivå genom att klicka på den relevanta utvärderingen i Bonsai användargränssnittet.

Data från anpassade utvärderingar lagras i Log Analytics-arbetsytan för din Bonsai arbetsyta. Du kan köra frågor mot utvärderingsdata på två sätt:

• Följ guiden Frågeloggar för att fråga efter data med KQL.
• Använd Jupyter Notebook-data för utvärdering av öppen källkod för att importera dina data till Jupyter och analysera dem där. Anvisningarna i custom-assessment-logs.ipnyb hjälper dig att gå igenom processen.

Mer detaljerade anvisningar om hur du tolkar utvärderingsdata finns i självstudien Utvärdera utvärderingsdata.

Ett praktiskt exempel

I följande exempel går vi igenom processen för att undersöka hur Moab presterar med olika platthöjder med hjälp av Bonsai ui-utvärderingsfunktionen.

Med tanke på att Moab-platthöjden kan konfigureras på den fysiska enheten är målet med exempelutvärderingen att fastställa den heestesta platthöjden där enheten fortfarande kan balansera kulan väl.

1. Öppna Bonsai UI.
2. Välj Moab-exemplet på välkomstsidan.
3. Välj den nya Moab-hjärnan från brain-listan.
4. Välj fliken Träna.
5. Välj Träna för att börja träna demonstrationen.
6. När simulatorerna har startat klickar du på + Ny utvärdering.
7. Granska listan med konfigurationsvariabler i utvärderingsmodalen. Observera att registreringshöjden inte finns med i listan. Höjd visas inte som en konfigurationsvariabel eftersom den inte ingår som standard i Moab Indelning-filen.
8. Välj fliken Lär för att öppna Moab-indelningsfilen.
9. Rulla till simulator-instruktionen:

   source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
   

   Konfigurationsvariabler definieras i den SimConfig typ som används av simulator-instruktionen.
10. Bläddra till SimConfig definitionen i Inhjulet.
11. Lägg till som en konfigurationsvariabel och begränsa värdet till height_z ett flyttal mellan 0,1 m och 0,2 m.

    type SimConfig {
        # Model initial ball conditions
        initial_x: number<-RadiusOfPlate .. RadiusOfPlate>, # in (m)
        initial_y: number<-RadiusOfPlate .. RadiusOfPlate>,
    
        # Model initial ball velocity conditions
        initial_vel_x: number<-MaxVelocity .. MaxVelocity>, # in (m/s)
        initial_vel_y: number<-MaxVelocity .. MaxVelocity>,
    
        # Range -1 to 1 is a scaled value that represents
        # the full plate rotation range supported by the hardware.
        initial_pitch: number<-1 .. 1>,
        initial_roll: number<-1 .. 1>,
    
        # Starting height of the Moab plate in meters (m) 
        height_z: number<0.1 .. 0.2>
    }
    

12. Välj fliken Träna för att gå tillbaka till utvärderingslistan.
13. Granska listan med konfigurationsvariabler i utvärderingsmodalen. Observera att height_z nu visas i listan med konfigurationsvariabler.
14. Konfigurera height_z i utvärderingsmodalen att vara mellan 0,1 m och 0,15 m.
15. Ändra antalet avsnitt till 100 .
16. Tilldela konstanta värden till alla andra konfigurationsvariabler enligt nedan.

När du väljer Generera för att skapa en utvärderingskonfigurationsfil innehåller motsvarande JSON-utdata 100 avsnittskonfigurationer. Värdena för distribueras enhetligt mellan height_z 0,1 m och 0,15 m över alla 100 avsnitt medan alla andra konfigurationsvariabler hålls konstanta.

När du är klar väljer du Kör för att starta exempelutvärderingen.