Getrainde trainende trainen met beheerde simulators

• Totale tijd om te voltooien:15 minuten
• Actieve tijd:10 minuten

Gebruik aangepaste evaluatiefunctionaliteit in de gebruikersinterface en CLI om door de gebruiker gedefinieerde experimenten uit te voeren die evalueren hoe goed uw brein BonsaiBonsai presteert in specifieke scenario's.

Voordat u begint

• U moet een simulator hebben. U kunt zonder simulator geen brein trainen of beoordelen. Uw simulator kan lokaal (niet-beheerd) of verpakt in Bonsai (beheerd) zijn.
• U moet een getraind (of gedeeltelijk getraind) brein hebben. Zodra de training is gestart, kunt u op uw AI tegelijkertijd aangepaste evaluaties uitvoeren, zelfs als het brein nog bezig is met trainen.

Een evaluatie starten met de Bonsai gebruikersinterface

1. Open het Bonsai UI.
2. Selecteer de breinversie die u wilt beoordelen.
3. Selecteer op het tabblad Trainen.
4. Selecteer de knop + Nieuwe evaluatie in het evaluatievenster.
5. Stel het aantal minuten voor uw evaluatie in.
6. Geef een waarde, set waarden of een waardebereik op voor configureerbare variabelen die u wilt beperken met behulp van inkling-syntaxis.
7. Klik op Genereren.
8. Bekijk de gegenereerde configuraties voor evaluatie van JSON-evaluaties. Bonsai voert één evaluatiebeoordeling uit voor elke configuratie die in het bestand wordt vermeld. Bonsai gebruikt simulator-standaardwaarden voor elke waarde- of afleveringsconfiguratie die u leeg laat.

Wanneer het JSON-bestand er correct uitziet, klikt u op Evaluatie uitvoeren om de evaluatie te starten. Evaluatie begint automatisch met het simulatorpakket dat is gedefinieerd in uw Inkling-bestand. Als uw instructie er simulator bijvoorbeeld uitziet als het volgende codefragment, begint uw evaluatie automatisch met het Moab simulatorpakket:

source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
  package "Moab"
}

Een evaluatie starten met de Bonsai CLI

1. Maak een configuratiebestand voor de evaluatie.
2. Gebruik de opdracht om de evaluatie te starten:

   bonsai brain version assessment start             \
     --brain-name=BRAIN_NAME                         \
     --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
     --concept-name=CONCEPT_NAME                     \
     --simulator-package-name=SIMULATOR_PACKAGE_NAME \
     –-instance-count INSTANCE_COUNT
   

Logboekregistratie vindt automatisch plaats voor beheerde simulators, dus u hoeft geen afzonderlijke logboekregistratieopdracht te maken.

Evaluatieresultaten evalueren

Nadat de evaluatie is voltooid, kunt u de resultaten op hoog niveau bekijken door te klikken op de relevante evaluatie in de Bonsai gebruikersinterface.

Gegevens van aangepaste evaluaties worden opgeslagen in de Log Analytics-werkruimte voor uw Bonsai werkruimte. U kunt evaluatiegegevens op twee manieren opvragen:

• Volg de handleiding Query's uitvoeren op logboeken om gegevens op te vragen met behulp van KQL.
• Gebruik het Jupyter open source-notebook voor evaluatiegegevens om uw gegevens in Jupyter te importeren en daar te analyseren. De instructies in custom-assessment-logs.ipnyb helpen u bij het proces.

Volg de zelfstudie Evaluatiegegevens evalueren voor gedetailleerde instructies over het interpreteren van evaluatiegegevens.

Een praktisch voorbeeld

In het volgende voorbeeld wordt u door het proces van het onderzoeken van hoe Moab presteert met verschillende bordhoogten met behulp van de Bonsai functie VOOR UI-evaluatie.

Gezien het feit dat de hoogte van de Moab-bord op het fysieke apparaat kan worden geconfigureerd, is het doel van de voorbeeldevaluatie om de hoogste hoogte van de bord te bepalen waarop het apparaat de bal nog steeds goed kan in balans brengen.

1. Open het Bonsai UI.
2. Selecteer het Moab-voorbeeld op de welkomstpagina.
3. Selecteer het nieuwe Moab brain in de lijst met breinen.
4. Selecteer het tabblad Trainen.
5. Selecteer Trainen om te beginnen met het trainen van de demo.
6. Zodra de simulators zijn gestart, klikt u op + Nieuwe evaluatie.
7. Bekijk de lijst met configuratievariabelen in de evaluatiemodaal. U ziet dat de hoogte van de bord niet in de lijst staat. Height wordt niet vermeld als een configuratievariabele omdat deze niet standaard is opgenomen in het Moab Inkling-bestand.
8. Selecteer het tabblad Leren om het Moab Inkling-bestand te openen.
9. Schuif naar de simulator-instructie:

   source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
   

   Configuratievariabelen worden gedefinieerd in het SimConfig type dat wordt gebruikt door de simulator-instructie.
10. Schuif naar de SimConfig definitie in Inkling.
11. Voeg toe als een configuratievariabele en beperk de waarde tot een height_z float tussen 0,1 en 0,2 m.

    type SimConfig {
        # Model initial ball conditions
        initial_x: number<-RadiusOfPlate .. RadiusOfPlate>, # in (m)
        initial_y: number<-RadiusOfPlate .. RadiusOfPlate>,
    
        # Model initial ball velocity conditions
        initial_vel_x: number<-MaxVelocity .. MaxVelocity>, # in (m/s)
        initial_vel_y: number<-MaxVelocity .. MaxVelocity>,
    
        # Range -1 to 1 is a scaled value that represents
        # the full plate rotation range supported by the hardware.
        initial_pitch: number<-1 .. 1>,
        initial_roll: number<-1 .. 1>,
    
        # Starting height of the Moab plate in meters (m) 
        height_z: number<0.1 .. 0.2>
    }
    

12. Selecteer het tabblad Trainen om terug te gaan naar de evaluatielijst.
13. Bekijk de lijst met configuratievariabelen in de evaluatiemodaal. U ziet height_z dat nu wordt weergegeven in de lijst met configuratievariabelen.
14. Configureer height_z in de evaluatiemodaal zo dat deze tussen 0,1 en 0,15 m is.
15. Wijzig het aantal aflevering in 100 .
16. Wijs constante waarden toe aan alle andere configuratievariabelen, zoals hieronder wordt aangegeven.

Wanneer u Genereren selecteert om een evaluatieconfiguratiebestand te maken, bevat de bijbehorende JSON-uitvoer 100 configuraties. De waarden voor worden gelijkmatig verdeeld tussen height_z 0,1 en 0,15 m over alle 100 minuten, terwijl alle andere configuratievariabelen constant worden gehouden.

Wanneer u klaar bent, selecteert u Uitvoeren om de voorbeeldevaluatie te starten.