Utvärdera tränade hjärna med ohanterade (lokala) simulatorer

  • Artikel
  • 2 minuter för att läsa
  • Total tid att slutföra:15 minuter
  • Aktiv tid:10 minuter

är Bonsai CLI särskilt användbart när du utvärderar hjärnan med ohanterade simulatorer som stöder visualiseringar på en lokal skärm. Anvisningar om hur du installerar CLI eller information om kommandona finns i Bonsai CLI documentation .

Innan du börjar

  • Du måste ha en simulator. Du kan inte träna eller utvärdera en hjärna utan en simulator. Simulatorn kan vara lokal (ohanterad) eller paketerad i Bonsai (hanterad).
  • Du måste ha en tränad (eller delvis tränad) hjärna. Du kan inte utvärdera en brain-version som är tränad eller under träningsprocessen. Du kan avbryta träningen manuellt när du är nöjd med prestandamåtten eller vänta tills träningen stoppas automatiskt när hjärnan inte når iterationsgränsen.
  • Du måste vara bekant med JSON. Anvisningarna nedan förutsätter att du förstår grundstrukturen för ett JSON-objekt. Om du aldrig har arbetat med JSON tidigare rekommenderar vi att du går igenom avsnittet Om JSON-format i Arbeta med CSV- och JSON-filer innan du fortsätter.

Steg 1: Skapa din utvärderingskonfigurationsfil

Utvärderingskonfigurationsfiler definierar startvärdena för avsnittet för utvärderingen i JSON-format. Det effektivaste sättet att skapa en utvärderingskonfigurationsfil är att:

  1. Använd funktionen Ny utvärdering för att generera JSON-konfigurationerna.

  2. Kopiera den genererade JSON-filen till en textredigerare och spara den som en JSON-fil.

Detaljerade anvisningar om hur du skapar en egen utvärderingskonfigurationsfil eller ytterligare förklaringar av de olika komponenterna i en konfigurationsfil finns i självstudien Skapa en konfigurationsfil för utvärdering.

Steg 2: Förbered den ohanterade simulatorn

  1. Starta simulatorn lokalt.
  2. Bekräfta att simulatorn är intrig (ej inläst):
    bonsai simulator unmanaged list

| Name       | Session Id              | Action   |
|------------+-------------------------+----------|
| moab-py-v5 | 367420541_10.244.21.230 | Unset    |
  3. Anslut simulatorn för utvärdering:
    bonsai simulator unmanaged connect \
  --simulator-name=SIMULATOR_NAME  \
  --brain-name=BRAIN_NAME          \
  --brain-version=VERSION          \
  --concept-name CONCEPT_NAME      \
  --action Assess

Simulators Found: 1
Simulators Connected: 1
Simulators Not Connected: 0
  4. Bekräfta att simulatorn är redo för utvärdering:
    bonsai simulator unmanaged list

| Name       | Session Id              | Action   |
|------------+-------------------------+----------|
| moab-py-v5 | 367420541_10.244.21.230 | Assess   |

Tips

När du ansluter simulatorn använder du flaggan --session-id i stället för för att ansluta en specifik version av den --simulator-name ohanterade simulatorn.

Steg 3: Starta utvärderingen

Om du vill påbörja en utvärdering i användargränssnittet klickar du på knappen Ny utvärdering och väljer din Bonsai ohanterade Bonsai simulator i den tillgängliga listan.

Så här påbörjar du en utvärdering med Bonsai CLI:

  1. Starta loggning för att samla in utvärderingsinformation med hjälp av sessions-ID från simulator unmanaged list kommandot:

    $ bonsai brain version start-logging \
  --name BRAIN_NAME                  \
  --session-id SESSION_ID

  2. Använd brain version assessment start för att starta utvärderingen:

    bonsai brain version assessment start             \
  --brain-name=BRAIN_NAME                         \
  --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
  --concept-name=CONCEPT_NAME

Nästa steg

Du kan vänta tills utvärderingen har slutförts eller utvärdera resultatet medan utvärderingen pågår.