Evaluación de cerebros entrenados con simuladores administrados

• Duración total estimada: 15 minutos
• Tiempo activo: 10 minutos

Use la funcionalidad de evaluación personalizada en la interfaz de usuario y la CLI para ejecutar experimentos definidos por el usuario que evalúen el rendimiento del cerebro BonsaiBonsai en escenarios específicos.

Antes de comenzar

• Debe tener un simulador. No se puede entrenar ni evaluar un cerebro sin un simulador. El simulador puede ser local (no administrado) o empaquetarse en Bonsai (administrado).
• Debe tener un cerebro entrenado (o parcialmente entrenado). Puede ejecutar evaluaciones personalizadas en la inteligencia artificial a la vez una vez que comienza el entrenamiento, incluso si el cerebro todavía está en proceso de entrenamiento.

Inicio de una evaluación con la interfaz de Bonsai usuario

1. Abra Bonsai UI.
2. Seleccione la versión del cerebro que desea evaluar.
3. Seleccione en la pestaña Entrenar.
4. Seleccione el botón + Evaluación nueva en el panel de evaluación.
5. Establezca el número de episodios para la valoración.
6. Especifique un valor, un conjunto de valores o un intervalo de valores para las variables configurables que quiera restringir mediante la sintaxis de Inkling.
7. Haga clic en Generar.
8. Revise las configuraciones de episodios de valoración JSON generadas. Bonsai ejecuta un episodio de evaluación por cada configuración que se muestra en el archivo. Bonsai usa los valores predeterminados del simulador para cualquier valor o configuración de episodio que deje en blanco.

Cuando el archivo JSON parezca correcto, haga clic en Ejecutar valoración para iniciar la evaluación. La evaluación se inicia automáticamente con el paquete de simulador definido en el archivo de Inkling. Por ejemplo, si la instrucción simulator es similar al fragmento de código siguiente, la evaluación se inicia automáticamente con el paquete de simulador Moab:

source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
  package "Moab"
}

Inicio de una evaluación con la Bonsai CLI

1. Cree un archivo de configuración de evaluación.
2. Use el comando para iniciar la evaluación:

   bonsai brain version assessment start             \
     --brain-name=BRAIN_NAME                         \
     --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
     --concept-name=CONCEPT_NAME                     \
     --simulator-package-name=SIMULATOR_PACKAGE_NAME \
     –-instance-count INSTANCE_COUNT
   

El registro se produce automáticamente para los simuladores administrados, por lo que no es necesario crear un comando de registro independiente.

Valoración de los resultados de la evaluación

Una vez completada la evaluación, puede revisar los resultados de alto nivel haciendo clic en la evaluación correspondiente en la interfaz de Bonsai usuario.

Los datos de evaluaciones personalizadas se almacenan en el área de trabajo de Log Analytics del área de Bonsai trabajo. Puede consultar los datos de evaluación de dos maneras:

• Siga la guía de consulta de registros para consultar datos mediante KQL.
• Use el cuaderno de Jupyter Notebook de datos de valoración de código abierto para importar los datos en Jupyter y analizarlos allí. Las instrucciones incluidas en custom-assessment-logs.ipnyb le guiarán en el proceso.

Para obtener instrucciones más detalladas sobre la interpretación de los datos de valoración, siga el tutorial Evaluación de datos de valoración.

Ejemplo práctico

El ejemplo siguiente le guía por el proceso de investigación del rendimiento de Moab con diferentes alturas de placa mediante la característica de evaluación Bonsai de la interfaz de usuario.

Dado que la altura de placa de Moab se puede configurar en el dispositivo físico, el objetivo de la valoración de ejemplo es determinar la altura de la placa más alta en que el dispositivo todavía puede equilibrar bien la bola.

1. Abra Bonsai UI.
2. Seleccione el ejemplo de Moab en la página principal.
3. Seleccione el nuevo cerebro de Moab en la lista de cerebros.
4. Seleccione la pestana Entrenar.
5. Seleccione Entrenar para empezar a entrenar la demostración.
6. Una vez iniciados los simuladores, haga clic + Evaluación nueva.
7. Revise la lista de variables de configuración en el modal de valoración. Observe que la altura de placa no está en la lista. La altura no aparece como una variable de configuración porque no se incluye de forma predeterminada en el archivo de Inkling de Moab.
8. Seleccione la pestaña Enseñar para abrir el archivo de Inkling de Moab.
9. Desplácese hasta la instrucción del simulador:

   source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
   

   Las variables de configuración se definen en el tipo SimConfig utilizado por la instrucción del simulador.
10. Desplácese hasta la definición SimConfig del archivo de Inkling.
11. Agregue height_z como una variable de configuración y restrinja el valor para que sea un valor float entre 0,1 m y 0,2 m.

    type SimConfig {
        # Model initial ball conditions
        initial_x: number<-RadiusOfPlate .. RadiusOfPlate>, # in (m)
        initial_y: number<-RadiusOfPlate .. RadiusOfPlate>,
    
        # Model initial ball velocity conditions
        initial_vel_x: number<-MaxVelocity .. MaxVelocity>, # in (m/s)
        initial_vel_y: number<-MaxVelocity .. MaxVelocity>,
    
        # Range -1 to 1 is a scaled value that represents
        # the full plate rotation range supported by the hardware.
        initial_pitch: number<-1 .. 1>,
        initial_roll: number<-1 .. 1>,
    
        # Starting height of the Moab plate in meters (m) 
        height_z: number<0.1 .. 0.2>
    }
    

12. Seleccione la pestaña Entrenar para volver a la lista de valoración.
13. Revise la lista de variables de configuración en el modal de valoración. Observe que height_z ahora aparece en la lista de variables de configuración.
14. Configure height_z en el modal de valoración para que esté entre 0,1 m y 0,15 m.
15. Cambie el recuento de episodios a 100.
16. Asigne valores constantes a todas las demás variables de configuración como se indica a continuación.

Al seleccionar Generar para crear un archivo de configuración de valoración, la salida JSON correspondiente contiene 100 configuraciones de episodios. Los valores de height_z se distribuirán uniformemente entre 0,1 m y 0,15 m en los 100 episodios, mientras que todas las demás variables de configuración se mantendrán constantes.

Cuando esté listo, seleccione Ejecutar para iniciar la valoración de ejemplo.