Valoración de cerebros entrenados con simuladores no administrados (locales)


  • Duración total estimada: 15 minutos
  • Tiempo activo: 10 minutos

es especialmente útil al evaluar los cerebros con simuladores no administrados que admiten Bonsai CLI visualizaciones en una pantalla local. Para obtener instrucciones sobre cómo instalar la CLI o información sobre los comandos, consulte Bonsai CLI documentation .

Antes de comenzar

  • Debe tener un simulador. No se puede entrenar ni evaluar un cerebro sin un simulador. El simulador puede ser local (no administrado) o empaquetarse en Bonsai (administrado).
  • Debe tener un cerebro entrenado (o parcialmente entrenado) . No se puede evaluar la versión de un cerebro no entrenando o en proceso de entrenamiento. Puede detener el entrenamiento manualmente cuando esté satisfecho con las métricas de rendimiento o esperar a que el entrenamiento se detenga automáticamente cuando el cerebro alcance el límite de iteración sin progreso.
  • Debe estar familiarizado con el formato JSON. En las instrucciones siguientes se supone que comprende la estructura de los conceptos básicos de un objeto JSON. Si nunca antes ha trabajado con JSON, se recomienda revisar la sección Acerca del formato JSON de Trabajar con archivos CSV y JSON antes de continuar.

Paso 1: Creación del archivo de configuración de valoración

Los archivos de configuración de evaluación definen los valores de inicio del episodio para la evaluación en formato JSON. La manera más eficaz de crear un archivo de configuración de evaluación es:

  1. Use la característica Nueva evaluación para generar las configuraciones JSON.

  2. Copie el JSON generado en un editor de texto y guárdelo como un archivo JSON.

Para obtener instrucciones detalladas sobre cómo crear su propio archivo de configuración de evaluación o para obtener más explicaciones de los distintos componentes de un archivo de configuración, siga el tutorial Creación de un archivo de configuración de evaluación.

Paso 2: Preparación del simulador no administrado

  1. Inicie el simulador localmente.
  2. Confirme que el simulador está en estado de inactivo (sin establecer):
    bonsai simulator unmanaged list
    
    | Name       | Session Id              | Action   |
    |------------+-------------------------+----------|
    | moab-py-v5 | 367420541_10.244.21.230 | Unset    |
    
  3. Conecte el simulador para la valoración:
    bonsai simulator unmanaged connect \
      --simulator-name=SIMULATOR_NAME  \
      --brain-name=BRAIN_NAME          \
      --brain-version=VERSION          \
      --concept-name CONCEPT_NAME      \
      --action Assess
    
    Simulators Found: 1
    Simulators Connected: 1
    Simulators Not Connected: 0
    
  4. Confirme que el simulador está listo para la valoración:
    bonsai simulator unmanaged list
    
    | Name       | Session Id              | Action   |
    |------------+-------------------------+----------|
    | moab-py-v5 | 367420541_10.244.21.230 | Assess   |
    

Sugerencia

Al conectar el simulador, use la marca --session-id en lugar de --simulator-name para conectar una versión específica del simulador no administrado.

Paso 3: Inicio de la valoración

Para comenzar una evaluación en la interfaz de usuario, haga clic en el botón Nueva evaluación y seleccione el simulador no Bonsai administrado en la lista disponible. Bonsai

Para comenzar una evaluación con la Bonsai CLI:

  1. Inicie el registro para capturar información de evaluación mediante el identificador de sesión del simulator unmanaged list comando :

    $ bonsai brain version start-logging \
      --name BRAIN_NAME                  \
      --session-id SESSION_ID
    
  2. Use brain version assessment start para iniciar la evaluación:

    bonsai brain version assessment start             \
      --brain-name=BRAIN_NAME                         \
      --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
      --concept-name=CONCEPT_NAME
    

Pasos siguientes

Puede esperar hasta que se complete la valoración o evaluar los resultados mientras la valoración está en curso.