Vinculación de un simulador no administrado a Bonsai

  • Artículo
  • Tiempo de lectura: 13 minutos
  • Tiempo total para completar: 40 minutos
  • Tiempo activo: 40 minutos
  • Tiempo inactivo: 0 minutos
  • Tiempo total para completar: 60 minutos
  • Tiempo activo: 30 minutos
  • Tiempo inactivo: 30 minutos
  • Tiempo total para completar: 60 minutos
  • Tiempo activo: 30 minutos
  • Tiempo inactivo: 30 minutos

Conecte un simulador que se ejecuta en el entorno local al Bonsai área de trabajo para pruebas de simuladores y entrenamiento cerebral.

Antes de comenzar

Sugerencia

Si tiene problemas para aislar las discrepancias de dependencias de Python o conflictos generales del entorno, considere la posibilidad de configurar un entorno virtual de Miniconda para el trabajo de codificación.

Paso 1: Agregar un Bonsai conector

Actualice el código del simulador para agregar un conector dedicadoBonsai.

Debe encapsular el modelo AnyLogic existente y adjuntar la Bonsai biblioteca del conector para poder usarla con Bonsai. El ajuste es el proceso de insertar el modelo de simulador existente como una dependencia en un nuevo modelo (el modelo contenedor) para que el modelo contenedor pueda controlar el agente raíz del modelo existente. Puede ver la relación entre el modelo existente y el modelo contenedor en la sección Dependencias de la ventana de propiedades del modelo contenedor.

A Compilación del modelo contenedor

  1. Descargue la Bonsai biblioteca de conectores (BonsaiLibrary.jar) desde el Bonsai repositorio de GitHub anyLogic.
  2. Descargue la plantilla del modelo contenedor desde la página Microsoft Project Bonsai AnyLogic.
  3. En AnyLogic:
    1. Seleccione el panel Paleta .
    2. Seleccione signo más (+) en la esquina inferior izquierda para abrir el cuadro de diálogo Administrar bibliotecas .
    3. Seleccione el botón Agregar en el lado derecho del cuadro de diálogo.
    4. Vaya a y seleccione el archivo Library.jar en el Bonsaiequipo.
    5. Confirme todos los cuadros de diálogo.
  4. Abra el modelo contenedor y el modelo de simulador existente en AnyLogic.
  5. Abra el tipo de agente contenedor en el modelo contenedor.
  6. En el panel del editor del agente contenedor, mantenga el puntero a la izquierda para ver el Bonsai objeto del conector y la getObservable función.
  7. Arrastre y coloque el agente de nivel superior en el panel del proyecto del modelo de simulador existente en el agente contenedor.

Captura de pantalla de AnyLogic

Ahora se crea una instancia del modelo existente como un objeto en el modelo contenedor. Ahora se puede acceder a los campos y funciones del modelo existente a través del objeto raíz que agregó al modelo contenedor.

Sugerencia

Siempre que el Bonsai archivo jar del conector no se mueva o elimine, estará disponible para todos los proyectos de AnyLogic.

B. Actualización del modelo existente

Para cualquier función del modelo existente a la que se pueda llamar en la getObservable función del modelo contenedor o del Bonsai conector:

  1. Abra la ventana de propiedades de la función.
  2. Vaya a la sección Opciones avanzadas.
  3. Seleccione "public" en la lista desplegable de opciones de Access .

C. Actualización del Bonsai conector

Haga clic en el Bonsai objeto connector de AnyLogic y proporcione la siguiente información en Propiedades:

  • Identificador del área de trabajo.
  • La clave de acceso.
  • Un nombre único para el simulador.

D. Migración de la base de datos AnyLogic integrada

Nota

Si el modelo existente no usa la base de datos AnyLogic integrada, puede omitir este paso.

Opción 1: Copiar la carpeta de la base de datos

  1. Abra ambos directorios de modelos en el explorador de archivos que prefiera.
  2. Cierre ambos modelos en AnyLogic.
  3. Copie la carpeta de base de datos de la carpeta del modelo existente en la carpeta del modelo contenedor.

Opción 2: Realizar y restaurar una copia de seguridad de base de datos

  1. Abra las propiedades del objeto de base de datos en el modelo existente.
  2. Seleccione Copia de seguridad de la base de datos y guarde el archivo de copia de seguridad en la máquina.
  3. Abra las propiedades del objeto de base de datos para el modelo contenedor.
  4. Seleccione Restaurar base de datos y elija el archivo de copia de seguridad que ha realizado.
  5. Una vez restaurada la base de datos, puede eliminar el archivo de copia de seguridad.
  1. Descargue el cuadro de herramientas de la BonsaiBonsai página web en MATLAB-Central.
  2. Haga doble clic en el instalador del cuadro de herramientas (.mltbx).
  3. Siga las indicaciones que aparecen en la pantalla para instalar el cuadro de herramientas para la versión predeterminada de MATLAB/Simulink.
  4. Abra el modelo de Simulink.
  5. Ajuste el modelo existente para que acepte action y InitialConfig los valores como entrada y un states valor como salida.

    Captura de pantalla de Simulink del modelo ajustado

  6. En el Explorador de biblioteca de Simulink , agregue los siguientes bloques:
    • Bonsai
    • Constante
    • Mux
    • Detener simulación
  7. Cree un bloque constante con el valor False.
  8. Realice tantos bloques constantes como sea necesario para representar el estado inicial de la simulación.
  9. Use el bloque Mux para combinar los valores de propiedad iniciales y conectar el puerto de salida Mux al InitialConfig puerto de entrada del modelo existente.
  10. Conecte el action puerto de salida del Bonsai bloque al action puerto de entrada del modelo de Simulink.
  11. Conecte el reset puerto de salida del Bonsai bloque al bloque Detener simulación.
  12. Conecte el state puerto de salida del modelo existente al state puerto de entrada del Bonsai bloque.
  13. Conecte el False bloque de constantes halted al puerto de entrada del Bonsai bloque.
  14. Haga doble clic en el Bonsai bloque y establezca Hora de ejemplo en [DEFAULT_SIMULATION_RATE, 0].

Captura de pantalla de Simulink del modelo totalmente conectado

Paso 2: Configuración del Bonsai conector

Los conectores dedicados se personalizan en el simulador asociado de forma predeterminada. Puede ver un ejemplo de un conector dedicado totalmente funcional en el Bonsai ejemplo: Cartpole. Repositorio de GitHub El ejemplo se ejecuta localmente para registrar y conectar el simulador de Python de Cartpole incluido. Los elementos personalizables se marcan en el archivo de ejemplo como TODOs.

A Configuración de las clases contenedoras

El modelo contenedor incluye tres clases de Java necesarias para definir la configuración inicial, el espacio de acción y el espacio de observación del modelo para Bonsai:

  • ModelConfig: debe contener todas las variables necesarias para inicializar un episodio de entrenamiento. Si la configuración de inicialización se produce como parte de la lógica de simulación, puede dejar esta clase vacía. ModelConfig Las variables son accesibles en el campo episodeStart del Bonsai objeto Connector y se asignan a las variables de configuración del simulador definidas en el archivo inkling.
  • ModelAction: debe contener todas las variables que el Bonsai cerebro pasa al modelo contenedor. ModelAction Las variables son accesibles en el campo episodeStep del Bonsai objeto Connector y se asignan a las acciones cerebrales permitidas definidas en el archivo inkling. ModelAction El Bonsai cerebro proporciona valores para actualizar el modelo en cada paso.
  • ModelObservation: debe contener todas las variables necesarias para definir el espacio observable para la simulación. Las variables definidas en ModelObservation se rellenan al principio de cada episodio paso por la getObservable función y se asignan a los estados del simulador definidos en el archivo inkling.

Importante

Actualmente, la Bonsai plataforma solo permite campos numéricos (enteros y dobles) y matrices como tipos de datos.

B. Actualización de la getObservable función para el modelo contenedor

La forma de actualizar getObservable dependerá del modelo existente, pero es importante asociar cada elemento del espacio de observación definido en ModelObservation con una salida adecuada del modelo existente.

Para acceder a los campos y funciones del modelo existente, anteponga los nombres con el objeto raíz que representa el modelo existente. Por ejemplo, si desea acceder a una variable denominada currTemp en el modelo existente, use Main.currTemp para hacer referencia a ella, donde Main es el tipo de agente raíz del modelo contenedor.

Importante

Cualquier código que agregue a la getObservable función y el Bonsai conector debe hacer referencia al modelo existente. El contenedor solo está pensado para empaquetar la información entrante y saliente para que Bonsai el modelo existente pueda comunicarse.

C. Actualización de los campos del Bonsai conector

  1. Actualice los campos episodeStart, episodestep y halted con código que actúa o informa sobre el modelo existente.
Campo Uso Variables locales
episodeStart inicializar el entorno simulado config (alias ModelConfig)
episodeStep actualizar el entorno simulado action (alias ModelAction)
Detenido indica si la simulación en un estado terminal (True o False) ninguno
  1. Cree un nuevo archivo denominado SIM_PARAMS.m y defina las variables necesarias para el simulador. Por ejemplo:
    TemplateParam = 1;  %% dummy variable
  2. Cree un nuevo archivo denominado startup.m y agregue el código siguiente:
    addpath(genpath(pwd))
SIM_PARAMS
DEFAULT_SIMULATION_RATE = -1;  % units: sec
  3. Deje DEFAULT_SIMULATION_RATE establecido en -1 (recomendado) si desea ejecutar el Bonsai bloque a la misma velocidad que el modelo. De lo contrario, establezca la frecuencia de muestreo deseada en segundo lugar.
  4. Cree un archivo llamado bonsaiConfig.m y agregue el código siguiente:
    % Copyright (c) Microsoft Corporation.
% Licensed under the MIT License.

function config = bonsaiConfig

  config = BonsaiConfiguration();
  % % override api url, defaults to "https://api.bons.ai"
  % config.url = "https://api.bons.ai";

  % bonsai workspace
  config.workspace = "YOUR_WORKSPACE_ID"; %TODO

  % access key, generated from https://beta.bons.ai/brains/accounts/settings
  config.accessKey = "YOUR_ACCESS_KEY"; %TODO

  % simulator name, for an unmanaged simulator launched from the desktop to show up on the web
  config.name = "YOUR_SIMULATOR_NAME"; %TODO

  % path to bonsai block in your simulink model file, used to determine state and action schemas
  config.bonsaiBlock = "simulinkModelFileName/Bonsai"; %TODO

  % % set state and action schemas (overrides data from bonsaiBlock)
  config.stateSchema = ["state1", "state2", "state3", "state4"]; %TODO
  config.actionSchema = ["action1"]; %TODO

  % set your InitialConfig Parameters
  config.configSchema = ["initialConfig1"]; %TODO

  % % time (in seconds) the simulator gateway should wait for
  % %   your simulator to advance, defaults to 60
  config.timeout = 60;

  % path to csv file where episode data should be logged
  config.outputCSV = "record-data.csv";

  % % display verbose logs
  config.verbose = true;
end
  5. Actualice cada una de las líneas marcadas con %TODO comentarios con los detalles pertinentes para Bonsai el área de trabajo y el simulador existente.
  6. Cree un archivo llamado bonsaiTrain.m y agregue el código siguiente:
    % Copyright (c) Microsoft Corporation.
% Licensed under the MIT License.
% Main entrypoint for training a Bonsai brain. After starting this script you
% must begin training your brain in the web, selecting the "Simulink Cartpole"
% simulator.
%% Load startupFiles
startup;

% Simulink Model File Name
mdl = 'simulinkModelFilename'; %TODO
load_system(mdl);
set_param(mdl, 'FastRestart', 'on');

% run training
config = bonsaiConfig;
BonsaiRunTraining(config, mdl, @episodeStartCallback);

% callback for running model with provided episode configuration
function episodeStartCallback(mdl, episodeConfig)
  in = Simulink.SimulationInput(mdl);
  in = in.setVariable('initialProp1', 'initialProp1', ... 'initialPropN', episodeConfig.initialConfig1); %TODO
  sim(in);
end
  7. Actualice cada una de las líneas marcadas con %TODO comentarios de la siguiente manera:
  • initialProp1 ... initialPropN: actualice para que coincida con los nombres reales definidos como las propiedades iniciales del modelo.
  • initialConfig1: actualice el nombre para que coincida con el parámetro de configuración inicial definido en el archivo bonsaiConfig.m.

Paso 3: Configuración de la Bonsai CLI y el entorno

Establezca las SIM_WORKSPACE variables de entorno y SIM_ACCESS_KEY .

export SIM_WORKSPACE="YOUR_WORKSPACE_ID"
export SIM_ACCESS_KEY="YOUR_WORKSPACE_ACCESS_KEY"

A continuación, ejecute el comando para establecer el bonsai configure identificador del área de trabajo para la Bonsai CLI:

bonsai configure --workspace-id ${SIM_WORKSPACE}

Paso 4: Ejecutar la sim con una configuración predeterminada

Antes de conectar el simulador a Bonsai, debe ejecutar el modelo localmente con una configuración predeterminada para asegurarse de que se comporta según lo previsto.

Para ejecutar el simulador localmente:

  1. Haga clic en el botón Ejecutar en AnyLogic.
  2. Seleccione el simulador deseado en la lista desplegable que aparece.

Puede usar un experimento sin guis (sin GUI) o animado (con GUI) para la ejecución de pruebas.

Paso 5: Registrar el simulador como un sim no administrado

Inicie una instancia local del simulador de Python y anote el identificador de sesión devuelto por CreateSession.

Inicie el modelo AnyLogic local. El Bonsai conector registrará automáticamente el simulador con Bonsai como un simulador no administrado.

Inicie el modelo de Simulink local. El Bonsai cuadro de herramientas registrará automáticamente el simulador con Bonsai como un simulador no administrado.

Paso 6: Ejecutar el simulador no administrado con un cerebro de prueba

Debe comprobar que el simulador puede comunicarse correctamente con Bonsai antes de agregarlo al área de trabajo como simulador administrado (escalable).

  1. Abra la interfaz deBonsai usuario.
  2. Seleccione + Crear cerebro y siga el mensaje para crear un cerebro vacío.
  3. Abra el archivo de ejemplo básico del cerebro y pegue la plantilla inkling en el panel de codificación vacío de la pestaña Enseñar .
  4. Configure la plantilla con estados y acciones válidos para el simulador.
  5. Seleccione el botón Entrenar.
  6. Seleccione el simulador en la lista de simuladores no administrados .

Después de unos instantes, debería ver el streaming de datos de episodios en la consola de MATLAB.

Cuando tenga suficientes datos de prueba, seleccione Detener entrenamiento. Simulink registra los detalles de la ejecución de prueba como registros csv con el nombre de archivo establecido en Bonsai el archivo de configuración (bonsaiConfig.m).

Pasos siguientes

Una vez que el simulador se conecta localmente y puede comprobar el comportamiento correcto, está listo para convertirlo en un simulador administrado y escalar el entrenamiento cerebral con Bonsai.