Vyhodnocení natrénovaných mozku pomocí spravovaných simulátorů

• Celková doba dokončení:15 minut
• Aktivní čas:10 minut

Pomocí vlastních funkcí posouzení v uživatelském rozhraní a rozhraní příkazového řádku můžete spouštět uživatelem definované experimenty, které vyhodnotí, jak dobře váš mozek BonsaiBonsai v konkrétních scénářích pracuje.

Než začnete

• Musíte mít simulátor. Mozek nemůžete vytrénovat ani posoudit bez simulátoru. Simulátor může být místní (nespravovaný) nebo zabalený Bonsai (spravovaný).
• Musíte mít trénovaný (nebo částečně vytrénovaný) mozek. Po zahájení trénování můžete na AI spouštět vlastní posouzení, i když je mozek stále v procesu trénování.

Zahájení posouzení pomocí uživatelského Bonsai rozhraní

1. Otevřete třídu Bonsai UI.
2. Vyberte verzi mozku, kterou chcete posoudit.
3. Vyberte na kartě Train (Trénovat).
4. Na panelu posouzení vyberte tlačítko + Nové posouzení.
5. Nastavte počet seriálů pro vaše hodnocení.
6. Zadejte hodnotu, sadu hodnot nebo rozsah hodnot pro všechny konfigurovatelné proměnné, které chcete omezit pomocí syntaxe rukopisu.
7. Klikněte na Vygenerovat.
8. Zkontrolujte konfiguraci vygenerované scény posouzení JSON. Bonsai spustí jednu kategorii posouzení pro každou konfiguraci uvedenou v souboru . Bonsai používá výchozí hodnoty simulátoru pro libovolnou konfiguraci hodnoty nebo scény, kterou necháte prázdnou.

Až soubor JSON vypadá správně, kliknutím na Spustit posouzení spusťte posouzení. Posouzení se automaticky spustí s balíčkem simulátoru definovaným v souboru rukopisu. Pokud například váš příkaz vypadá jako následující fragment kódu, vaše simulator posouzení automaticky začne s balíčkem Moab simulátoru:

source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
  package "Moab"
}

Zahájení posouzení pomocí rozhraní příkazového Bonsai řádku

1. Vytvořte konfigurační soubor posouzení.
2. Pomocí příkazu spusťte posouzení:

   bonsai brain version assessment start             \
     --brain-name=BRAIN_NAME                         \
     --file=PATH_TO_ASSESSMENT_CONFIG_FILE           \
     --concept-name=CONCEPT_NAME                     \
     --simulator-package-name=SIMULATOR_PACKAGE_NAME \
     –-instance-count INSTANCE_COUNT
   

Protokolování pro spravované simulátory probíhá automaticky, takže není nutné provádět samostatný příkaz protokolování.

Vyhodnocení výsledků posouzení

Po dokončení posouzení můžete kliknutím na příslušné posouzení v uživatelském rozhraní zkontrolovat výsledky vysoké Bonsai úrovně.

Data z vlastních posouzení se ukládají v pracovním prostoru služby Log Analytics pro váš Bonsai pracovní prostor. Na data posouzení se můžete dotazovat dvěma způsoby:

• Při dotazování dat pomocí jazyka KQL postupujte podle příručky k dotazování protokolů.
• Pomocí poznámkového open source Jupyter s daty pro posouzení dat naimportujte data do Jupyteru a analyzujte je tam. Pokyny, které jsou součástí souboru custom-assessment-logs.ipnyb, vás celým procesem projde.

Podrobnější pokyny k interpretaci dat posouzení najdete v kurzu Vyhodnocení dat posouzení.

Praktický příklad

Následující příklad vás provede procesem prošetřování výkonu moab s různou výškou desky pomocí funkce Bonsai hodnocení uživatelského rozhraní.

Vzhledem k tomu, že výšku desky Moab je možné konfigurovat na fyzickém zařízení, cílem příkladu posouzení je určit nejvyšší výšku desky, ve které může zařízení stále dobře vyvážit míč.

1. Otevřete třídu Bonsai UI.
2. Na úvodní stránce vyberte ukázku Moab.
3. Ze seznamu mozku vyberte nový moab brain.
4. Vyberte kartu Train (Trénovat).
5. Výběrem možnosti Train (Trénovat) spusťte trénování ukázky.
6. Po spuštění simulátorů klikněte na + Nové posouzení.
7. Zkontrolujte seznam konfiguračních proměnných v modálním posouzení. Všimněte si, že výška desky není v seznamu. Height (Výška) není uvedená jako konfigurační proměnná, protože není ve výchozím nastavení zahrnutá v souboru Moab Inkling.
8. Výběrem karty Učit otevřete soubor Moab Inkling.
9. Posuňte se k příkazu simulátoru:

   source simulator MoabSim(Action: SimAction, Config: SimConfig): ObservableState {
   

   Proměnné konfigurace jsou definovány SimConfig v typu používaném příkazem simulátoru.
10. Posuňte se SimConfig k definici v části Rukopis.
11. Přidejte height_z jako konfigurační proměnnou a omezte hodnotu na hodnotu float v rozmezí od 0,1 do 0,2 min.

    type SimConfig {
        # Model initial ball conditions
        initial_x: number<-RadiusOfPlate .. RadiusOfPlate>, # in (m)
        initial_y: number<-RadiusOfPlate .. RadiusOfPlate>,
    
        # Model initial ball velocity conditions
        initial_vel_x: number<-MaxVelocity .. MaxVelocity>, # in (m/s)
        initial_vel_y: number<-MaxVelocity .. MaxVelocity>,
    
        # Range -1 to 1 is a scaled value that represents
        # the full plate rotation range supported by the hardware.
        initial_pitch: number<-1 .. 1>,
        initial_roll: number<-1 .. 1>,
    
        # Starting height of the Moab plate in meters (m) 
        height_z: number<0.1 .. 0.2>
    }
    

12. Výběrem karty Train (Trénovat) se vraťte do seznamu posouzení.
13. Zkontrolujte seznam konfiguračních proměnných v modálním posouzení. Všimněte height_z si, že se teď zobrazí v seznamu konfiguračních proměnných.
14. V height_z modálním nastavení posouzení nakonfigurujte v rozmezí 0,1 až 0,15 m.
15. Změňte počet seriálů na 100 .
16. Přiřaďte konstantní hodnoty všem ostatním proměnným konfigurace, jak je uvedeno níže.

Když vyberete Vygenerovat, aby se vytvořil konfigurační soubor posouzení, odpovídající výstup JSON bude obsahovat 100 konfigurací scény. Hodnoty pro budou rovnoměrně rozděleny mezi height_z 0,1 až 0,15 m napříč všemi 100 vsudy, zatímco všechny ostatní konfigurační proměnné jsou konstantní.

Až budete připraveni, vyberte Spustit a spusťte příklad posouzení.