Rychlý Start: vyvážení pole pomocí AI (Cartpole)

• Celková doba dokončení: 50 minut
• Aktivní čas: 5 minut
• Čas školení počítače: 45 minut

Naučte AI vyrovnávat nestabilní pole na pohybující se bázi s Bonsai předdefinovaným simulátorem a ukázkovým kódem.

Než začnete

K dokončení této ukázky musíte mít platný účet Microsoft nebo Azure a platný Bonsai pracovní prostor zřízený v Azure. Pokud potřebujete účet nebo zkušební verzi Azure, postupujte podle pokynů v tématu Microsoft account setup for Bonsai .

Krok 1: načtení Cartpole mozek

Bonsai poskytuje předbalený simulátor a vzorový kód pro problém s obráceným kyvadlem (Cartpole). Sestavení mozek:

1. Sign into the Bonsai UI.
2. V dialogovém okně Začínáme vyberte Cartpole ze seznamu ukázkových mozku.
3. Pojmenujte svůj nový mozek (například "Cartpole demo").
4. Kliknutím na vytvořit mozek načtěte vzorový mozek a simulátor.

Krok 2: Kontrola studijních programů

Bonsai Po načtení ukázkového mozku otevře uživatelské rozhraní výuky. Uživatelské rozhraní výuky obsahuje panel pro kódování a panel pro grafy. Panel kódování zobrazuje váš kód výuky (studijní plán) napsaný ve vlastním jazyce s názvem Inkling. Graf na panelu grafů představuje proces iterativního učení definovaný Inkling kódem.

Uživatelské rozhraní pro výuce bonsaje "Aria-describedby =" 50-0 "data-LINKTYPE =" relativní cestu ">

Kliknutím na různé uzly v výukovém grafu zvýrazníte příslušný oddíl v ukázkovém kódu:

• Stavový uzel: zapouzdřuje informace, které jsou k dispozici pro mozek, jako spuštění simulace (pozorovatelné stavy senzorů). V případě Cartpole jsou pozorovatelné stavy senzorů aktuální polohou a rychlostí základu a aktuálním úhlem pole.
• Uzel konceptu: zapouzdření konceptu, který má mozek, zjistit podle definice vašich školicích cílů. V případě Cartpole pojem vyrovnává pole v rámci určité tolerance v rámci předdefinované oblasti. Odpovídajícími cíli Inkling je zabránit tomu, aby se převzaly pole ( avoid Fall Over ) a aby se předešlo tomu, že se základní pohyb nachází mimo okraj stopy ( avoid Out Of Range ).
• Uzel akce: zapouzdřuje sadu platných akcí, které může mozek provést v reakci na pozorovaný stav. V případě Cartpole jsou k dispozici akce, které se na stopu ukládají vlevo nebo vpravo.

Krok 3: výuka mozku

Otevřete uživatelské rozhraní pro školení a spusťte školení mozku kliknutím na zelený výukový tlačítko v panelu graf.

Uživatelské rozhraní pro školení nahrazuje panel kódování prázdným datovým panelem a zobrazuje aktualizovaný výukový graf. Při zahájení školení se Bonsai automaticky spustí loďstvo instancí simulátorů. Flotila se zobrazí v aktualizovaném grafu jako nový uzel simulátoru .

Uzel simulátoru vám ukáže:

• název simulátoru "BalancePoleSimulator".
• Celkový počet instancí simulátoru v rámci loďstva.
• celková rychlost loďstva v iteracích za sekundu.

Uživatelské rozhraní pro školení bonsaje "Aria-describedby =" 100-0 "data-LINKTYPE =" relativní cestu ">

U každé iterace váš mozek získává skóre výkonu na základě toho, jak dobře problém vyřešil. Bonsai sestavuje průběh školení pro mozek na datovém panelu jako vykreslení pro Bonsai . Hodnoty spokojenosti jednotlivých cílů označují, jak blízko mozku dosáhlo dosažení souvisejícího cíle pro danou iteraci. Nejnovější hodnota spokojenosti celkového cíle je také uvedena v uzlu koncept grafu učebny.

V případě, že je vaše mozku lépe vyvážením pole, je potřeba, aby se vykreslení prokáže vzhůru.

Krok 4: Sledujte mozek v akci

Simulátor Cartpole zahrnuje vizualizér, abyste mohli v praxi sledovat svůj mozek. Jak funguje přes konkrétní simulaci. Vizualizaci zobrazíte tak, že přejdete dolů na panelu data.

Vizualizér vykreslí 3D model jednoduchou základnu (vozík) a pole. Základní přesun na obrazovce vlevo a vpravo v reakci na měnící se pozici pole.

Vizualizér také zobrazuje graf změny proměnných stavu a akcí pod vykresleným modelem. Zkuste kliknout na cart_position hodnoty a a pole_angle Sledujte, jak se poloha základního a úhlu pole mění v čase.

Krok 5: zastavení školení

Bonsai automaticky zastaví školení, když nastane jedna z následujících možností:

• Celková hodnota spokojenosti cíle dosáhne 100%.
• čáry grafu se stanou vodorovnými řádky pro předdefinovaný počet epizod.

Hodnota spokojenosti 100% znamená, že váš mozek zcela získal aktuální studijní plán. Vodorovná křivka znamená, že mozek už nezlepšuje. V případě, že se mozek po určitém počtu epizody nedokáže zlepšit NoProgressIterationLimit , Bonsai ukončí školení, aby nedocházelo k plýtvání výpočetních prostředků.

Pokud chcete ukončit školení v rané fázi, klikněte v horní části panelu grafu na tlačítko červené zastavení školení .

Další kroky

Gratulujeme! Úspěšně jste provedli školení k vyvážení pole na klouzavé bázi.

Teď, když jste se seznámili se základy Cartpole mozek, zkuste přizpůsobit Inkling kód, abyste změnili své studijní záměry.