Kurz: Vyhodnocení dat posouzení mozku
V tomto kurzu se naučíte:
- Rozdíl mezi automatickým a vlastním posouzením.
- Navigace v uživatelském rozhraní posouzení
- Přečtěte si, jak číst data posouzení pro hodnocení na základě cílů.
- Přečtěte si, jak číst data posouzení pro hodnocení na základě odměn.
Pokud chcete pomoc se spouštěním dotazů pro posouzení v Azure Log Analytics, postupujte podle pokynů v položce návodu k posouzení dotazů.
Pokud chcete postupovat podle tohoto kurzu, musíte mít platný účet Microsoft nebo Azure a platný pracovní prostor Bonsai zřízený v Azure. Pokud potřebujete účet nebo zkušební verzi Azure, než budete pokračovat, postupujte podle Microsoft account setup for Bonsai pokynů v tématu .
Automatické a vlastní posouzení
Každé posouzení se skládá ze sady testovacích seriálů, ve kterých je mozek požádán, aby vyhodnotil zásady, se kterých se trénuje. Každá epizoda obdrží vlastní skóre (spokojenost s cílem nebo celková odměna) a platforma vypočítá průměr těchto skóre, aby určila celkové výsledky posouzení.
Bonsai Posouzení mají dva typy:
- automatická hodnocení – nakonfigurovaná a spouštěná v rámci procesu trénování mozku. Jedna trénovací relace vygeneruje několik automatických hodnocení.
- vlastní posouzení – nakonfigurovaná uživateli, codifikovaná v konfiguračním souboru a spouštěná na vyžádání prostřednictvím rozhraní příkazového řádku nebo uživatelského Bonsai rozhraní.
Automatická hodnocení jsou užitečná pro pochopení toho, jak se mozek učí, a pomáhá platformě zvolit optimální zásady během trénování. Uživatelské rozhraní zpřístupňuje výsledky automatického hodnocení vysoké úrovně v seznamu Školicí graf a Posouzení, aby uživatelé mohli Bonsai zobrazit průběh Bonsai trénování.
Vlastní posouzení jsou uživatelsky definovaná a uživatelská hodnocení, která poskytují podrobnější obrázek o výkonu mozku. Vlastní posouzení umožňují posoudit mozek v konkrétních scénářích zájmu a zobrazit podrobné výsledky posouzení v uživatelském Bonsai rozhraní. Spusťte vlastní posouzení během nebo po trénování a získejte podrobné informace o výkonu mozku.
Důležité
Data automatického hodnocení jsou užitečná jenom jako vysokorychlostní kontrola chování AI. Pokud chcete získat podrobnější přehled a podrobná data posouzení, musíte navrhnout a spustit vlastní posouzení.
Důležité
Data automatického hodnocení jsou užitečná jenom jako vysokorychlostní kontrola chování AI. Pokud chcete získat podrobnější přehled a podrobná data posouzení, musíte navrhnout a spustit vlastní posouzení.
Uživatelské rozhraní posouzení
Uživatelské rozhraní posouzení obsahuje tři klíčové komponenty:
- (A)Panel metadat:Zobrazuje obecné informace související s posouzením.
- (B)Panel Základní výkon:Zobrazí souhrnné souhrny výsledků posouzení.
- (C)Panel Scény:Zobrazí podrobnou iteraci, konfiguraci a údaje o výkonu každé scény v posouzení.
Poznámka
Panel dat v podobě seriálu je k dispozici pouze pro vlastní posouzení.
Panely dat
Datové panely, které jsou k dispozici pro posouzení, závisí na tom, jak jste se rozhodli strukturovat koncepty trénování v rukopisu:
- Mezi trénované mozeky s využitím cílů patří metadata, základní výkon, panely v seriálech a data specifická pro jednotlivé cíle.
- Brains trained with reward and terminal functions include metadata, basic performance and scene panels.
Seznam posouzení
Seznam posouzení je vždy přístupný z karty Train (Trénovat) v uživatelském rozhraní. Ve výchozím nastavení seznam obsahuje všechna automatická a vlastní hodnocení přidružená k vybrané verzi mozku. Výběrem značek zaškrtnutí vedle možnosti Automatickynebo Vlastní vyfiltrujte seznam posouzení.
- Pokud chcete zobrazit podrobnosti o posouzení, vyberte v seznamu název posouzení.
- Pokud se chcete vrátit k výchozímu zobrazení Train (Trénovat), vyberte příslušný název konceptu.
Metadata posouzení
Pro všechna posouzení jsou k dispozici následující metadata:
- Název posouzení.
- Celkový počet iterací trénování dokončených mozekem v době, kdy byl vyhodnocen.
- Celkový počet seriálů v posouzení
- Poslední lekcí konceptu je učení (pro automatická hodnocení) nebo učení (vlastní posouzení). Pokud přidružený soubor Rukopis nedefinuje lekce v výukových plánech, zobrazí se v uživatelském rozhraní zpráva Žádné definované.
- Typ posouzení (automatický nebo vlastní).
Automatická posouzení také zobrazují datum a čas spuštění posouzení. Vlastní posouzení zobrazí popis posouzení, pokud bylo poskytnuto při nahrání konfiguračního souboru.
Poznámka
Bonsai nezaznamená výsledky pro seriály, které se nedaří spustit. Pokud jsou počáteční hodnoty pro přechádku v závislosti na přidruženém kódu rukopisu neplatné, přeskočí se a nezahrnou se do metadat posouzení.
Podrobnosti o posouzení pro školení na základě cílů
Souhrnná data
Na panelu souhrnných dat se zobrazují výsledky vyhodnocení na vysoké úrovni. Panel obsahuje následující grafy a statistiky pro celkový výkon mozku i výkon specifický pro cíl:
- Celková úspěšnost během posuzování Míra úspěšnosti je definovaná jako počet seriálů, ve kterých mozek dosáhl stanovených cílů vydělený celkovým počtem zaznamenaných seriálů.
- Histogram rozdělení spokojenosti cílů pro jednotlivé testovací scény v hodnocení
- Statistika spokojenosti cílů, která poskytují kvantitativní metriky pro histogram spokojenosti cílů. V současné době poskytované statistiky zahrnují střední, minimální a maximální úspěšnost, kterou dosahuje mozek, spolu se směrodatnou odchylkou těchto metrik.
Data o seriálu
Uživatelské rozhraní dat v seriálu obsahuje tři klíčové komponenty:
- (A) Filtrovánídat o epizodách:Zobrazuje histogram, který ukazuje celkový výkon mozku uživatelů. Můžete kliknout na pruh a vyfiltrovat obsah konfigurační tabulky a iterační grafy v podobě seriálu tak, aby se vešly do rozsahu výkonu zvoleného pruhu. Můžete vybrat více než jeden pruh najednou.
- (B) Hodnoty konfiguracescény:Zobrazuje hodnoty konfigurace a údaje o výkonu jednotlivých hodnocení. Výběrem tlačítka Upravit můžete vybrat konfigurace, které chcete ve sloupcích zobrazit. Konfigurační tabulku seriálu můžete použít také k filtrování grafů, které vidíte pod tabulkou, kliknutím na příslušné řádky. Pokud nic nevybádáte, zobrazí se všechny grafy.
- (C) Dataiterace scény:Poskytuje vizualizaci pro všechny hodnoty proměnných stavu nebo akcí napříč věštci. Datový panel iterace také umožňuje uživatelům vizualizovat, jak se odměna v jednotlivých seriálech liší. Můžete vybrat a upravit stav, akci nebo proměnné odměny, které chcete vizualizovat.
Podrobnosti o posouzení pro školení založené na odměnách
Posouzení založená na programu Reward poskytují souhrnná data a data o seriálech.
Souhrnná data pro školení založená na odměně zahrnují:
- Histogram rozdělení odměn pro jednotlivé testovací scény v hodnocení
- Statistiky odměn, které poskytují kvantitativní metriky pro histogram odměn V současné době poskytované statistiky zahrnují průměr, minimum a maximální skóre odměn dosažené mozkum spolu se směrodatnou odchylkou těchto metrik.
Další kroky
Jakmile budete mít jistotu o výkonu trénovaný mozek, zkuste vyexportovat mozek a místně otestovat zásady kontroly.