Självstudie: Utvärdera data för en brain assessment

Följ den här självstudien för att lära dig:

Om du behöver hjälp med att köra utvärderingsfrågor i Azure Log Analytics följer du anvisningarna i posten Query assessment data cookbook (Fråga utvärderingsdata).

Om du vill följa den här självstudien måste du ha ett giltigt Microsoft- eller Azure-konto och en giltig Bonsai arbetsyta som etablerats i Azure. Om du behöver ett konto eller en utvärderingsversion av Azure följer du anvisningarna i Microsoft account setup for Bonsai innan du fortsätter.

Automatiska kontra anpassade utvärderingar

Varje utvärdering består av en uppsättning testavsnitt där hjärnan uppmanas att utvärdera den princip som träningen sker mot. Varje avsnitt får sin egen poäng (målnöjdhet eller totala förmåner) och plattformen beräknar ett medelvärde för dessa poäng för att fastställa det övergripande utvärderingsresultatet.

Bonsai utvärderingar finns i två typer:

• automatiska utvärderingar – konfigureras och körs av som en del av processen för hjärnans träning. En enda utbildningssession genererar flera automatiska utvärderingar.
• anpassade utvärderingar – konfigureras av användare, kodifieras i en konfigurationsfil och körs på begäran via CLI eller Bonsai användargränssnittet.

Automatiska utvärderingar är användbara för att förstå hur hjärnan lär sig och för att hjälpa plattformen att välja optimala principer under träningen. Användargränssnittet Bonsai visar resultat för högnivåutvärdering i Bonsai och i listan Utvärderingar så att användarna kan se träningsförloppet.

Anpassade utvärderingar är användardefinierade och användarkörningsutvärderingar som ger dig en mer djupgående bild av hur hjärnan presterar. Med anpassade utvärderingar kan du utvärdera hjärnan i specifika intressanta scenarier och se detaljerade utvärderingsresultat i Bonsai användargränssnittet. Kör anpassade utvärderingar under eller efter träningen för att få en detaljerad bild av hjärnans prestanda.

Utvärderingsgränssnitt

Utvärderingsgränssnittet innehåller tre huvudkomponenter:

• (A)Panelen Metadata:Visar allmän information relaterad till utvärderingen.
• (B)Panelen Grundläggande prestanda:Visar en översikt över utvärderingsresultaten på hög nivå
• (C)Panelpanel:Visar detaljerad iteration, konfiguration och prestandadata för varje avsnitt i utvärderingen.

Datapaneler

Vilka datapaneler som är tillgängliga för en utvärdering beror på hur du valde att strukturera dina träningsbegrepp i Inpanelen:

• Bland de som tränas med hjälp av mål finns metadata, grundläggande prestanda, panelpaneler och målspecifika data.
• Bland de hjärna som tränas med belöning och terminalfunktioner finns metadata, grundläggande prestanda och panelpaneler.

Utvärderingslista

Utvärderingslistan är alltid tillgänglig från fliken Träna i användargränssnittet. Som standard innehåller listan alla automatiska och anpassade utvärderingar som är associerade med den valda brain-versionen. Välj bockmarkeringarna bredvid Automatisk ellerAnpassad för att filtrera listan över utvärderingar.

• Om du vill visa information om en utvärdering väljer du utvärderingsnamnet i listan.
• Om du vill återgå till standardvyn Träna väljer du relevant konceptnamn.

Utvärderingsmetadata

Följande metadata är tillgängliga för alla utvärderingar:

• Namnet på utvärderingen.
• Det totala antalet tränings-iterationer som slutfördes av hjärnan vid den tidpunkt då den utvärderades.
• Det totala antalet avsnitt i utvärderingen.
• Den senaste konceptlektionen som hjärnan lär sig (för automatiska utvärderingar) eller har lärt sig (anpassade utvärderingar). Om den associerade Indelning-filen inte definierar lektioner i läroplanen visar användargränssnittet "Ingen definierad".
• Utvärderingstyp (automatisk eller anpassad).

Automatiska utvärderingar visar även datum och tid när utvärderingen kördes. Anpassade utvärderingar visar en beskrivning av utvärderingen om en sådan angavs när konfigurationsfilen laddades upp.

Utvärderingsinformation för målbaserad utbildning

Sammanfattningsdata

Panelen med sammanfattningsdata visar utvärderingsresultat på hög nivå. Panelen innehåller följande grafer och statistik för både övergripande hjärnans prestanda och målspecifika prestanda:

• Övergripande frekvens för lyckade resultat under utvärderingen. Lyckad frekvens definieras som antalet avsnitt där hjärnan uppnådde de angivna målen dividerat med det totala antalet inspelade avsnitt.
• Ett histogram över måltillfredsställelsesfördelningen för varje testavsnitt i utvärderingen.
• Statistik över målnöjdhet som tillhandahåller kvantitativa mått för histogrammet för målnöjdhet. För närvarande inkluderar den angivna statistiken medelvärde, lägsta och högsta lyckade resultat som uppnås av hjärnan tillsammans med standardavvikelsen för dessa mått.

Avsnittsdata

Användargränssnittet för avsnittsdata innehåller tre viktiga komponenter:

• (A)Filtrera avsnittsdata:Visar histogram som visar användarnas övergripande hjärnas prestanda. Du kan klicka på ett stapeldiagram och filtrera innehållet i den avsnittskonfigurationstabellen och de tre iterationsdiagrammen för att endast visa avsnitt som passar in i det valda fältets prestandaintervall. Du kan välja fler än ett fält i taget.
• (B)Avsnittskonfigurationsvärden:Visar avsnittskonfigurationsvärden och prestandadata för varje utvärderingsavsnitt. Du kan välja de konfigurationer som du vill visa i kolumnerna genom att välja redigeringsknappen. Du kan också använda konfigurationstabellen för avsnitt för att filtrera vilka diagram som visas under tabellen genom att klicka på lämpliga rader. Om du inte väljer något visas alla diagram.
• (C) Avsnittiterationsdata:Tillhandahåller en visualisering för alla tillstånds- eller åtgärdsvariabelvärden mellan avsnitt. Med iterationsdatapanelen kan användarna också visualisera hur belöningen varierar mellan olika avsnitt. Du kan välja och redigera de tillstånds-, åtgärds- eller belöningsvariabler som du vill visualisera

Utvärderingsinformation för belöningsbaserad utbildning

Belöningsbaserade utvärderingar innehåller sammanfattningsdata och avsnittsdata.

Sammanfattningsdata för belöningsbaserad utbildning omfattar:

• Ett histogram över belöningsfördelningen för varje testavsnitt i utvärderingen.
• Belöningsstatistik som tillhandahåller kvantitativa mått för belönings histogrammet. För närvarande inkluderar den angivna statistiken medel-, minimi- och högsta belöningspoäng som uppnås av hjärnan tillsammans med standardavvikelsen för dessa mått.

Nästa steg

När du är säker på den tränade hjärnans prestanda kan du prova att exportera hjärnan och testa kontrollprincipen lokalt.