Zelfstudie: Beoordelingsgegevens van de hersenen evalueren

Volg deze zelfstudie voor meer informatie:

Voor hulp bij het uitvoeren van evaluatiequery's in Azure Log Analytics volgt u de instructies in het cookbook Query assessment data.

Als u deze zelfstudie wilt volgen, moet u een geldig Microsoft- of Azure-account en een geldige Bonsai werkruimte hebben ingericht in Azure. Als u een account of proefversie van Azure nodig hebt, volgt u de instructies in Microsoft account setup for Bonsai voordat u doorgaat.

Automatische versus aangepaste evaluaties

Elke evaluatie bestaat uit een set tests waarbij het brein wordt gevraagd het beleid te evalueren waarop het wordt getraind. Elke aflevering krijgt een eigen score (doeltevredenheid of totaal aantal beloningen) en het platform berekent een gemiddelde voor deze scores om de algemene evaluatieresultaten te bepalen.

Bonsai evaluaties zijn er in twee typen:

• automatische evaluaties: geconfigureerd en uitgevoerd door als onderdeel van het trainingsproces van het brein. Eén trainingssessie genereert meerdere automatische evaluaties.
• aangepaste evaluaties: geconfigureerd door gebruikers, gecodificeerd in een configuratiebestand en op aanvraag uitgevoerd via de CLI of Bonsai gebruikersinterface.

Automatische evaluaties zijn handig om te begrijpen hoe het brein leert en om het platform te helpen optimale beleidsregels te kiezen tijdens de training. De gebruikersinterface toont resultaten van automatische evaluatie op hoog niveau in de trainingsgrafiek en de lijst BonsaiEvaluaties, zodat gebruikers de voortgang van de training kunnen bekijken. Bonsai

Aangepaste evaluaties zijn door de gebruiker gedefinieerde evaluaties en evaluaties van gebruikersruns die u een uitgebreider beeld geven van de manier waarop het brein presteert. Met aangepaste evaluaties kunt u het brein beoordelen in specifieke scenario's die van belang zijn en gedetailleerde evaluatieresultaten bekijken in de Bonsai gebruikersinterface. Voer aangepaste evaluaties uit tijdens of na de training om een uitgebreid beeld te krijgen van de prestaties van het brein.

Gebruikersinterface voor evaluatie

De gebruikersinterface voor evaluatie bevat drie belangrijke onderdelen:

• (A)Deelvenster Metagegevens:geeft algemene informatie weer met betrekking tot de evaluatie.
• (B)Deelvenster Basisprestaties:geeft een samenvatting van de evaluatieresultaten op hoog niveau weer
• (C)Afleveringsvenster:geeft de gedetailleerde iteratie-, configuratie- en prestatiegegevens weer voor elke aflevering in de evaluatie.

Gegevenspaneel

Welke gegevenspaneel beschikbaar zijn voor een evaluatie, is afhankelijk van hoe u ervoor hebt gekozen om uw trainingsconcepten te structureren in Inkling:

• Getrainde hersenen die zijn getraind met behulp van doelen zijn metagegevens, basisprestaties, deelvensters met zonnepanelen en objective-specifieke gegevens.
• De hersenen die zijn getraind met belonings- en terminalfuncties, omvatten metagegevens, basisprestaties en afleveringspanelen.

Evaluatielijst

De evaluatielijst is altijd toegankelijk via het tabblad Trainen in de gebruikersinterface. De lijst bevat standaard alle automatische en aangepaste evaluaties die zijn gekoppeld aan de geselecteerde brain-versie. Selecteer de vinkjes naast Automatisch of Aangepast om de lijst met evaluaties te filteren.

• Als u de details van een evaluatie wilt weergeven, selecteert u de naam van de evaluatie in de lijst.
• Als u wilt terugkeren naar de standaardweergave Trainen, selecteert u de relevante conceptnaam.

Metagegevens van evaluatie

De volgende metagegevens zijn beschikbaar voor alle evaluaties:

• De naam van de evaluatie.
• Het totale aantal trainings iteraties dat door het brein is voltooid op het moment dat het werd beoordeeld.
• Het totale aantal in de evaluatie.
• De meest recente conceptles die het brein leert (voor automatische evaluaties) of geleerd heeft (aangepaste evaluaties). Als het bijbehorende Inkling-bestand geen lessen in het curriculum definieert, geeft de gebruikersinterface 'Geen gedefinieerd' weer.
• Het evaluatietype (automatisch of aangepast).

Automatische evaluaties geven ook de datum en tijd weer waarop de evaluatie is uitgevoerd. Aangepaste evaluaties geven een beschrijving van de evaluatie weer als er een is opgegeven toen het configuratiebestand werd geüpload.

Evaluatiedetails voor training op basis van een doel

Samenvattingsgegevens

In het deelvenster met samenvattingsgegevens worden evaluatieresultaten op hoog niveau weergegeven. Het deelvenster bevat de volgende grafieken en statistieken voor zowel de algehele prestaties van het brein als de objective-specifieke prestaties:

• Het algehele slagingspercentage tijdens de evaluatie. Het slagingspercentage wordt gedefinieerd als het aantal slagen waarin het brein de vermelde doelstellingen heeft behaald, gedeeld door het totale aantal vastgelegde resultaten.
• Een histogram van de verdeling van de doeltevredenheid voor elke testaflevering in de evaluatie.
• Doeltevredenheidsstatistieken die kwantitatieve metrische gegevens bieden voor het histogram met doeltevredenheid. Op dit moment bevatten de verstrekte statistieken het gemiddelde, minimum en maximum slagingspercentage dat door het brein wordt behaald, samen met de standaardafwijking voor deze metrische gegevens.

Afleveringsgegevens

De gebruikersinterface voor afleveringsgegevens bevat drie belangrijke onderdelen:

• (A)Filter de afleveringsgegevens:toont het histogram waarin de algehele prestaties van het brein van gebruikers worden weer geven. U kunt op een balk klikken en de inhoud van de configuratietabel voor de aflevering filteren en de iteratiegrafieken zo weergeven dat alleen de resultaten in het prestatiebereik van de gekozen balk passen. U kunt meer dan één balk tegelijk selecteren.
• (B) Configuratiewaardenvoor de aflevering:hier worden de configuratiewaarden voor de aflevering en prestatiegegevens voor elke evaluatiebeoordeling weer geven. U kunt de configuraties kiezen die u wilt weergeven in de kolommen door de knop Bewerken te selecteren. U kunt ook de configuratietabel van de aflevering gebruiken om te filteren welke grafieken u onder de tabel ziet door op de juiste rijen te klikken. Als u niets selecteert, worden alle grafieken weergegeven.
• (C)Iteratiegegevens vande serie: Biedt een visualisatie voor waarden van status- of actievariabelen in verschillende landen. Met het gegevenspaneel van de iteratie kunnen gebruikers ook visualiseren hoe beloning varieert tussen de verschillende spelers. U kunt de status-, actie- of beloningsvariabelen selecteren en bewerken die u wilt visualiseren

Evaluatiedetails voor training op basis van beloningen

Evaluaties op basis van beloningen bieden samenvattingsgegevens en afleveringsgegevens.

Samenvattingsgegevens voor training op basis van beloningen zijn onder andere:

• Een histogram van de beloningsdistributie voor elke testaflevering in de evaluatie.
• Beloningsstatistieken die kwantitatieve metrische gegevens voor het belonings histogram bieden. Op dit moment bevatten de verstrekte statistieken de gemiddelde, minimale en maximale beloningsscores die door het brein worden behaald, samen met de standaardafwijking voor deze metrische gegevens.

Volgende stappen

Zodra u zeker bent van de prestaties van het getrainde brein, kunt u proberen het brein te exporteren en uw controlebeleid lokaal te testen.