Functie-evaluatieFeature evaluation

Wanneer u een evaluatie uitvoert in uw Personalizer-bron vanuit de Azure-portal,biedt Personalizer informatie over welke functies van context en acties het model beïnvloeden.When you run an Evaluation in your Personalizer resource from the Azure portal, Personalizer provides information about what features of context and actions are influencing the model.

Dit is handig om:This is useful in order to:

  • Stel je extra functies voor die je zou kunnen gebruiken, om inspiratie op te doen uit welke functies belangrijker zijn in het model.Imagine additional features you could use, getting inspiration from what features are more important in the model.
  • Bekijk welke functies niet belangrijk zijn en verwijder ze mogelijk of analyseer mogelijk verder wat het gebruik kan beïnvloeden.See what features are not important, and potentially remove them or further analyze what may be affecting usage.
  • Geef advies aan redactie- of curatieteams over nieuwe inhoud of producten die het waard zijn om in de catalogus te worden opgenomen.Provide guidance to editorial or curation teams about new content or products worth bringing into the catalog.
  • Veelvoorkomende problemen en fouten oplossen die zich voordoen bij het verzenden van functies naar Personalizer.Troubleshoot common problems and mistakes that happen when sending features to Personalizer.

De belangrijkste kenmerken hebben sterkere gewichten in het model.The more important features have stronger weights in the model. Omdat deze functies een sterker gewicht hebben, zijn ze meestal aanwezig wanneer Personalizer hogere beloningen behaalt.Because these features have stronger weight, they tend to be present when Personalizer obtains higher rewards.

Evaluatie van functiebelangGetting feature importance evaluation

Als u de resultaten van het functiebelang wilt bekijken, moet u een evaluatie uitvoeren.To see feature importance results, you must run an evaluation. De evaluatie maakt door de mens leesbare functielabels op basis van de functienamen die tijdens de evaluatieperiode zijn waargenomen.The evaluation creates human-readable feature labels based on the feature names observed during the evaluation period.

De resulterende informatie over functiebelang vertegenwoordigt het huidige Personalizer online model.The resulting information about feature importance represents the current Personalizer online model. De evaluatie analyseert functie belang van het model opgeslagen op de einddatum van de evaluatieperiode, na het ondergaan van alle training gedaan tijdens de evaluatie, met het huidige online leerbeleid.The evaluation analyzes feature importance of the model saved at the end date of the evaluation period, after undergoing all the training done during the evaluation, with the current online learning policy.

De resultaten van het functiebelang vertegenwoordigen geen ander beleid en modellen die tijdens de evaluatie zijn getest of gemaakt.The feature importance results do not represent other policies and models tested or created during the evaluation. De evaluatie bevat geen functies die na het einde van de evaluatieperiode naar Personalizer zijn verzonden.The evaluation will not include features sent to Personalizer after the end of the evaluation period.

Evaluatie van het functiebelang interpreterenHow to interpret the feature importance evaluation

Personalizer evalueert functies door het creëren van "groepen" van functies die vergelijkbaar belang hebben.Personalizer evaluates features by creating "groups" of features that have similar importance. Men kan zeggen dat de ene groep over het algemeen belangrijker is dan andere, maar binnen de groep is het ordenen van functies alfabetisch.One group can be said to have overall stronger importance than others, but within the group, ordering of features is alphabetically.

Informatie over elke functie bevat:Information about each Feature includes:

  • Of de functie afkomstig is van Context of Acties.Whether the feature comes from Context or Actions.
  • Functiesleutel en -waarde.Feature Key and Value.

Een app voor het bestellen van een ijssalon kan bijvoorbeeld 'Context.Weer:Warm' als een zeer belangrijke functie zien.For example, an ice cream shop ordering app may see "Context.Weather:Hot" as a very important feature.

Personalizer geeft correlaties weer van functies die, wanneer ze samen in aanmerking worden genomen, hogere beloningen opleveren.Personalizer displays correlations of features that, when taken into account together, produce higher rewards.

U bijvoorbeeld 'Context.Weer:Warm met Action.MenuItem:IceCream' en 'Context.Weer:Koud met Action.MenuItem:WarmTea:For example, you may see "Context.Weather:Hot with Action.MenuItem:IceCream" as well as "Context.Weather:Cold with Action.MenuItem:WarmTea:

Acties die u uitvoeren op basis van functie-evaluatieActions you can take based on feature evaluation

Stel je extra functies voor die je zou kunnen gebruikenImagine additional features you could use

Laat u inspireren door de belangrijkste functies in het model.Get inspiration from the more important features in the model. Als u bijvoorbeeld 'Context.MobileBattery:Low' ziet in een mobiele video-app, denkt u dat het type verbinding ervoor kan kiezen dat klanten er ook voor kiezen om de ene videoclip boven de andere te zien en vervolgens functies over het type connectiviteit en bandbreedte toe te voegen aan uw app.For example, if you see "Context.MobileBattery:Low" in a video mobile app, you may think that connection type may also make customers choose to see one video clip over another, then add features about connectivity type and bandwidth into your app.

Bekijk welke functies niet belangrijk zijnSee what features are not important

Verwijder mogelijk onbelangrijke functies of analyseer verder wat het gebruik kan beïnvloeden.Potentially remove unimportant features or further analyze what may affect usage. Functies kunnen laag scoren om vele redenen.Features may rank low for many reasons. Men zou kunnen zijn dat echt de functie geen invloed heeft op het gedrag van gebruikers.One could be that genuinely the feature doesn't affect user behavior. Maar het kan ook betekenen dat de functie niet duidelijk is voor de gebruiker.But it could also mean that the feature is not apparent to the user.

Een videosite kan bijvoorbeeld zien dat "Action.VideoResolution=4k" een functie van weinig belang is, die het onderzoek van gebruikers tegenspreekt.For example, a video site could see that "Action.VideoResolution=4k" is a low-importance feature, contradicting user research. De oorzaak kan zijn dat de toepassing niet eens de videoresolutie vermeldt of weergeeft, zodat gebruikers hun gedrag niet zouden veranderen op basis van deze resolutie.The cause could be that the application doesn't even mention or show the video resolution, so users wouldn't change their behavior based on it.

Leiding geven aan redactie- of curatieteamsProvide guidance to editorial or curation teams

Geef richtlijnen over nieuwe inhoud of producten die het waard zijn om in de catalogus te brengen.Provide guidance about new content or products worth bringing into the catalog. Personalizer is ontworpen om een hulpmiddel te zijn dat het menselijk inzicht en teams vergroot.Personalizer is designed to be a tool that augments human insight and teams. Een manier om dit te doen is door het verstrekken van informatie aan redactionele groepen over wat is het over producten, artikelen of inhoud die gedrag drijft.One way it does this is by providing information to editorial groups on what is it about products, articles or content that drives behavior. Het scenario voor videotoepassingen kan bijvoorbeeld aantonen dat er een belangrijke functie is genaamd 'Action.VideoEntities.Cat:true', waardoor de redactie wordt gevraagd om meer kattenvideo's in te voeren.For example, the video application scenario may show that there is an important feature called "Action.VideoEntities.Cat:true", prompting the editorial team to bring in more cat videos.

Veelvoorkomende problemen en fouten oplossenTroubleshoot common problems and mistakes

Veelvoorkomende problemen en fouten kunnen worden opgelost door uw toepassingscode te wijzigen, zodat deze geen ongepaste of onjuist opgemaakte functies naar Personalizer stuurt.Common problems and mistakes can be fixed by changing your application code so it won't send inappropriate or incorrectly formatted features to Personalizer.

Veelvoorkomende fouten bij het verzenden van functies zijn onder andere:Common mistakes when sending features include the following:

  • Het verzenden van persoonlijk identificeerbare informatie (PII).Sending personally identifiable information (PII). PII die specifiek is voor één persoon (zoals naam, telefoonnummer, creditcardnummers, IP-adressen) mag niet worden gebruikt met Personalizer.PII specific to one individual (such as name, phone number, credit card numbers, IP Addresses) should not be used with Personalizer. Als uw toepassing gebruikers moet volgen, gebruikt u een niet-identificerende UUID of een ander gebruikersnaamnummer.If your application needs to track users, use a non-identifying UUID or some other UserID number. In de meeste scenario's is dit ook problematisch.In most scenarios this is also problematic.
  • Bij grote aantallen gebruikers is het onwaarschijnlijk dat de interactie van elke gebruiker meer weegt dan alle interactie van de bevolking, dus het verzenden van gebruikers-id's (zelfs als niet-PII) zal waarschijnlijk meer ruis dan waarde toevoegen aan het model.With large numbers of users, it is unlikely that each user's interaction will weigh more than all the population's interaction, so sending user IDs (even if non-PII) will probably add more noise than value to the model.
  • Datumtijdvelden verzenden als nauwkeurige tijdstempels in plaats van prestatiegerichte tijdwaarden.Sending date-time fields as precise timestamps instead of featurized time values. Functies zoals Context.TimeStamp.Day=Monday of "Context.TimeStamp.Hour"="13" is handiger.Having features such as Context.TimeStamp.Day=Monday or "Context.TimeStamp.Hour"="13" is more useful. Er zullen hoogstens 7 of 24 eigenschapwaarden voor elk zijn.There will be at most 7 or 24 feature values for each. Maar "Context.TimeStamp":"1985-04-12T23:20:50.52Z" is zo nauwkeurig dat er geen manier zal zijn om ervan te leren omdat het nooit meer zal gebeuren.But "Context.TimeStamp":"1985-04-12T23:20:50.52Z" is so precise that there will be no way to learn from it because it will never happen again.

Volgende stappenNext steps

Begrijp schaalbaarheid en prestaties met Personalizer.Understand scalability and performance with Personalizer.