Évaluation des fonctionnalitésFeature evaluation

Lorsque vous exécutez une évaluation dans votre ressource Personalizer à partir du portail Azure, Personalizer fournit des informations sur les fonctionnalités de contexte et les actions qui influencent le modèle.When you run an Evaluation in your Personalizer resource from the Azure portal, Personalizer provides information about what features of context and actions are influencing the model.

Il permet notamment ce qui suit :This is useful in order to:

  • Imaginer les fonctionnalités supplémentaires que vous pourriez utiliser, vous inspirer des fonctionnalités importantes du modèle.Imagine additional features you could use, getting inspiration from what features are more important in the model.
  • Identifier les fonctionnalités non importantes pour éventuellement les supprimer ou analyser plus en détail ce qui peut affecter l’utilisation.See what features are not important, and potentially remove them or further analyze what may be affecting usage.
  • Fournir des conseils aux équipes éditoriales ou chargées de la collecte sur les nouveaux contenus ou produits méritant de figurer dans le catalogue.Provide guidance to editorial or curation teams about new content or products worth bringing into the catalog.
  • Résoudre les erreurs et les problèmes courants qui surviennent lors de l’envoi de fonctionnalités à Personalizer.Troubleshoot common problems and mistakes that happen when sending features to Personalizer.

Les fonctionnalités les plus importantes ont plus de poids dans le modèle.The more important features have stronger weights in the model. Ces fonctionnalités ayant plus de poids, elles tendent à être présentes lorsque Personalizer obtient des récompenses plus élevées.Because these features have stronger weight, they tend to be present when Personalizer obtains higher rewards.

Obtenir une évaluation des fonctionnalités en termes d'importanceGetting feature importance evaluation

Pour afficher les résultats des fonctionnalités en termes d'importance, vous devez exécuter une évaluation.To see feature importance results, you must run an evaluation. L’évaluation crée des étiquettes de fonctionnalités lisibles en fonction basées sur les noms des fonctionnalités observées lors de la période d’évaluation.The evaluation creates human-readable feature labels based on the feature names observed during the evaluation period.

Les informations qui en résultent sur l’importance des fonctionnalités représentent le modèle en ligne Personalizer actuel.The resulting information about feature importance represents the current Personalizer online model. L’évaluation analyse l’importance de la fonctionnalité du modèle enregistré à la date de fin de la période d’évaluation, après l’apprentissage effectué pendant l’évaluation, avec la stratégie d’apprentissage en ligne actuelle.The evaluation analyzes feature importance of the model saved at the end date of the evaluation period, after undergoing all the training done during the evaluation, with the current online learning policy.

Les résultats liés à l'importance des fonctionnalités ne représentent pas les autres stratégies et modèles testés ou créés lors de l’évaluation.The feature importance results do not represent other policies and models tested or created during the evaluation. L’évaluation n’inclut pas les fonctionnalités envoyées à Personalizer au terme de la période d’évaluation.The evaluation will not include features sent to Personalizer after the end of the evaluation period.

Interpréter l'évaluation des fonctionnalités en termes d'importanceHow to interpret the feature importance evaluation

Personalizer évalue les fonctionnalités en créant des « groupes » de fonctionnalités de même importance.Personalizer evaluates features by creating "groups" of features that have similar importance. Un groupe peut passer pour globalement plus important que les autres, mais au sein du groupe, les fonctionnalités sont triées par ordre alphabétique.One group can be said to have overall stronger importance than others, but within the group, ordering of features is alphabetically.

Les informations relatives à chaque fonctionnalité sont les suivantes :Information about each Feature includes:

  • Fonctionnalité issue du contexte ou des actions.Whether the feature comes from Context or Actions.
  • Clé et valeur de la fonctionnalité.Feature Key and Value.

Par exemple, une application de tri pour un glacier peut présenter une fonctionnalité « Context.Weather:Hot » comme très importante.For example, an ice cream shop ordering app may see "Context.Weather:Hot" as a very important feature.

Personalizer affiche les corrélations des fonctionnalités qui, prises en compte conjointement, génèrent des récompenses plus élevées.Personalizer displays correlations of features that, when taken into account together, produce higher rewards.

Par exemple, vous pouvez voir « Context.Weather:Hot avec Action.MenuItem:IceCream » ainsi que "Context.Weather:Cold avec Action.MenuItem:WarmTea:For example, you may see "Context.Weather:Hot with Action.MenuItem:IceCream" as well as "Context.Weather:Cold with Action.MenuItem:WarmTea:

Actions que vous pouvez effectuer en fonction de l’évaluation des fonctionnalitésActions you can take based on feature evaluation

Imaginer les fonctionnalités supplémentaires que vous pourriez utiliserImagine additional features you could use

Inspirez-vous des fonctionnalités importantes du modèle.Get inspiration from the more important features in the model. Par exemple, si vous voyez « Context.MobileBattery:Low » dans une application mobile vidéo, vous pouvez penser que le type de connexion peut également permettre aux clients de choisir d'afficher un clip vidéo sur un autre, puis d’ajouter des fonctionnalités sur le type de connectivité et la bande passante à votre application.For example, if you see "Context.MobileBattery:Low" in a video mobile app, you may think that connection type may also make customers choose to see one video clip over another, then add features about connectivity type and bandwidth into your app.

Identifier les fonctionnalités non importantesSee what features are not important

Vous pouvez supprimer les fonctionnalités non importantes ou analyser plus en détail ce qui peut affecter l’utilisation.Potentially remove unimportant features or further analyze what may affect usage. Certaines fonctionnalités peuvent être mal classées pour de nombreuses raisons.Features may rank low for many reasons. Il peut s’agir du fait que la fonctionnalité n’affecte en rien le comportement de l’utilisateur.One could be that genuinely the feature doesn't affect user behavior. Mais cela peut également signifier que la fonctionnalité n’est pas visible pour l’utilisateur.But it could also mean that the feature is not apparent to the user.

Par exemple, un site vidéo pourrait voir que « Action.VideoResolution=4k » est une fonctionnalité de faible importance, en contradiction avec la recherche de l'utilisateur.For example, a video site could see that "Action.VideoResolution=4k" is a low-importance feature, contradicting user research. Cela peut être dû au fait que l’application n’indique ou n'affiche pas la résolution vidéo, et que dès lors, les utilisateurs ne peuvent modifier leur comportement en conséquence.The cause could be that the application doesn't even mention or show the video resolution, so users wouldn't change their behavior based on it.

Fournir des conseils aux équipes éditoriales ou chargées de la collecteProvide guidance to editorial or curation teams

Fournissez des conseils sur les nouveaux contenus ou produits méritant de figurer dans le catalogue.Provide guidance about new content or products worth bringing into the catalog. Personalizer est conçu pour améliorer les connaissances humaines et aider les équipes.Personalizer is designed to be a tool that augments human insight and teams. Pour ce faire, il propose aux groupes éditoriaux des informations sur les produits, les articles ou le contenu qui pilotent le comportement.One way it does this is by providing information to editorial groups on what is it about products, articles or content that drives behavior. Par exemple, le scénario d’application vidéo peut montrer qu’il existe une fonctionnalité importante appelée « Action.VideoEntities.Cat:true », invitant l’équipe éditoriale à intégrer plus de vidéos de chats.For example, the video application scenario may show that there is an important feature called "Action.VideoEntities.Cat:true", prompting the editorial team to bring in more cat videos.

Résoudre les erreurs et problèmes courantsTroubleshoot common problems and mistakes

Les erreurs et problèmes courants peuvent être résolus en modifiant le code de votre application de sorte qu’il n’envoie pas de fonctionnalités inappropriées ou incorrectement mises en forme à Personalizer.Common problems and mistakes can be fixed by changing your application code so it won't send inappropriate or incorrectly formatted features to Personalizer.

Les erreurs courantes lors de l’envoi des fonctionnalités sont notamment les suivantes :Common mistakes when sending features include the following:

  • Envoi d'informations d’identification personnelle (PII).Sending personally identifiable information (PII). Les informations d'identification personnelle spécifiques à une personne (nom, numéro de téléphone, numéros de carte de crédit, adresses IP, par exemple) ne doivent pas être utilisées avec Personalizer.PII specific to one individual (such as name, phone number, credit card numbers, IP Addresses) should not be used with Personalizer. Si votre application doit effectuer le suivi des utilisateurs, utilisez un UUID sans identification ou un autre numéro UserID.If your application needs to track users, use a non-identifying UUID or some other UserID number. Dans la plupart des scénarios, cela pose également problème.In most scenarios this is also problematic.
  • Avec un grand nombre d’utilisateurs, il est peu probable que l’interaction de chaque utilisateur pèse plus que toute l'interaction d'analyse et ainsi, l'envoi des ID des utilisateurs (même s’il ne s'agit pas d'informations d'identification personnelle) ajoutera probablement plus de bruit que de valeur au modèle.With large numbers of users, it is unlikely that each user's interaction will weigh more than all the population's interaction, so sending user IDs (even if non-PII) will probably add more noise than value to the model.
  • Envoi de champs de date et d’heure en tant que timestamps précis plutôt que de valeurs d'heure caractérisées.Sending date-time fields as precise timestamps instead of featurized time values. Des fonctionnalités telles que Context.TimeStamp.Day=Monday ou « Context.TimeStamp.Hour"="13 » sont plus utiles.Having features such as Context.TimeStamp.Day=Monday or "Context.TimeStamp.Hour"="13" is more useful. Il existe au plus 7 ou 24 valeurs de fonctionnalité pour chacune.There will be at most 7 or 24 feature values for each. Mais la fonctionnalité «Context. TimeStamp»: «1985-04-12T23:20:50.52 Z» est si précise qu’il ne sera pas possible d'en tirer des enseignements car elle ne se reproduira plus.But "Context.TimeStamp":"1985-04-12T23:20:50.52Z" is so precise that there will be no way to learn from it because it will never happen again.

Étapes suivantesNext steps

Comprendre l'extensibilité et le niveau de performance avec Personalizer.Understand scalability and performance with Personalizer.