FeatureauswertungFeature evaluation

Wenn Sie über das Azure-Portal eine Auswertung in Ihrer Personalisierungsressource ausführen, liefert die Personalisierung Informationen dazu, welche Kontext- und Aktionsmerkmale das Modell beeinflussen.When you run an Evaluation in your Personalizer resource from the Azure portal, Personalizer provides information about what features of context and actions are influencing the model.

Dies ermöglicht Folgendes:This is useful in order to:

  • Ermittlung weiterer möglicher Merkmale auf der Grundlage der relevanteren Merkmale im ModellImagine additional features you could use, getting inspiration from what features are more important in the model.
  • Ermittlung und ggf. Entfernung nicht relevanter Merkmale oder ausführlichere Analyse, wodurch die Nutzung beeinflusst wirdSee what features are not important, and potentially remove them or further analyze what may be affecting usage.
  • Bereitstellung hilfreicher Informationen für Redaktions- oder Kuratorenteams zu neuen Inhalten oder Produkten, die es wert sind, in den Katalog aufgenommen zu werdenProvide guidance to editorial or curation teams about new content or products worth bringing into the catalog.
  • Behandlung allgemeiner Probleme und Fehler beim Senden von Merkmalen an die PersonalisierungTroubleshoot common problems and mistakes that happen when sending features to Personalizer.

Relevantere Merkmale werden im Modell stärker gewichtet.The more important features have stronger weights in the model. Aufgrund der stärkeren Gewichtung dieser Merkmale sind sie üblicherweise vorhanden, wenn die Personalisierung höhere Belohnungen erhält.Because these features have stronger weight, they tend to be present when Personalizer obtains higher rewards.

Auswerten der MerkmalsrelevanzGetting feature importance evaluation

Um die Ergebnisse für die Merkmalsrelevanz anzeigen zu können, müssen Sie eine Auswertung ausführen.To see feature importance results, you must run an evaluation. Die Auswertung erstellt lesbare Merkmalsbezeichnungen auf der Grundlage der Merkmalsnamen aus dem Evaluierungszeitraum.The evaluation creates human-readable feature labels based on the feature names observed during the evaluation period.

Die resultierenden Informationen zur Merkmalsrelevanz stellen das aktuelle Onlinemodell der Personalisierung dar.The resulting information about feature importance represents the current Personalizer online model. Bei der Auswertung wird die Merkmalsrelevanz des Modells analysiert, die am Enddatum des Evaluierungszeitraums gespeichert wurde, nachdem das gesamte Training während der Evaluierung mit der aktuellen Online-Lernrichtlinie durchgeführt wurde.The evaluation analyzes feature importance of the model saved at the end date of the evaluation period, after undergoing all the training done during the evaluation, with the current online learning policy.

Die Ergebnisse der Merkmalsrelevanz stellen keine anderen Richtlinien und Modelle dar, die während der Auswertung getestet oder erstellt wurden.The feature importance results do not represent other policies and models tested or created during the evaluation. Die Auswertung enthält keine Merkmale, die nach Ablauf des Evaluierungszeitraums an die Personalisierung gesendet wurden.The evaluation will not include features sent to Personalizer after the end of the evaluation period.

Interpretieren der Auswertung der MerkmalsrelevanzHow to interpret the feature importance evaluation

Zur Auswertung der Merkmale erstellt die Personalisierung Gruppen von Merkmalen mit ähnlicher Relevanz.Personalizer evaluates features by creating "groups" of features that have similar importance. Eine Gruppe kann im Vergleich zu anderen Gruppen als insgesamt relevanter eingestuft werden. Innerhalb der Gruppe werden die Merkmale jedoch alphabetisch sortiert.One group can be said to have overall stronger importance than others, but within the group, ordering of features is alphabetically.

Die Informationen zu den einzelnen Merkmalen umfassen Folgendes:Information about each Feature includes:

  • Angabe, ob es sich um ein kontextbezogenes oder um ein aktionsbezogenes Merkmal handeltWhether the feature comes from Context or Actions.
  • Schlüssel und Wert des MerkmalsFeature Key and Value.

Für die Bestell-App eines Eiscafés kann beispielsweise „Context.Weather:Hot“ ein Merkmal mit sehr hoher Relevanz sein.For example, an ice cream shop ordering app may see "Context.Weather:Hot" as a very important feature.

Die Personalisierung zeigt Korrelationen von Merkmalen an, die bei gemeinsamer Berücksichtigung zu höheren Belohnungen führen.Personalizer displays correlations of features that, when taken into account together, produce higher rewards.

So können beispielsweise „Context.Weather:Hot with Action.MenuItem:IceCream“ und „Context.Weather:Cold with Action.MenuItem:WarmTea“ angezeigt werden.For example, you may see "Context.Weather:Hot with Action.MenuItem:IceCream" as well as "Context.Weather:Cold with Action.MenuItem:WarmTea:

Mögliche Aktionen auf der Grundlage der MerkmalsauswertungActions you can take based on feature evaluation

Ermitteln weiterer möglicher MerkmaleImagine additional features you could use

Lassen Sie sich von den relevanteren Merkmalen im Modell inspirieren.Get inspiration from the more important features in the model. Wird also beispielweise bei einer mobilen Video-App „Context.MobileBattery:Low“ angezeigt, hat unter Umständen der Verbindungstyp Auswirkungen darauf, warum Kunden einen bestimmten Videoclip einem anderen vorziehen, und Sie können Ihrer App Merkmale für Verbindungstyp und Bandbreite hinzufügen.For example, if you see "Context.MobileBattery:Low" in a video mobile app, you may think that connection type may also make customers choose to see one video clip over another, then add features about connectivity type and bandwidth into your app.

Ermitteln nicht relevanter MerkmaleSee what features are not important

Entfernen Sie ggf. nicht relevante Merkmale, oder analysieren Sie ausführlicher, wodurch die Nutzung beeinträchtigt wird.Potentially remove unimportant features or further analyze what may affect usage. Merkmale können aus unterschiedlichen Gründen eine geringe Relevanz haben.Features may rank low for many reasons. Es kann beispielsweise sein, dass das Merkmal keine Auswirkungen auf das Benutzerverhalten hat.One could be that genuinely the feature doesn't affect user behavior. Es kann aber auch bedeuten, dass das Merkmal für den Benutzer nicht offensichtlich ist.But it could also mean that the feature is not apparent to the user.

Bei einer Videowebsite könnte beispielsweise der Eindruck entstehen, dass „Action.VideoResolution=4k“ ein Merkmal mit geringer Relevanz ist, was jedoch der Benutzerforschung widerspricht.For example, a video site could see that "Action.VideoResolution=4k" is a low-importance feature, contradicting user research. Eine mögliche Ursache dafür könnte sein, dass die Videoauflösung in der Anwendung gar nicht erwähnt oder angezeigt wird, sodass dieser Aspekt keine Auswirkungen auf das Benutzerverhalten hat.The cause could be that the application doesn't even mention or show the video resolution, so users wouldn't change their behavior based on it.

Bereitstellen hilfreicher Informationen für Redaktions- oder KuratorenteamsProvide guidance to editorial or curation teams

Stellen Sie hilfreiche Informationen zu neuen Inhalten oder Produkten bereit, die es wert sind, in den Katalog aufgenommen zu werden.Provide guidance about new content or products worth bringing into the catalog. Das Personalisierungstool dient zur Generierung von Erkenntnissen sowie zur Unterstützung von Teams.Personalizer is designed to be a tool that augments human insight and teams. Zu diesem Zweck stellt es unter anderem Informationen für Redaktionsgruppen bereit, die Aufschluss darüber geben, welche Aspekte von Produkten, Artikeln oder Inhalten das Verhalten beeinflussen.One way it does this is by providing information to editorial groups on what is it about products, articles or content that drives behavior. In dem Szenario mit der Videoanwendung könnte beispielsweise festgestellt werden, dass es ein relevantes Merkmal namens „Action.VideoEntities.Cat:true“ gibt, woraufhin das Redaktionsteam die Anzahl von Katzenvideos erhöht.For example, the video application scenario may show that there is an important feature called "Action.VideoEntities.Cat:true", prompting the editorial team to bring in more cat videos.

Behandeln allgemeiner Probleme und FehlerTroubleshoot common problems and mistakes

Zur Behebung allgemeiner Probleme und Fehler können Sie Ihren Anwendungscode ändern, sodass keine unpassenden oder falsch formatierten Merkmale an die Personalisierung gesendet werden.Common problems and mistakes can be fixed by changing your application code so it won't send inappropriate or incorrectly formatted features to Personalizer.

Im Anschluss finden Sie einige allgemeine Fehler beim Senden von Merkmalen:Common mistakes when sending features include the following:

  • Senden personenbezogener Informationen (Personally Identifiable Information, PII):Sending personally identifiable information (PII). Personenbezogene Informationen wie Name, Telefonnummer, Kreditkartennummern oder IP-Adressen dürfen nicht mit der Personalisierung verwendet werden.PII specific to one individual (such as name, phone number, credit card numbers, IP Addresses) should not be used with Personalizer. Wenn Ihre Anwendung Benutzer nachverfolgen muss, verwenden Sie eine nicht identifizierende UUID oder eine andere Art von Benutzer-ID.If your application needs to track users, use a non-identifying UUID or some other UserID number. In den meisten Szenarien ist dies ebenfalls problematisch.In most scenarios this is also problematic.
  • Bei einer großen Anzahl von Benutzern ist es unwahrscheinlich, dass die Interaktion der einzelnen Benutzer stärker ins Gewicht fällt als die Interaktion der Gesamtheit. Die Übermittlung von Benutzer-IDs ist daher für das Modell wahrscheinlich eher hinderlich (selbst wenn es sich um nicht personenbezogene Informationen handelt).With large numbers of users, it is unlikely that each user's interaction will weigh more than all the population's interaction, so sending user IDs (even if non-PII) will probably add more noise than value to the model.
  • Senden von Datums-/Uhrzeitfeldern als präzise Zeitstempel anstelle von Merkmalszeitwerten:Sending date-time fields as precise timestamps instead of featurized time values. Die Verwendung von Merkmalen wie „Context.TimeStamp.Day=Monday“ oder „"Context.TimeStamp.Hour"="13"“ ist hilfreicher.Having features such as Context.TimeStamp.Day=Monday or "Context.TimeStamp.Hour"="13" is more useful. In diesem Fall gibt es bis zu sieben bzw. 24 Merkmalswerte.There will be at most 7 or 24 feature values for each. „"Context.TimeStamp":"1985-04-12T23:20:50.52Z"“ ist dagegen so präzise, dass damit keine Erkenntnisse gewonnen werden können, da es sich hierbei um ein einmaliges Ereignis handelt.But "Context.TimeStamp":"1985-04-12T23:20:50.52Z" is so precise that there will be no way to learn from it because it will never happen again.

Nächste SchritteNext steps

Informieren Sie sich über die Skalierbarkeit und Leistung mit der Personalisierung.Understand scalability and performance with Personalizer.