Permutationfunktionsprioritet

Den här artikeln beskriver hur du använder komponenten Permutation Feature Importance i Azure Machine Learning-designern för att beräkna en uppsättning funktionsviktspoäng för din datauppsättning. Du använder dessa poäng för att avgöra vilka funktioner som är bäst att använda i en modell.

I den här komponenten blandas funktionsvärden slumpmässigt, en kolumn i taget. Modellens prestanda mäts före och efter. Du kan välja ett av standardmåtten för att mäta prestanda.

Poängen som komponenten returnerar representerar ändringen i prestanda för en tränad modell efter permutation. Viktiga funktioner är vanligtvis mer känsliga för blandningsprocessen, så de resulterar i högre prioritetspoäng.

Den här artikeln innehåller en översikt över permutationsfunktionen, dess teoretiska grund och dess program inom maskininlärning: Funktionsbetydelse för permutation.

Så här använder du funktionsbetydelse för permutation

Att generera en uppsättning funktionspoäng kräver att du har en redan tränad modell samt en testdatauppsättning.

1. Lägg till komponenten Permutation Feature Importance i din pipeline. Du hittar den här komponenten i kategorin Funktionsval .

2. Anslut en tränad modell till vänster indata. Modellen måste vara en regressionsmodell eller en klassificeringsmodell.

3. Anslut en datauppsättning till höger. Välj helst en som skiljer sig från den datauppsättning som du använde för att träna modellen. Den här datamängden används för bedömning baserat på den tränade modellen. Den används också för att utvärdera modellen när funktionsvärdena har ändrats.

4. För Slumpmässigt startvärde anger du ett värde som ska användas som startvärde för randomisering. Om du anger 0 (standardvärdet) genereras ett tal baserat på systemklockan.

   Ett startvärde är valfritt, men du bör ange ett värde om du vill ha reproducerbarhet mellan körningar av samma pipeline.

5. För Mått för att mäta prestanda väljer du ett enda mått som ska användas när du beräknar modellkvalitet efter permutation.

   Azure Machine Learning-designern stöder följande mått, beroende på om du utvärderar en klassificerings- eller regressionsmodell:

   • Klassificering

     Precision, precision, träffsäkerhet

   • Regression

     Precision, träffsäkerhet, genomsnittligt absolut fel, kvadratfel för rotsmedelvärde, relativt absolut fel, relativt kvadratfel, bestämningskoefficient

   En mer detaljerad beskrivning av dessa utvärderingsmått och hur de beräknas finns i Utvärdera modell.

6. Skicka pipelinen.

7. Komponenten matar ut en lista över funktionskolumner och de poäng som är associerade med dem. Listan rangordnas i fallande ordning efter poängen.

Tekniska anteckningar

Funktionsbetydelse för permutation fungerar genom att slumpmässigt ändra värdena för varje funktionskolumn, en kolumn i taget. Sedan utvärderas modellen.

De rangordningar som komponenten tillhandahåller skiljer sig ofta från de som du får från Filterbaserad funktionsval. Filterbaserat funktionsval beräknar poäng innan en modell skapas.

Orsaken till skillnaden är att Permutation Feature Importance inte mäter associationen mellan en funktion och ett målvärde. I stället registreras hur mycket påverkan varje funktion har på förutsägelser från modellen.

Nästa steg

Se den uppsättning komponenter som är tillgängliga för Azure Machine Learning.