Permutationfunktionsprioritet

Beräknar poäng för permutationsfunktionens prioritetspoäng för funktionsvariabler givet en tränad modell och en testdatamängd

Kategori: Funktionsvalsmoduler

Anteckning

Gäller för: Machine Learning Studio (klassisk)

Det här innehållet gäller endast Studio (klassisk). Liknande dra-och släpp moduler har lagts till i Azure Machine Learning designer. Mer information i den här artikeln är att jämföra de två versionerna.

Modulöversikt

I den här artikeln beskrivs hur du använder modulen Permutation Feature Importance i Azure Machine Learning Studio (klassisk) för att beräkna en uppsättning funktionspoäng för din datauppsättning. Du använder dessa poäng för att avgöra vilka funktioner som är bäst att använda i en modell.

I den här modulen blandas funktionsvärden slumpmässigt, en kolumn i taget och modellens prestanda mäts före och efter. Du kan välja något av de standardmått som tillhandahålls för att mäta prestanda.

Poängen som modulen returnerar representerar den ändrade prestandan för en tränad modell efter permutation. Viktiga funktioner är vanligtvis mer känsliga för blandningsprocessen och resulterar därför i poäng med högre prioritet.

Den här artikeln ger en bra allmän översikt över permutationsfunktions vikt, dess teoretiska grund och dess program inom maskininlärning: Permutationsfunktions vikt

Så här använder du permutationsfunktions prioritet

För att generera en uppsättning funktionspoäng måste du ha en redan tränad modell samt en testdatamängd.

  1. Lägg till modulen Permutation Feature Importance (Funktionspri viktig permutation) i experimentet. Du hittar den här modulen i kategorin Funktionsval.

  2. Anslut en tränad modell till vänster indata. Modellen måste vara en regressionsmodell eller en klassificeringsmodell.

  3. På höger indata ansluter du en datauppsättning, helst en som skiljer sig från den datamängd som används för att träna modellen. Den här datamängden används för bedömning baserat på den tränade modellen och för att utvärdera modellen när funktionsvärdena har ändrats.

  4. För Slumpmässigt startvärde anger du ett värde som ska användas som startvärde för randomisering. Om du anger 0 (standard) genereras ett tal baserat på systemklockan.

    Ett startvärde är valfritt, men du bör ange ett värde om du vill reproducerbarhet mellan körningar av samma experiment.

  5. För Mått för att mäta prestanda väljer du ett enda mått som ska användas vid beräkning av modellkvalitet efter permutation.

    Azure Machine Learning Studio (klassisk) stöder följande mått, beroende på om du utvärderar en klassificerings- eller regressionsmodell:

    • Klassificering

      Precision, precision, träffsäkerhet, genomsnittlig loggförlust

    • Regression

      Precision, träffsäkerhet, absolut medelfel, medelk squared-fel, relativt absolutfel, relativt kvadratfel, bestämningskoefficient

    En mer detaljerad beskrivning av de här utvärderingsmåtten och hur de beräknas finns i Utvärdera.

  6. Kör experimentet.

  7. Modulen matar ut en lista över funktionskolumner och poängen som är associerade med dem, rangordnade efter poängen, fallande.

Exempel

Se dessa exempelexperiment i Azure AI Gallery:

Teknisk information

Det här avsnittet innehåller implementeringsinformation, tips och svar på vanliga frågor.

Hur är detta jämfört med andra metoder för funktionsval?

Permutationsfunktionens prioritet fungerar genom att slumpmässigt ändra värdena för varje egenskapskolumn, en kolumn i taget och sedan utvärdera modellen.

Rangordningarna som tillhandahålls av permutationsfunktions prioritet skiljer sig ofta från de som du får från Filterbaseratfunktionsval , som beräknar poäng innan en modell skapas.

Det beror på att permutationsfunktionsbetydelse inte mäter associationen mellan en funktion och ett målvärde, utan i stället fångar hur mycket påverkan varje funktion har på förutsägelser från modellen.

Förväntade indata

Namn Typ Description
Tränad modell ILearner-gränssnitt En tränad klassificerings- eller regressionsmodell
Testdata Datatabell Testa datauppsättningen för bedömning och utvärdering av en modell efter permutation av funktionsvärden

Modulparametrar

Namn Typ Intervall Valfritt Standardvärde Description
Slumpmässigt start seed Integer >=0 Obligatorisk 0 Startvärde för slumptalsgenerator
Mått för att mäta prestanda EvaluationMetricType välj från listan Obligatorisk Klassificering – noggrannhet Välj det mått som ska användas vid utvärdering av variabiliteten för modellen efter permutationer

Utdata

Namn Typ Description
Egenskapsprioritet Datatabell En datauppsättning som innehåller resultat av funktions prioritet baserat på det valda måttet

Undantag

Undantag Description
Fel 0062 Undantag inträffar när du försöker jämföra två modeller med olika typer av elever.
Fel 0024 Undantaget inträffar om datauppsättningen inte innehåller en etikettkolumn.
Fel 0105 Visas när en moduldefinitionsfil definierar en ouppporterad parametertyp
Fel 0021 Undantaget inträffar om antalet rader i vissa datauppsättningar som skickas till modulen är för litet.

Se även

Val av funktion
Filtrera baserat funktionsval
Analys av huvudkomponent