Permutation Feature Importance

Questo articolo descrive come usare il componente Permutation Feature Importance nella finestra di progettazione di Azure Machine Learning per calcolare un set di punteggi di importanza delle funzionalità per il set di dati. Questi punteggi consentono di determinare le funzionalità migliori da usare in un modello.

In questo componente i valori delle funzionalità vengono casualmente casualmente casuali, una colonna alla volta. Le prestazioni del modello sono misurate prima e dopo. È possibile scegliere una delle metriche standard per misurare le prestazioni.

I punteggi restituiti dal componente rappresentano la modifica delle prestazioni di un modello sottoposto a training, dopo la permutazione. Le funzionalità importanti sono in genere più sensibili al processo di shuffling, quindi genereranno punteggi di importanza più elevati.

Questo articolo offre una panoramica della funzionalità di permutazione, della base teorica e delle relative applicazioni in Machine Learning: Permutation Feature Importance.

Come usare l'importanza della funzionalità permutazione

Per generare un set di punteggi di funzionalità è necessario disporre di un modello già sottoposto a training, nonché di un set di dati di test.

1. Aggiungere il componente Permutation Feature Importance alla pipeline. È possibile trovare questo componente nella categoria Selezione funzionalità .

2. Connettere un modello sottoposto a training all'input sinistro. Il modello deve essere un modello di regressione o un modello di classificazione.

3. Nell'input destro connettere un set di dati. È preferibile scegliere uno diverso dal set di dati usato per il training del modello. Questo set di dati viene usato per l'assegnazione dei punteggi in base al modello sottoposto a training. Viene usato anche per la valutazione del modello dopo la modifica dei valori delle funzionalità.

4. Per Valore di inizializzazione casuale immettere un valore da usare come valore di inizializzazione per la randomizzazione. Se si specifica 0 (impostazione predefinita), viene generato un numero in base all'orologio di sistema.

   Un valore di inizializzazione è facoltativo, ma è consigliabile specificare un valore se si vuole riprodurre le esecuzioni della stessa pipeline.

5. Per Metrica per la misurazione delle prestazioni, selezionare una singola metrica da usare quando si calcola la qualità del modello dopo la permutazione.

   La finestra di progettazione di Azure Machine Learning supporta le metriche seguenti, a seconda che si stia valutando un modello di classificazione o regressione:

   • Classificazione

     Accuratezza, precisione, richiamo

   • Regressione

     Precisione, richiamo, errore assoluto medio medio, errore quadratico medio radice, errore assoluto relativo, errore quadratico relativo, coefficiente di determinazione

   Per una descrizione più dettagliata di queste metriche di valutazione e di come vengono calcolate, vedere Evaluate Model .For a more detailed description of these evaluation metrics and how they're calculated, see Evaluate Model.

6. Inviare la pipeline.

7. Il componente restituisce un elenco di colonne di funzionalità e i punteggi associati. L'elenco viene classificato in ordine decrescente dei punteggi.

Note tecniche

L'importanza della funzionalità di permutazione funziona modificando in modo casuale i valori di ogni colonna di funzionalità, una colonna alla volta. Valuta quindi il modello.

Le classificazioni fornite dal componente sono spesso diverse da quelle ottenute da Selezione funzionalità basata su filtro. Filter Based Feature Selection calcola i punteggi prima della creazione di un modello.

La differenza è che Permutation Feature Importance non misura l'associazione tra una funzionalità e un valore di destinazione. Acquisisce invece la quantità di influenza che ogni funzionalità ha sulle stime del modello.

Passaggi successivi

Vedere il set di componenti disponibili per Azure Machine Learning.