Importanza della permutazione

L'importanza della permutazione è una misura dell'importanza di una funzione per la previsione complessiva di un modello. In altre parole, come verrebbe influenzato il modello se si eliminasse la sua capacità di apprendere da quella funzione. La metrica può aiutare a perfezionare un modello cambiando le funzioni e gli algoritmi da includere.

L'importanza della permutazione viene calcolata utilizzando il modello scikit-learn. Misura la diminuzione del punteggio del modello dopo la permutazione della funzione.

• Una funzione è "importante" se il rimescolamento dei suoi valori diminuisce il punteggio del modello, perché in questo caso il modello si è affidato alla funzione per la previsione.

• Una funzione "non è importante" se il rimescolamento dei suoi valori lascia invariate le prestazioni del modello, perché in questo caso il modello ha ignorato la funzione per la previsione.

Nel grafico dell'importanza della permutazione, le funzioni sono visualizzate in ordine, dalla massima influenza (maggiore impatto sulle prestazioni del modello) alla minima influenza (minore impatto sulle prestazioni del modello). La dimensione delle barre rappresenta l'importanza di ciascuna funzione.

Per ogni classificazione binaria, classificazione multiclasse o modello di regressione per cui di esegue il training durante l'esperimento viene generato un grafico di importanza della permutazione. Il grafico viene visualizzato sotto la tabella Metriche modello.

.

Uso dell'importanza della permutazione per scegliere le colonne di funzioni

Quando si ripete il training del modello, si può osservare l'importanza della permutazione per determinare quali colonne mantenere e quali escludere. Osservare quali sono le funzioni più importanti per i modelli multipli. Queste sono probabilmente le funzioni con il maggior valore di previsione e sono buone candidate da mantenere per affinare il modello. Allo stesso modo, le funzioni che si trovano costantemente in fondo alla lista probabilmente non hanno un grande valore di previsione e sono buone candidate da escludere.

Se un algoritmo ottiene un punteggio significativamente migliore rispetto agli altri, concentrarsi sul grafico dell'importanza di permutazione per quell'algoritmo. Se più algoritmi hanno punteggi simili, è possibile confrontare i grafici dell'importanza di permutazione di tali algoritmi.

Uso dell'importanza di permutazione per la scelta degli algoritmi

Ogni algoritmo ha un approccio unico all'apprendimento dei modelli dai dati di training. Gli esperimenti sono addestrati con più algoritmi per vedere quale approccio funziona meglio per lo specifico set di dati. I diversi approcci si riflettono nelle variazioni dell'importanza di permutazione dei vari algoritmi. Ad esempio, la funzione A potrebbe essere la più importante per il modello di regressione logistica, mentre la funzione B è la più importante nell'approccio della classificazione XGBoost agli stessi dati. In generale, ci si aspetta che le funzioni con un grande potere di previsione siano le migliori tra gli algoritmi, ma è comune vedere delle variazioni.

È possibile utilizzare questa variazione dell'importanza di permutazione quando si sceglie tra algoritmi con punteggi simili. Selezionare l'algoritmo con le funzioni più intuitive in base alle proprie specifiche conoscenze di business.

Disponibilità dell'importanza di permutazione

L'inclusione di funzionalità di testo libero nell'esperimento aumenta la complessità dell'esperimento e i processi richiesti per eseguirlo. È possibile che i grafici Importanza della permutazione non siano disponibili per i modelli risultanti se i dati del testo libero sono abbastanza complessi.