Esecuzione di un'analisi rapida del modello
Quando l'addestramento dei modelli per una versione dell'esperimento è completato, eseguire l'analisi delle metriche del modello più importanti e accedere a un riepilogo di come sono stati elaborati i dati di addestramento. L'analisi rapida viene eseguita nelle schede Configurazione/Dati di addestramento e Modelli.
Utilizzare la scheda Modelli per una panoramica dei risultati dell'addestramento. Quando si esegue una versione dell'esperimento, si passa automaticamente alla scheda Modelli. Si consiglia inoltre di tornare alla scheda Dati di addestramento per esaminare come i dati sono stati pre-elaborati e gestiti.
Scheda Modelli per un esperimento di classificazione binaria
Sono disponibili opzioni aggiuntive per un'ulteriore valutazione dei modelli. È possibile confrontare metriche e iperparametri aggiuntivi tra i modelli o concentrarsi su un modello specifico per un'analisi granulare. Queste opzioni sono disponibili nelle schede Confronta e Analizza. Per ulteriori informazioni, vedere:
Comprensione dei concetti
Può essere utile avere una comprensione di base dei concetti alla base dell'analisi del modello prima di iniziare a valutare i modelli. Per ulteriori informazioni, vedere Nozioni sui concetti per la verifica dei modelli.
Impatto delle impostazioni dell'ottimizzazione sulle analisi
Per gli esperimenti di classificazione e regressione, l'esperienza dell'analisi può essere leggermente differente, dipendendo se si utilizza l'ottimizzazione intelligente dei modelli o meno. L'ottimizzazione Intelligente dei modelli è attiva per impostazione predefinita per i nuovi esperimenti di classificazione e regressione.
Analisi di modelli addestrati con l'ottimizzazione intelligente
Per impostazione predefinita, i nuovi esperimenti di classificazione e regressione vengono eseguiti con l'ottimizzazione intelligente dei modelli.
L'ottimizzazione intelligente dei modelli fornisce un processo di addestramento più affidabile che, idealmente, crea un modello pronto per la distribuzione con poche o nessuna modifica. La qualità delle prestazioni di questi modelli, quando sono distribuiti per i casi di utilizzo legati alla produzione, dipende in ogni caso dall'addestramento con set di dati di qualità elevata che includono funzioni e dati rilevanti.
Se la versione viene addestrata con l'ottimizzazione intelligente dei modelli, considerare quanto segue:
-
Ogni modello nella versione può avere una selezione di funzioni differente, a seconda della modalità in cui l'algoritmo analizza i dati.
-
Dalla scheda Modelli, leggere il Riepilogo addestramento modello per il modello prima di passare alle analisi specifiche. Il Riepilogo addestramento modello mostra una sintesi di come Qlik Predict ha ottimizzato automaticamente il modello ripetendo la selezione delle funzioni e applicando trasformazioni avanzate.
Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello.
Analisi di modelli addestrati senza l'ottimizzazione intelligente
In alternativa, è possibile disattivare l'ottimizzazione intelligente dei modelli per la versione dell'addestramento. L'ottimizzazione manuale dei modelli può essere utile se è necessario esercitare un maggiore controllo sul processo di addestramento.
Se si utilizza l'ottimizzazione manuale, tutti i modelli nella versione avranno la stessa selezione di funzioni, quindi l'opzione Riepilogo addestramento modello non è necessaria.
Ispezione della configurazione
Durante il pre-elaborazione, le funzionalità potrebbero essere state escluse dall'uso nell'addestramento. Questo accade in genere perché si conoscono più informazioni sui dati man mano che l'addestramento procede rispetto a prima di eseguire la versione.
Dopo aver esaminato il Riepilogo addestramento modello (mostrato solo con l'ottimizzazione intelligente), è possibile esaminare più da vicino la configurazione dell'esperimento se è necessario verificare queste altre modifiche.
Procedere come indicato di seguito:
-
Nell'esperimento, passare alla scheda Dati di addestramento.
-
Assicurarsi di essere in
Vista schema. -
Utilizzare il menu a discesa nella barra degli strumenti per selezionare un modello dalla versione.
-
Analizzare lo schema del modello. Potrebbe essere utile concentrarsi sulle colonne Approfondimenti e Tipo di funzionalità per vedere se determinate funzionalità vengono eliminate o sono state trasformate in un tipo di funzionalità diverso.
Ad esempio, è possibile che una funzionalità inizialmente contrassegnata come Possibile testo libero sia stata esclusa dopo l'esecuzione della versione.
Per ulteriori informazioni sul significato di ciascuno degli approfondimenti, vedere Interpretazione degli insight del dataset.
Si noti che se si esegue la versione con l'opzione di ottimizzazione intelligente predefinita, ogni modello nella versione potrebbe avere una selezione delle funzionalità diversa a causa del perfezionamento automatico. Se la versione è stata eseguita senza ottimizzazione intelligente, la selezione delle funzionalità sarà la stessa per tutti i modelli nella versione. Per ulteriori informazioni sull'ottimizzazione intelligente del modello, vedere Ottimizzazione intelligente del modello.
In base a quanto rilevato in questa configurazione, potrebbe essere necessario tornare alla fase di preparazione del set di dati per migliorare i dati delle funzionalità.
Con l'ottimizzazione intelligente del modello disattivata, non verrà visualizzato un Riepilogo addestramento modello come parte dell'esperienza di analisi rapida. Inoltre, tutti i modelli di una versione dell'esperimento utilizzeranno le stesse combinazioni di funzionalità, mentre i modelli addestrati con l'ottimizzazione intelligente possono avere combinazioni di funzionalità diverse.
Selezione di un modello
Al termine dell'addestramento, il modello consigliato viene selezionato automaticamente per l'analisi e vengono visualizzate le metriche per tale modello.
Passare da un modello all'altro per confrontare le differenze nelle metriche e nella configurazione. Se ci si trova nella scheda Dati di addestramento, utilizzare il menu a discesa nella barra degli strumenti per scegliere un modello. Se ci si trova nella scheda Modelli, fare clic su un modello nella tabella Metriche modello per scegliere un modello.
Analisi del riepilogo dell'addestramento
Ottimizzazione intelligente del modello
Per i modelli addestrati con l'ottimizzazione intelligente del modello, il Riepilogo addestramento modello delinea le informazioni chiave su ciò che è accaduto durante l'addestramento. Questo riepilogo include:
-
Il rapporto di campionamento per il modello.
-
Un elenco di funzionalità che sono state escluse automaticamente a seguito dell'ottimizzazione intelligente. Questo elenco varia a seconda del modello selezionato.
-
Un riepilogo di tutte le trasformazioni avanzate applicate durante l'addestramento del modello.
-
Un collegamento al dataset di addestramento.
Il Riepilogo addestramento modello non viene mostrato se si ottimizzano i modelli manualmente.
Per ulteriori informazioni sull'ottimizzazione intelligente del modello, vedere Ottimizzazione intelligente del modello.
Grafico Riepilogo addestramento modello per un modello, mostrato nella scheda Modelli
Il riepilogo dell'addestramento del modello non elenca le funzionalità che sono state escluse durante la fase di pre-elaborazione. Per verificare queste informazioni, tornare alla scheda Dati dell'esperimento. Vedere: Ispezione della configurazione
Procedere come indicato di seguito:
-
Nell'esperimento, passare alla scheda Modelli.
-
Confermare di aver selezionato il modello che si desidera analizzare.
-
Nella sezione Approfondimenti modello sul lato destro della pagina, guardare il Riepilogo addestramento modello.
Esperimenti sulle serie temporali
Negli esperimenti sulle serie temporali, il Riepilogo addestramento modello mostra le impostazioni di configurazione per il problema di previsione delle serie temporali, come definito dal dataset e dalle impostazioni di addestramento. Alcuni di questi dettagli sono stati stimati prima dell'inizio dell'addestramento, ma ora sono confermati con certezza dopo che l'intero dataset è stato analizzato. È possibile visualizzare:
-
L'intervallo di date dei dati utilizzati per addestrare il modello
-
Il passo temporale
-
La dimensione della finestra di applicazione
-
La previsione massima
-
La finestra di previsione e le dimensioni del gap
Grafico Riepilogo addestramento modello per un modello in un esperimento sulle serie temporali
Analisi della tabella delle metriche del modello
La tabella Metriche modello fornisce informazioni di alto livello sulle prestazioni di ciascun modello nell'esperimento. I modelli consigliati da questo elenco sono presentati sopra la tabella.
Tabella Metriche modello con modelli consigliati e filtri
La tabella mostra:
-
Se il modello è un modello migliore rispetto ai tipi di modelli migliori. Vedere: Individuazione dei modelli migliori
-
Il nome di ciascun modello (può essere modificato per comodità. Vedere: Modifica dei dettagli del modello)
-
L'algoritmo utilizzato per addestrare il modello
-
Metriche chiave relative alle prestazioni del modello. È possibile passare tra:
-
Metriche comuni per la valutazione del potenziale predittivo, in base al tipo di modello. Per i modelli di classificazione binaria, si tratta di F1. Per i modelli di classificazione multiclasse, si tratta di F1 Macro. Per i modelli di regressione, si tratta di R2.
-
Velocità di previsione.
-
Accuratezza. Per i modelli di classificazione, questa è la metrica denominata accuratezza. Per i modelli di regressione, si tratta di MAE (errore assoluto medio).
-
Individuazione dei modelli migliori
I modelli migliori e con le prestazioni più elevate vengono determinati in base ai filtri applicati. Vengono presentati come consigliati sopra la tabella delle metriche del modello e sono anche evidenziati all'interno della tabella.
Il Modello migliore è selezionato per impostazione predefinita. Questo modello è contrassegnato da un'icona 
. Il modello migliore viene determinato in base a un calcolo bilanciato che tiene conto sia dell'accuratezza che della velocità di previsione.
A seconda del caso d'uso, si potrebbe anche essere interessati ad analizzare singolarmente specifici indicatori di prestazioni. Altri modelli con le prestazioni migliori sono evidenziati con i seguenti indicatori:
-
Più accurato: il modello mostra l'accuratezza più elevata in base alle metriche di punteggio applicabili per il tipo di problema. -
Modello più veloce: il modello offre le velocità di previsione più elevate. Viene presa in considerazione anche l'accuratezza.
È inoltre possibile selezionare i modelli con le prestazioni migliori direttamente dai consigli sopra la tabella Metriche modello.
Per una panoramica completa di come viene determinato ciascun tipo di modello consigliato, vedere Selezione del modello migliore per i propri casi d'uso.
Filtro dei modelli nella tabella
La tabella delle metriche del modello può essere filtrata per mostrare solo i modelli che si desidera confrontare.
Sono disponibili i seguenti filtri, che possono essere combinati in base alle esigenze:
-
Versione: selezionare una o più versioni dell'esperimento.
-
Algoritmo: selezionare uno o più algoritmi.
-
Campionamento al 100%: questo filtro viene applicato per impostazione predefinita. Può essere rimosso se desiderato. Il filtro mostra i modelli che hanno utilizzato l'intero dataset di addestramento per completare il processo di addestramento e convalida incrociata. Disponibile in Altri filtri del modello.
-
Distribuito: mostra i modelli che sono stati distribuiti nelle distribuzioni ML. Disponibile in Altri filtri del modello.
Dopo aver applicato i filtri desiderati, i modelli con le prestazioni migliori vengono ricalcolati automaticamente in base agli elementi filtrati. I modelli consigliati vengono quindi aggiornati.
Interpretazione delle visualizzazioni dell'importanza delle funzionalità
Nella scheda Modelli, scorrere verso il basso per visualizzare le visualizzazioni dell'importanza delle funzionalità. Queste saranno Importanza della permutazione e Importanza SHAP.
Visualizzazione dell'importanza delle funzionalità nella scheda Modelli
Grafico Importanza della permutazione
Il grafico Importanza della permutazione mostra l'importance di ciascuna funzionalità per la previsione complessiva del modello. Ciò che si vede nel grafico Importanza della permutazione può aiutare a capire come perfezionare i modelli.
Le informazioni comuni che si possono ottenere analizzando questo grafico includono:
-
Se una funzionalità consuma quasi tutta l'importanza, questo è probabilmente un segno di dispersione del target. La funzionalità deve essere rimossa. Se ciò è causato da problemi di qualità dei dati, è necessario affrontare anche questi.
-
Alcune funzionalità potrebbero avere un impatto minimo o nullo sulle previsioni del modello. Le funzionalità con un'importanza della permutazione estremamente bassa possono essere considerate rumore statistico e devono essere rimosse.
Se per addestrare la versione è stata utilizzata l'ottimizzazione intelligente del modello, alcuni dei problemi comuni sopra indicati potrebbero essere stati risolti automaticamente escludendo queste funzionalità.
Per ulteriori informazioni sull'importanza della permutazione, vedere Nozioni sull'importanza della permutazione.
Grafico Importanza SHAP
Il grafico Importanza SHAP fornisce un altro modo per analizzare l'influenza che ciascuna funzionalità dell'esperimento ha sulle previsioni di ciascun modello. Ciò può fornire informazioni tempestive su quali funzionalità sono significative o se è necessario riconfigurare l'addestramento. Per ulteriori informazioni, vedere Nozioni sull'importanza SHAP nell'addestramento dell'esperimento.
Interpretazione delle visualizzazioni del punteggio del modello
Per alcuni tipi di modello, sono disponibili visualizzazioni aggiuntive per mostrare una panoramica delle prestazioni del modello.
Classificazione binaria
Se l'esperimento è un problema di classificazione binaria, vengono generate automaticamente alcune visualizzazioni aggiuntive per una rapida consultazione. Queste visualizzazioni offrono maggiori informazioni su come il modello prevede le classi positive e negative.
Per ulteriori informazioni su queste visualizzazioni, vedere Valutazione dei modelli di classificazione binaria.
Matrice di confusione
Il grafico Matrice di confusione mostra l'accuratezza delle previsioni create dal modello. Le previsioni vengono eseguite sui dati di controllo automatici.
Curva ROC
Il grafico Curva ROC descrive l'efficacia del modello nel prevedere la classe positiva quando il risultato effettivo è positivo.
Per un'indicazione di come appare una curva ROC ideale, vedere AUC e curva ROC.
Serie temporali
Per i modelli di serie temporali, il grafico Errore di previsione nella finestra di previsione viene generato automaticamente per fornire informazioni sull'accuratezza della previsione. È possibile visualizzare il tasso di errore di previsione per ciascun passo temporale nella finestra di previsione. I tassi di errore sono suddivisi in cinquantesimo, decimo e novantesimo percentile.
Analisi dei risultati del rilevamento dei bias
Se alcune funzionalità della versione sono state attivate per il rilevamento dei bias, è possibile ottenere rapidamente informazioni su quali funzionalità sono state identificate come aventi bias nei dati e nel modello.
Non tutte le metriche e i gruppi vengono mostrati in questa vista condensata a causa dello spazio limitato. Ad esempio, potrebbero essere mostrati solo i minimi e i massimi se la metrica di rilevamento dei bias viene calcolata in base a queste statistiche. È possibile passare alla scheda Analizza per visualizzare dettagli completi sui risultati dei bias per ciascuna funzionalità selezionata.
For more information, see Analisi rapida dei risultati del bias.