Esecuzione di analisi rapide dei modelli
Una volta completato l'addestramento dei modelli per una versione dell'esperimento, eseguire l'analisi delle metriche più importanti del modello e accedere a un riepilogo della modalità in cui i dati di addestramento sono stati elaborati. L'analisi rapida viene eseguita nelle schede Dati e Modelli.
Utilizzare la scheda Modelli per una panoramica dei risultati dell'addestramento. Quando si esegue una versione dell'esperimento, si passa automaticamente alla scheda Modelli. Si consiglia anche di andare nuovamente la scheda Dati per esaminare il modo in cui i dati vengono pre-elaborati e gestiti.
La scheda Modelli per l'esperimento di una classificazione binaria
Sono disponibili opzioni aggiuntive per l'ulteriore valutazione dei modelli. È possibile confrontare ulteriori metriche e iperparametri tra i modelli o concentrarsi su un modello specifico per l'analisi granulare. Queste opzioni sono disponibili nelle schede Confronta e Analizza. Per ulteriori informazioni, vedere:
Nozioni sui concetti
Può essere utile avere una comprensione basilare dei concetti alla base dell'analisi dei modelli prima di iniziare a valutarli. Per ulteriori informazioni, vedere Nozioni sui concetti per la verifica dei modelli.
Impatto delle impostazioni dell'ottimizzazione sulle analisi
Per gli esperimenti di classificazione e regressione, l'esperienza dell'analisi può essere leggermente differente, dipendendo se si utilizza l'ottimizzazione intelligente dei modelli o meno. L'ottimizzazione Intelligente dei modelli è attiva per impostazione predefinita per i nuovi esperimenti di classificazione e regressione.
Analisi di modelli addestrati con l'ottimizzazione intelligente
Per impostazione predefinita, i nuovi esperimenti di classificazione e regressione vengono eseguiti con l'ottimizzazione intelligente dei modelli.
L'ottimizzazione intelligente dei modelli fornisce un processo di addestramento più affidabile che, idealmente, crea un modello pronto per la distribuzione con poche o nessuna modifica. La qualità delle prestazioni di questi modelli, quando sono distribuiti per i casi di utilizzo legati alla produzione, dipende in ogni caso dall'addestramento con set di dati di qualità elevata che includono funzioni e dati rilevanti.
Se la versione viene addestrata con l'ottimizzazione intelligente dei modelli, considerare quanto segue:
-
Ogni modello nella versione può avere una selezione di funzioni differente, a seconda della modalità in cui l'algoritmo analizza i dati.
-
Dalla scheda Modelli, leggere il Riepilogo addestramento modello per il modello prima di passare alle analisi specifiche. Il Riepilogo addestramento modello mostra una sintesi di come Qlik Predict ha ottimizzato automaticamente il modello ripetendo la selezione delle funzioni e applicando trasformazioni avanzate.
Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .
Analisi di modelli addestrati senza l'ottimizzazione intelligente
In alternativa, è possibile disattivare l'ottimizzazione intelligente dei modelli per la versione dell'addestramento. L'ottimizzazione manuale dei modelli può essere utile se è necessario esercitare un maggiore controllo sul processo di addestramento.
Se si utilizza l'ottimizzazione manuale, tutti i modelli nella versione avranno la stessa selezione di funzioni, quindi l'opzione Riepilogo addestramento modello non è necessaria.
Controllo della configurazione
Durante il processo di pre-elaborazione, alcune funzioni potrebbero essere escluse dall'addestramento. Questo in genere accade perché, con la progressione dell'addestramento, si dispone di un maggior numero di informazioni rispetto a prima dell'esecuzione della versione.
Dopo aver controllato il Riepilogo addestramento modello (opzione che viene mostrata con l'ottimizzazione intelligente), è possibile esaminare più approfonditamente la configurazione dell'esperimento in caso fosse necessario verificare queste ultime modifiche.
Procedere come indicato di seguito:
-
Nell'esperimento, andare alla scheda Dati.
-
Assicurarsi di utilizzare la
vista Schema. -
Utilizzare il menu a discesa nella barra degli strumenti per selezionare un modello dalla versione.
-
Analizzare lo schema del modello. Potrebbe essere consigliabile concentrarsi sulle colonne Informazioni strategiche e Tipo di funzione per verificare se determinate funzioni sono state rimosse o se sono state trasformate in un tipo di funzione differente.
Per esempio, è possibile che la funzione inizialmente contrassegnata come Testo libero possibile sia stata esclusa dopo l'esecuzione della versione.
Per maggiori informazioni sul significato di ogni informazione strategica, vedere Interpretazione delle informazioni strategiche di un set di dati.
Notare che, se si esegue la versione con l'opzione di ottimizzazione intelligente predefinita, ogni modello nella versione potrebbe avere una diversa selezione di funzioni, a seguito dell'ottimizzazione automatica. Se la versione viene eseguita senza l'ottimizzazione intelligente, la selezione di funzioni rimarrà la stessa per tutti i modelli nella versione. Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .
In base ai risultati riscontrati in questa configurazione, potrebbe essere necessario tornare alla fase di preparazione del set di dati per migliorare i dati delle funzioni.
Se si disattiva l'ottimizzazione intelligente del modello, l'opzione Riepilogo addestramento modello non verrà visualizzata per l'analisi rapida. Inoltre, tutti i modelli da una versione dell'esperimento utilizzeranno le stesse combinazioni di funzioni, mentre i modelli addestrati con l'ottimizzazione intelligente possono avere combinazioni di funzioni differenti.
Selezione di un modello
Una volta completato l'addestramento, il modello più consigliato viene selezionato automaticamente per l'analisi e vengono visualizzate le metriche per quel modello.
Visualizzare i diversi modelli per confrontare le differenze relative a metriche e configurazione. Se si utilizza la scheda Dati, utilizzare il menu a comparsa nella barra degli strumenti per selezionare un modello. Se si utilizza la scheda Modelli, fare clic su un modello nella tabella Metriche modello per selezionarlo.
Analisi del riepilogo dell'addestramento
Ottimizzazione intelligente del modello
Per i modelli addestrati con l'ottimizzazione intelligente del modello, l'opzione Riepilogo addestramento modello delinea le informazioni chiave sulle fasi dell'addestramento. Il riepilogo include i seguenti dati:
-
Il rapporto di campionamento per quel modello.
-
Un elenco delle funzioni eliminate automaticamente come risultato dell'ottimizzazione intelligente. L'elenco varia a seconda del modello selezionato.
-
Un riepilogo di tutte le trasformazioni avanzate applicate durante l'addestramento del modello.
-
Un collegamento al training set.
L'opzione Riepilogo addestramento modello non viene visualizzata si sceglie di ottimizzare i modelli manualmente.
Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .
Il grafico Riepilogo addestramento modello per un modello, mostrato nella scheda Modelli
Il riepilogo dell'addestramento del modello non elenca le funzioni che sono state eliminate durante la fase di pre-elaborazione. Per verificare queste informazioni, tornare alla scheda Dati dell'esperimento. Vedere: Controllo della configurazione
Procedere come indicato di seguito:
-
Nell'esperimento, andare alla scheda Modelli.
-
Confermare di aver selezionato il modello che si desidera analizzare.
-
Nella sezione Informazioni strategiche modello nella parte destra del modello, esaminare Riepilogo addestramento modello.
Esperimenti di serie temporali
Negli esperimenti di serie temporali, il Riepilogo dell'addestramento del modello mostra le impostazioni di configurazione per il problema di previsione delle serie temporali, come definite dal set di dati e dalle impostazioni di addestramento. Alcuni di questi dettagli sono stati stimati prima dell'inizio dell'addestramento, ma ora sono confermati con certezza dopo che l'intero set di dati è stato analizzato. È possibile visualizzare i seguenti elementi:
-
L'intervallo di date dei dati utilizzati per addestrare il modello
-
La fase temporale
-
La dimensione della finestra di applicazione
-
La previsione massima
-
Le dimensioni della finestra di previsione e del gap
Riepilogo addestramento modello grafico per un modello in un esperimento di serie temporali
Analisi della tabella Metriche modello
La tabella Metriche modello fornisce informazioni di alto livello sulle prestazioni di ogni modello nell'esperimento. I modelli consigliati da questo elenco sono presentati sopra la tabella.
Tabella Metriche modello con i modelli e i filtri consigliati
La tabella mostra i seguenti elementi:
-
Se il modello è un migliore rispetto ai tipi di modello migliori. Vedere: Individuazione dei modelli migliori
-
Il nome di ogni modello (è possibile modificare questa voce per comodità. Vedere: Modifica dei dettagli del modello)
-
L'algoritmo utilizzato per addestrare il modello
-
Metriche chiave relative alle prestazioni del modello. È possibile passare tra i seguenti elementi:
-
Metriche comuni per valutare il potenziale predittivo, in base al tipo di modello. Per i modelli di classificazione binaria è F1. Per i modelli di classificazione multiclasse è F1 Macro. Per i modelli di regressione, è R2.
-
Velocità di previsione.
-
Accuratezza. Per i modelli di classificazione, questa è la metrica denominata accuratezza. Per i modelli di regressione, questo è il MAE (errore assoluto medio).
-
Individuazione dei modelli migliori
I modelli migliori e più performanti vengono determinati in base ai filtri applicati. Sono presentati come raccomandazioni sopra la tabella delle metriche del modello e sono anche evidenziati all'interno della tabella.
Il Modello migliore è selezionato per impostazione predefinita. Questo modello è contrassegnato dall'icona 
. Il modello migliore viene determinato in base a un calcolo equilibrato che tiene conto sia dell'accuratezza che della velocità di previsione.
A seconda del caso d'uso, potrebbe anche essere utile analizzare individualmente specifici marcatori di prestazioni. Altri modelli con le migliori prestazioni sono evidenziati con i seguenti indicatori:
-
Più preciso: il modello mostra la massima accuratezza in base alle metriche di punteggio applicabili per il tipo di problema. -
Modello più veloce: il modello fornisce la velocità di previsione più elevata. Si tiene conto anche dell'accuratezza.
È possibile anche selezionare i modelli più performanti direttamente dalle raccomandazioni sopra la tabella Metriche modello.
Per una panoramica completa su come viene determinato ogni tipo di modello consigliato, consultare Selezione del modello migliore per i propri casi d'uso.
Filtraggio dei modelli nella tabella
È possibile filtrare la tabella Metriche in modo da visualizzare solamente i modelli che si desidera confrontare.
Sono disponibili i seguenti filtri che è possibile combinare in base alle necessità:
-
Versione: selezionare una o più versioni dell'esperimento.
-
Algoritmo: selezionare uno o più algoritmi.
-
Campionamento del 100%: questo filtro viene applicato per impostazione predefinita. Se si desidera, è possibile rimuoverlo. Questo filtro mostra i modelli che hanno utilizzato l'intero training set per completare l'addestramento e il processo di convalida incrociata. Filtro disponibile in Più filtri modello.
-
Distribuito: mostra i modelli distribuiti nelle distribuzioni di ML. Filtro disponibile in Più filtri modello.
Dopo aver applicato i filtri desiderati, i modelli più performanti vengono automaticamente ricalcolati in base alle voci filtrate. I modelli consigliati vengono quindi aggiornati.
Come interpretare le visualizzazioni sull'importanza delle funzioni
Nella scheda Modelli, scorrere verso il basso per vedere le visualizzazioni sull'importanza delle funzioni. Queste sono Importanza della permutazione e Importanza SHAP.
Visualizzazione sull'importanza delle funzioni nella scheda Modelli
Grafico Importanza della permutazione
Il grafico Importanza della permutazione mostra l'importanza di ogni funzione per le prestazioni di previsione generali del modello. I valori visualizzati nel grafico Importanza della permutazione possono aiutare a comprendere come affinare i modelli.
Le informazioni strategiche generali che è possibile ricavare analizzando questo grafico includono:
-
Se una funzione consuma quasi tutta l'importanza, può indicare una perdita nella destinazione ed è necessario rimuoverla. Se la causa è dovuta a problemi legati alla qualità dei dati, sarà anche necessario correggerli.
-
Alcune funzioni potrebbero avere un impatto minimo o inesistente sulle previsioni del modello. Le funzioni con importanza della permutazione estremamente bassa possono essere considerate come rumore statistico e dovrebbero essere rimosse.
Se si utilizza l'ottimizzazione intelligente del modello per addestrare la versione, alcuni dei problemi comuni descritti sopra potrebbero essere risolti automaticamente eliminando le funzioni.
Per maggiori informazioni sull'importanza della permutazione, vedere Nozioni sull'importanza della permutazione.
Grafico Importanza SHAP
Il grafico Importanza SHAP fornisce un altro modo per analizzare l'influenza di ogni funzione nell'esperimento ha sulle previsioni di ogni modello. Il grafico può fornire informazioni tempestive su quali funzioni sono importanti o se è necessario riconfigurare l'addestramento. Per ulteriori informazioni, vedere Nozioni sull'importanza SHAP nell'addestramento dell'esperimento.
Interpretazione delle visualizzazioni sul punteggio dei modelli
Per alcuni tipi di modello, sono disponibili visualizzazioni aggiuntive per mostrare una panoramica di quanto bene il modello si comporta.
Classificazione binaria
Se l'esperimento è un problema di classificazione binaria, viene generata automaticamente una serie di visualizzazioni per l'utilizzo rapido. Queste visualizzazioni offrono maggiori informazioni dettagliate sulla qualità delle previsioni generate dal modello per le classi positive e negative.
Per ulteriori informazioni sull'analisi dei modelli con queste visualizzazioni, vedere Valutazione dei modelli di classificazione binaria.
Matrice di confusione
Il grafico Matrice di confusione mostra l'accuratezza delle previsioni create dal modello. Le previsioni vengono eseguite sui dati di controllo automatico.
Curva ROC
Il grafico Curva ROC descrive la qualità delle previsioni generate dal modello per le classi positive quando il risultato effettivo è positivo.
Per un'indicazione sull'aspetto ideale di una curva ROC, vedere AUC e curva ROC.
Serie temporale
Per i modelli di serie temporali, il grafico Errore di previsione nella finestra di previsione viene generato automaticamente per fornire informazioni sull'accuratezza della previsione. È possibile visualizzare il tasso di errore di previsione per ogni passo temporale nella finestra di previsione. I tassi di errore sono suddivisi in cinquantesimo, decimo e novantesimo percentile.