Esecuzione di analisi dettagliate dei modelli

Nella scheda Analizza di un esperimento, è possibile concentrarsi su un unico modello per un'analisi approfondita delle prestazioni predittive. Le analisi dettagliate vengono eseguite utilizzando le analisi integrate.

Al termine dell'addestramento, selezionare un modello. Quindi, aprire la scheda Analizza per visualizzare maggiori informazioni sull'accuratezza delle previsioni del modello, sugli elementi che influenzano le tendenze nei dati e altre informazioni. I dati mostrati nella scheda Analizza si basano sulle previsioni generate dal modello rispetto ai dati di controllo automatico.

Alcuni dei vantaggi principali dell'analisi dettagliata dei modelli includono i seguenti elementi:

• Interfaccia interattiva dove è possibile affinare e personalizzare i dati della visualizzazione in base alle esigenze.

• Un esame più vicino delle previsioni realizzate in base ai dati di controllo automatico, oltre alle statistiche dell'importanza delle funzioni.

Flusso di lavoro di analisi

Per una comprensione completa dei risultati dell'addestramento del modello, si consiglia di completare un'analisi rapida, quindi di procedere con le opzioni aggiuntive nelle schede Confronta e Analizza. L'analisi rapida fornisce un Riepilogo addestramento modello che mostra le funzioni che sono state eliminate durante il processo di ottimizzazione intelligente, e fornisce inoltre un numero di visualizzazioni generate automaticamente per un consumo rapido. Le schede Confronta e Analizza non mostrano il Riepilogo addestramento modello, ma consentono di eseguire il drill-down nelle metriche del modello per una migliore comprensione della qualità dei modelli.

Per ulteriori informazioni sulle altre opzioni di analisi vedere:

• Esecuzione di analisi rapide dei modelli

• Confronto dei modelli

Nozioni sui concetti

Può essere utile avere una comprensione basilare dei concetti alla base dell'analisi dei modelli prima di iniziare a valutarli. Per ulteriori informazioni, vedere Nozioni sui concetti per la verifica dei modelli.

Impatto delle impostazioni dell'ottimizzazione sull'analisi

L'esperienza dell'analisi può essere leggermente differente, dipendendo se si utilizza l'ottimizzazione intelligente dei modelli o meno. L'ottimizzazione Intelligente dei modelli è attiva per impostazione predefinita per i nuovi esperimenti.

Analisi di modelli addestrati con l'ottimizzazione intelligente

Per impostazione predefinita, i nuovi esperimenti vengono eseguiti con l'ottimizzazione intelligente dei modelli.

L'ottimizzazione intelligente dei modelli fornisce un processo di addestramento più affidabile che, idealmente, crea un modello pronto per la distribuzione con poche o nessuna modifica. La qualità delle prestazioni di questi modelli, quando sono distribuiti per i casi di utilizzo legati alla produzione, dipende in ogni caso dall'addestramento con set di dati di qualità elevata che includono funzioni e dati rilevanti.

Se la versione viene addestrata con l'ottimizzazione intelligente dei modelli, considerare quanto segue:

• Ogni modello nella versione può avere una selezione di funzioni differente, a seconda della modalità in cui l'algoritmo analizza i dati.

• Dalla scheda Modelli, leggere il Riepilogo addestramento modello per il modello prima di passare alle analisi specifiche. Il Riepilogo addestramento modello mostra una sintesi di come AutoML ha ottimizzato automaticamente il modello ripetendo la selezione delle funzioni e applicando trasformazioni avanzate.

Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .

Analisi di modelli addestrati senza l'ottimizzazione intelligente

In alternativa, è possibile disattivare l'ottimizzazione intelligente dei modelli per la versione dell'addestramento. L'ottimizzazione manuale dei modelli può essere utile se è necessario esercitare un maggiore controllo sul processo di addestramento.

Se si utilizza l'ottimizzazione manuale, tutti i modelli nella versione avranno la stessa selezione di funzioni, quindi l'opzione Riepilogo addestramento modello non è necessaria.

Controllo della configurazione

Durante il processo di pre-elaborazione, alcune funzioni potrebbero essere escluse dall'addestramento. Questo in genere accade perché, con la progressione dell'addestramento, si dispone di un maggior numero di informazioni rispetto a prima dell'esecuzione della versione.

Dopo aver controllato il Riepilogo addestramento modello (opzione che viene mostrata con l'ottimizzazione intelligente), è possibile esaminare più approfonditamente la configurazione dell'esperimento in caso fosse necessario verificare queste ultime modifiche.

Procedere come indicato di seguito:

1. Nell'esperimento, andare alla scheda Dati.

2. Assicurarsi di utilizzare la vista Schema.

3. Utilizzare il menu a discesa nella barra degli strumenti per selezionare un modello dalla versione.

4. Analizzare lo schema del modello. Potrebbe essere consigliabile concentrarsi sulle colonne Informazioni strategiche e Tipo di funzione per verificare se determinate funzioni sono state rimosse o se sono state trasformate in un tipo di funzione differente.

   Per esempio, è possibile che la funzione inizialmente contrassegnata come Testo libero possibile sia stata esclusa dopo l'esecuzione della versione.

   Per maggiori informazioni sul significato di ogni informazione strategica, vedere Interpretazione delle informazioni strategiche di un set di dati.

Notare che, se si esegue la versione con l'opzione di ottimizzazione intelligente predefinita, ogni modello nella versione potrebbe avere una diversa selezione di funzioni, a seguito dell'ottimizzazione automatica. Se la versione viene eseguita senza l'ottimizzazione intelligente, la selezione di funzioni rimarrà la stessa per tutti i modelli nella versione. Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .

In base ai risultati riscontrati in questa configurazione, potrebbe essere necessario tornare alla fase di preparazione del set di dati per migliorare i dati delle funzioni.

Avvio di un'analisi dettagliata

È possibile avviare un'analisi dettagliata di un modello specifico in diversi modi:

• Selezionare un modello nella scheda Dati o Modelli, fare clic su accanto al modello, quindi fare clic su Analizza.

• Dopo aver selezionato un modello, fare clic sulla scheda Analizza.

• Se si sta visualizzando un'analisi dettagliata per un modello, utilizzare il menu a discesa nella barra degli strumenti per selezionare un altro modello.

Il contenuto dell'analisi dipende dal tipo di modello, definito nella destinazione dell'esperimento. Metriche differenti sono disponibili per tipi di modelli diversi.

Utilizzo delle analisi integrate

Utilizzare l'interfaccia interattiva per analizzare il modello utilizzando le analisi integrate.

Passaggio da un foglio all'altro

Il pannello Fogli consente di passare tra i fogli nell'analisi. Ogni foglio ha un obiettivo specifico. È possibile espandere o comprimere il pannello in base alle esigenze.

Esecuzione di selezioni

Utilizzare le selezioni per affinare i dati. È possibile selezionare funzioni ed eseguire il drill-down di valori e intervalli specifici. Ciò consente di completare un esame più approfondito se necessario. In alcuni casi, può essere necessario effettuare una o più selezioni per le visualizzazioni che si desidera mostrare. Fare clic sui valori dei dati nelle visualizzazioni e sulle caselle di filtro per effettuare le selezioni.

È possibile lavorare con le selezioni nei seguenti modi:

• Selezionare i valori facendo clic sul contenuto, definendo gli intervalli e tramite tracciamento.

• Cercare nei grafici per selezionare i valori.

• Fare clic su un campo selezionato nella barra degli strumenti nella parte superiore dell'analisi incorporata. Ciò consente di cercare nelle selezioni esistenti, di bloccarle o sbloccarle e di modificarle ulteriormente.

• Nella barra degli strumenti nella parte superiore dell'analisi incorporata, fare clic su per rimuovere una selezione. Cancellare tutte le selezioni facendo clic sull'icona .

• Spostarsi avanti e indietro nelle selezioni facendo clic su e .

L'analisi contiene caselle di filtro per consentire di affinare più facilmente i dati. In una casella di filtro, fare clic sulla casella di selezione di un valore per effettuare una selezione. Se la casella di filtro contiene più caselle di riepilogo, fare clic su una di queste per espanderla ed effettuare le selezioni desiderate.

Esportazione dei dati nel catalogo

È possibile esportare nel catalogo i dati utilizzati nell'analisi dettagliata. I dati vengono esportati in uno spazio in Qlik Cloud Analytics. È possibile utilizzare i dati esportati per creare le proprie app Qlik Sense per analisi personalizzate.

Per ulteriori informazioni, vedere Esportazione dei dati di addestramento del modello.

Analisi dell'accuratezza della previsione

Come si interpreta l'accuratezza delle previsioni dipende dalla struttura del training set e dal caso di utilizzo di machine learning. Inoltre, l'interpretazione di queste visualizzazioni dipende dal tipo di modello. Ulteriori informazioni vengono fornite per ogni tipo di modello nelle sezioni qui sotto.

La sezione Previsioni del foglio Panoramica modello fornisce una panoramica aggregata del numero di previsioni che il modello realizza in modo corretto e incorretto.

Utilizzando il foglio Previsioni e distribuzione funzionalità, concentrarsi su una funzione specifica per analizzare la natura delle inesattezze della previsione. Selezionare una sola funzione nella casella di filtro nella parte sinistra del foglio. Per tutti i tipi di modello, questo foglio mostra le inesattezze della previsione e la distribuzione dei valori reali una accanto all'altra, per consentire di analizzare i dati in prospettiva.

Modelli di classificazione binaria

Analisi dell'intero modello

Nella sezione Previsioni del foglio Panoramica modello, sono visualizzati i dati non elaborati nella matrice di confusione. Questa include i valori veri e falsi positivi e quelli veri e falsi negativi. Questi valori sono presentati come totali statici, quindi non rispondono alle selezioni. Per maggiori informazioni sul significato di questi valori, vedere Matrice di confusione.

Analisi di sottogruppi di dati

Nel foglio Previsioni e distribuzione funzionalità, il grafico Previsione incorretta mostra una barra per ogni valore o intervallo possibile nella funzione, con l'altezza della barra che corrisponde al numero di previsioni incorrette create dal modello. Ogni colore nella barra corrisponde a ciascuno dei valori di destinazione effettivi. Selezionare un'unica funzione, oltre ai valori da qualsiasi altro campo desiderato, per visualizzare il modo in cui l'accuratezza della previsione cambia per differenti sottogruppi di dati.

Modello di classificazione multiclasse

Analisi dell'intero modello

Nella sezione Previsioni del foglio Panoramica modello, viene visualizzato un grafico a barre per ogni valore di destinazione effettivo. L'altezza del colore di ogni colore di una barra corrisponde al numero di volte che una classe specifica viene inclusa nella previsione del modello. Oltre a questo grafico, la sezione Previsioni mostra anche una scomposizione delle previsioni corrette rispetto a quelle incorrette.

Analisi di sottogruppi di dati

Nel foglio Previsioni e distribuzione funzionalità, il grafico Previsione incorretta mostra una barra per ogni valore o intervallo possibile nella funzione, con l'altezza della barra che corrisponde al numero di previsioni incorrette create dal modello. Ogni colore nella barra corrisponde a ciascuno dei valori di destinazione effettivi.

Modelli di regressione

Per i modelli di regressione, è possibile visualizzare le seguenti informazioni sia a livello di modello che a livello di funzione:

• Valore medio previsto per la destinazione

• Valore di destinazione effettivo

• Intervalli decimo e novantesimo percentile della previsione. Queste righe mostrano gli intervalli nei quali è possibile presumere che il modello preveda un modello. La riga del novantesimo percentile includerà sempre i valori più grandi.

• Media assoluta di errore (MAE)

Per le visualizzazioni sia a livello di modello che specifiche per la funzione, analizzare le metriche insieme alla distribuzione del valore effettiva per la funzione.

Analisi dell'importanza delle funzioni

Accesso a una panoramica

L'analisi dell'importanza della funzione fornisce un'indicazione di come ogni funzione influenza le previsioni rispetto alle altre funzioni.

La sezione Impatto funzionalità del foglio Panoramica modello fornisce una panoramica aggregata dei valori SHAP medi assoluti. Questo grafico sembra lo stesso del grafico dell'Importanza SHAP nella scheda Modelli. Il grafico si aggiorna in base alle selezioni effettuate. Quando si seleziona una sola funzione, è possibile eseguire il drill-down di valori e intervalli specifici per ulteriori dettagli.

Analisi della distribuzione SHAP

È possibile anche aprire il foglio Impatto per funzionalità per ottenere una vista più completa dei valori per ogni valore o intervallo della funzione. I valori SHAP vengono presentati con la direzione, anziché i valori assoluti.

Questa analisi può aiutare a identificare modelli per coorti specifiche, oltre a individuare gli outlier nei dati. Effettuare selezioni di valori o intervalli nel grafico per filtrare i dati per un'analisi più granulare.

L'aspetto e il tipo di grafico dipende dal tipo di funzione selezionato.

Funzioni categoriali

Le funzioni categoriali sono visualizzate come un box plot. Il box plot consente di visualizzare la distribuzione di valori SHAP per ogni valore categoriale. Il box plot ha la seguente configurazione:

• mostra la media dei valori SHAP.

• Viene utilizzata la configurazione Standard (Tukey):

  • la casella per un valore viene definita dal primo quartile (limite inferiore) e dal terzo quartile (limite superiore).

  • La mediana è la riga orizzontale all'interno della casella.

• I baffi superiori e inferiori corrispondo ai imiti superiore e inferiore per 1,5 scarti interquartile.

• I valori outlier non sono visualizzati.

Funzioni numeriche

Per le funzioni numeriche, i valori SHAP sono visualizzati come un grafico a dispersione. Il grafico a dispersione ha la seguente configurazione:

• Vengono visualizzati i valori SHAP per il campione selezionato.

• L'aspetto e il funzionamento del grafico a dispersione dipendono dal numero di punti dati da visualizzare. Per i grafici con un numero basso di punti dati, sono visualizzate le bolle individuali. Per i grafici con un gran numero di punti dati, le bolle sono raccolte in blocchi, con i colori che indicano il numero di punti dati contenuti in ogni blocco.

Nel grafico a dispersione, effettuare selezioni di valori e intervalli specifici per un esame più preciso.