Esecuzione di analisi rapide dei modelli

Una volta completato l'addestramento dei modelli per una versione dell'esperimento, eseguire l'analisi delle metriche più importanti del modello e accedere a un riepilogo della modalità in cui i dati di addestramento sono stati elaborati. L'analisi rapida viene eseguita nelle schede Dati e Modelli.

Utilizzare la scheda Modelli per una panoramica dei risultati dell'addestramento. Quando si esegue una versione dell'esperimento, si passa automaticamente alla scheda Modelli. Si consiglia anche di andare nuovamente la scheda Dati per esaminare il modo in cui i dati vengono pre-elaborati e gestiti.

Sono disponibili opzioni aggiuntive per l'ulteriore valutazione dei modelli. È possibile confrontare ulteriori metriche e iperparametri tra i modelli o concentrarsi su un modello specifico per l'analisi granulare. Queste opzioni sono disponibili nelle schede Confronta e Analizza. Per ulteriori informazioni, vedere:

• Confronto dei modelli

• Esecuzione di analisi dettagliate dei modelli

Nozioni sui concetti

Può essere utile avere una comprensione basilare dei concetti alla base dell'analisi dei modelli prima di iniziare a valutarli. Per ulteriori informazioni, vedere Nozioni sui concetti per la verifica dei modelli.

Impatto delle impostazioni dell'ottimizzazione sull'analisi

L'esperienza dell'analisi può essere leggermente differente, dipendendo se si utilizza l'ottimizzazione intelligente dei modelli o meno. L'ottimizzazione Intelligente dei modelli è attiva per impostazione predefinita per i nuovi esperimenti.

Analisi di modelli addestrati con l'ottimizzazione intelligente

Per impostazione predefinita, i nuovi esperimenti vengono eseguiti con l'ottimizzazione intelligente dei modelli.

L'ottimizzazione intelligente dei modelli fornisce un processo di addestramento più affidabile che, idealmente, crea un modello pronto per la distribuzione con poche o nessuna modifica. La qualità delle prestazioni di questi modelli, quando sono distribuiti per i casi di utilizzo legati alla produzione, dipende in ogni caso dall'addestramento con set di dati di qualità elevata che includono funzioni e dati rilevanti.

Se la versione viene addestrata con l'ottimizzazione intelligente dei modelli, considerare quanto segue:

• Ogni modello nella versione può avere una selezione di funzioni differente, a seconda della modalità in cui l'algoritmo analizza i dati.

• Dalla scheda Modelli, leggere il Riepilogo addestramento modello per il modello prima di passare alle analisi specifiche. Il Riepilogo addestramento modello mostra una sintesi di come AutoML ha ottimizzato automaticamente il modello ripetendo la selezione delle funzioni e applicando trasformazioni avanzate.

Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .

Analisi di modelli addestrati senza l'ottimizzazione intelligente

In alternativa, è possibile disattivare l'ottimizzazione intelligente dei modelli per la versione dell'addestramento. L'ottimizzazione manuale dei modelli può essere utile se è necessario esercitare un maggiore controllo sul processo di addestramento.

Se si utilizza l'ottimizzazione manuale, tutti i modelli nella versione avranno la stessa selezione di funzioni, quindi l'opzione Riepilogo addestramento modello non è necessaria.

Controllo della configurazione

Durante il processo di pre-elaborazione, alcune funzioni potrebbero essere escluse dall'addestramento. Questo in genere accade perché, con la progressione dell'addestramento, si dispone di un maggior numero di informazioni rispetto a prima dell'esecuzione della versione.

Dopo aver controllato il Riepilogo addestramento modello (opzione che viene mostrata con l'ottimizzazione intelligente), è possibile esaminare più approfonditamente la configurazione dell'esperimento in caso fosse necessario verificare queste ultime modifiche.

Procedere come indicato di seguito:

1. Nell'esperimento, andare alla scheda Dati.

2. Assicurarsi di utilizzare la vista Schema.

3. Utilizzare il menu a discesa nella barra degli strumenti per selezionare un modello dalla versione.

4. Analizzare lo schema del modello. Potrebbe essere consigliabile concentrarsi sulle colonne Informazioni strategiche e Tipo di funzione per verificare se determinate funzioni sono state rimosse o se sono state trasformate in un tipo di funzione differente.

   Per esempio, è possibile che la funzione inizialmente contrassegnata come Testo libero possibile sia stata esclusa dopo l'esecuzione della versione.

   Per maggiori informazioni sul significato di ogni informazione strategica, vedere Interpretazione delle informazioni strategiche di un set di dati.

Notare che, se si esegue la versione con l'opzione di ottimizzazione intelligente predefinita, ogni modello nella versione potrebbe avere una diversa selezione di funzioni, a seguito dell'ottimizzazione automatica. Se la versione viene eseguita senza l'ottimizzazione intelligente, la selezione di funzioni rimarrà la stessa per tutti i modelli nella versione. Per ulteriori informazioni sull'ottimizzazione intelligente dei modelli, vedere Ottimizzazione intelligente del modello .

In base ai risultati riscontrati in questa configurazione, potrebbe essere necessario tornare alla fase di preparazione del set di dati per migliorare i dati delle funzioni.

Se si disattiva l'ottimizzazione intelligente del modello, l'opzione Riepilogo addestramento modello non verrà visualizzata per l'analisi rapida. Inoltre, tutti i modelli da una versione dell'esperimento utilizzeranno le stesse combinazioni di funzioni, mentre i modelli addestrati con l'ottimizzazione intelligente possono avere combinazioni di funzioni differenti.

Selezione di un modello

Una volta completato l'addestramento, il modello più performante viene selezionato automaticamente per l'analisi e vengono visualizzate le metriche per quel modello. Il modello più performante per ogni versione dell'esperimento è contrassegnato con l'icona .

Visualizzare i diversi modelli per confrontare le differenze relative a metriche e configurazione. Se si utilizza la scheda Dati, utilizzare il menu a comparsa nella barra degli strumenti per selezionare un modello. Se si utilizza la scheda Modelli, fare clic su un modello nella tabella Metriche modello per selezionarlo.

Analisi del riepilogo dell'addestramento

Per i modelli addestrati con l'ottimizzazione intelligente del modello, l'opzione Riepilogo addestramento modello delinea le informazioni chiave sulle fasi dell'addestramento. Il riepilogo include i seguenti dati:

• Il rapporto di campionamento per quel modello.

• Un elenco delle funzioni eliminate automaticamente come risultato dell'ottimizzazione intelligente. L'elenco varia a seconda del modello selezionato.

• Un collegamento al training set.

L'opzione Riepilogo addestramento modello non viene visualizzata si sceglie di ottimizzare i modelli manualmente.

Per ulteriori informazioni sull'ottimizzazione intelligente del modello, vedere Ottimizzazione intelligente del modello .

Il riepilogo dell'addestramento del modello non elenca le funzioni che sono state eliminate durante la fase di pre-elaborazione. Per verificare queste informazioni, tornare alla scheda Dati dell'esperimento. Vedere: Controllo della configurazione

Procedere come indicato di seguito:

1. Nell'esperimento, andare alla scheda Modelli.

2. Confermare di aver selezionato il modello che si desidera analizzare.

3. Nella sezione Informazioni strategiche modello nella parte destra del modello, esaminare Riepilogo addestramento modello.

Analisi della tabella Metriche modello

La tabella Metriche modello fornisce informazioni di alto livello sulle prestazioni di ogni modello nell'esperimento. È possibile visionare la tabella nella scheda Modelli.

Quando si utilizza la scheda Modelli, la tabella Metriche modello consente anche di selezionare un modello da analizzare.

La tabella Metriche modello mostra le seguenti informazioni:

• Se il modello è il più performante per la sua versione

• Il nome di ogni modello (è possibile modificare questa voce per comodità. Vedere: Modifica dei dettagli del modello)

• L'algoritmo utilizzato per addestrare il modello

• I valori per il punteggio più importante per le prestazioni del modello, a seconda del tipo di modello definito nella destinazione dell'esperimento:

  • Modelli di classificazione binaria: F1.

    F1

  • Modelli di classificazione multiclasse: F1 macro.

    Macro F1

  • Modelli di regressione: R2.

    R2

  Per maggiori informazioni sul tipo di modelli addestrati nell'esperimento, vedere Determinazione del tipo di modello creato.

Filtraggio dei modelli nella tabella

È possibile filtrare la tabella Metriche in modo da visualizzare solamente i modelli che si desidera confrontare.

Sono disponibili i seguenti filtri che è possibile combinare in base alle necessità:

• Versione: selezionare una o più versioni dell'esperimento.

• Algoritmo: selezionare uno o più algoritmi.

• Migliori performer: mostra i modelli più performanti di tutte le versioni (contrassegnati con l'icona ). Filtro disponibile in Più filtri modello.

• Campionamento del 100%: questo filtro viene applicato per impostazione predefinita. Se si desidera, è possibile rimuoverlo. Questo filtro mostra i modelli che hanno utilizzato l'intero training set per completare l'addestramento e il processo di convalida incrociata. Filtro disponibile in Più filtri modello.

• Distribuito: mostra i modelli distribuiti nelle distribuzioni di ML. Filtro disponibile in Più filtri modello.

Come interpretare le visualizzazioni sull'importanza delle funzioni

Nella scheda Modelli, scorrere verso il basso per vedere le visualizzazioni sull'importanza delle funzioni. Queste sono Importanza della permutazione e Importanza SHAP.

Grafico Importanza della permutazione

Il grafico Importanza della permutazione mostra l'importanza di ogni funzione per le prestazioni di previsione generali del modello. I valori visualizzati nel grafico Importanza della permutazione possono aiutare a comprendere come affinare i modelli.

Le informazioni strategiche generali che è possibile ricavare analizzando questo grafico includono:

• Se una funzione consuma quasi tutta l'importanza, può indicare una perdita nella destinazione ed è necessario rimuoverla. Se la causa è dovuta a problemi legati alla qualità dei dati, sarà anche necessario correggerli.

  Perdita di dati

• Alcune funzioni potrebbero avere un impatto minimo o inesistente sulle previsioni del modello. Le funzioni con importanza della permutazione estremamente bassa possono essere considerate come rumore statistico e dovrebbero essere rimosse.

 Se si utilizza l'ottimizzazione intelligente del modello per addestrare la versione, alcuni dei problemi comuni descritti sopra potrebbero essere risolti automaticamente eliminando le funzioni.

Per maggiori informazioni sull'importanza della permutazione, vedere Nozioni sull'importanza della permutazione.

Grafico Importanza SHAP

Il grafico Importanza SHAP fornisce un altro modo per analizzare l'influenza di ogni funzione nell'esperimento ha sulle previsioni di ogni modello. Il grafico può fornire informazioni tempestive su quali funzioni sono importanti o se è necessario riconfigurare l'addestramento. Per ulteriori informazioni, vedere Nozioni sull'importanza SHAP nell'addestramento dell'esperimento.

Interpretazione delle visualizzazioni sul punteggio dei modelli

Se l'esperimento è un problema di classificazione binaria, viene generata automaticamente una serie di visualizzazioni per l'utilizzo rapido. Queste visualizzazioni offrono maggiori informazioni dettagliate sulla qualità delle previsioni generate dal modello per le classi positive e negative.

Per ulteriori informazioni sull'analisi dei modelli con queste visualizzazioni, vedere Valutazione dei modelli di classificazione binaria.

Matrice di confusione

Il grafico Matrice di confusione mostra l'accuratezza delle previsioni create dal modello. Le previsioni vengono eseguite sui dati di controllo automatico.

Matrice di confusione

Curva ROC

Il grafico Curva ROC descrive la qualità delle previsioni generate dal modello per le classi positive quando il risultato effettivo è positivo.

Per un'indicazione sull'aspetto ideale di una curva ROC, vedere AUC e curva ROC.