Revisione e perfezionamento dei modelli

Al termine della prima versione dell'addestramento del modello, analizzare le metriche del modello risultanti e i modelli consigliati. Se sono necessarie ulteriori modifiche per perfezionare i modelli, è possibile eseguire versioni aggiuntive utilizzando l'ottimizzazione manuale del modello.

Quando si esegue la versione dell'esperimento, si viene indirizzati alla scheda Modelli, dove è possibile iniziare ad analizzare le metriche del modello risultanti. È possibile accedere a Vista schema e Vista dati tornando alla scheda Dati. Un'analisi più granulare può essere eseguita nelle schede Confronta e Analizza.

Qlik Predict migliora continuamente i suoi processi di addestramento dei modelli. Pertanto, si potrebbe notare che le metriche del modello e altri dettagli mostrati nelle immagini in questa pagina non sono identici ai propri quando si completano questi esercizi.

Analisi della tabella Metriche modello

Tornare alla scheda Modelli. Nella sezione Metriche modello, i modelli consigliati sono evidenziati in base ai requisiti di qualità comuni. Il modello migliore Trofeo è stato selezionato automaticamente per l'analisi.

Vengono forniti tre consigli dai modelli addestrati nell'esperimento. Un singolo modello può essere rappresentato in più di un consiglio. I consigli sono:

Modello migliore: il modello che bilancia al meglio le metriche di accuratezza con le prestazioni più elevate e la velocità di previsione.
Più accurato: il modello che ottiene il punteggio più alto nelle metriche di accuratezza bilanciate e grezze.
Modello più veloce: il modello che presenta la velocità di previsione più rapida, oltre a solide metriche relative all'accuratezza.

È importante scegliere il modello più adatto al proprio caso d'uso. Nella maggior parte dei casi, il Modello migliore è l'opzione più favorevole. Tuttavia, il proprio caso d'uso predittivo potrebbe richiedere specifiche particolari per la velocità di previsione o le metriche di accuratezza.

Per una panoramica approfondita su come vengono determinati i tipi di modello principali, vedere Selezione del modello migliore per i propri casi d'uso.

Tabella delle metriche del modello che mostra i modelli consigliati e le metriche chiave del modello. — Tabella Metriche modello che mostra i modelli consigliati e le metriche del modello

È possibile restringere il campo d'interesse utilizzando i filtri a discesa sopra i consigli. I tipi di modello principali vengono ricalcolati automaticamente ogni volta che si modifica il filtraggio.

Passare da una metrica principale all'altra utilizzando il selettore Mostra metrica sopra la tabella. È possibile ordinare i modelli in base al nome e alla metrica selezionata in fase di analisi.

I modelli con overfitting sono contrassegnati da un avviso Avviso nella tabella. Questi modelli non sono adatti per la distribuzione. Le cause dell'overfitting possono includere la complessità del modello introdotta dagli algoritmi di addestramento e problemi con il dataset di addestramento. Per ulteriori informazioni, vedere Sovradattamento.

Analisi del Riepilogo addestramento modello

Ora possiamo concentrarci sul Riepilogo addestramento modello sul lato destro dell'interfaccia. Questo riepilogo consente di esplorare il modo in cui il modello e i dati di addestramento di input sono stati ottimizzati per ottenere le migliori prestazioni. Il riepilogo dell'addestramento del modello è una panoramica dei miglioramenti forniti dall'ottimizzazione intelligente del modello.

Dal riepilogo nell'immagine seguente, possiamo vedere:

Le funzionalità dei dati di addestramento sono state escluse durante l'addestramento e non sono state incorporate nel modello.
Il modello ha un rapporto di campionamento del 100%.

Funzionalità esclusa a causa della perdita di target

La funzionalità DaysSinceLastService è stata esclusa durante l'addestramento a causa della perdita di target.

In questa colonna di funzionalità, non è stata definita alcuna logica durante la raccolta dei dati per interrompere il conteggio del numero di giorni trascorsi dall'ultimo ticket di assistenza di un cliente per i clienti che hanno annullato l'abbonamento. Di conseguenza, il modello potrebbe aver appreso ad associare un numero elevato di giorni trascorsi dall'ultimo ticket di assistenza (presente per i clienti che hanno annullato l'abbonamento anni fa) a un valore di yes nel campo Churned.

Questa funzionalità doveva essere rimossa dall'addestramento perché avrebbe generato un modello con prestazioni molto scarse sui nuovi dati.

Il problema di fondo è noto come perdita di target (target leakage), che è una forma di perdita di dati (data leakage). Per ulteriori informazioni sulla perdita di dati, vedere Perdita di dati.

Funzionalità escluse a causa dell'elevata correlazione

Possiamo vedere che PriorPeriodUsage-Rounded e AdditionalFeatureSpend sono stati esclusi durante l'addestramento.

In questo caso, era presente almeno una colonna di funzionalità—PriorPeriodUsage-Rounded—derivata direttamente da un'altra colonna nel dataset. Altri problemi di correlazione sono stati rilevati con AdditionalFeatureSpend.

La rimozione delle funzionalità che causano problemi di correlazione è importante per addestrare un modello di qualità.

Per ulteriori informazioni sulla correlazione, vedere Correlazione.

Funzionalità escluse a causa della bassa importanza

Diverse funzionalità sono state escluse anche a causa della bassa importanza della permutazione. Dopo un'analisi preliminare, è stato rilevato che queste funzionalità hanno un impatto molto basso sui risultati del target. Queste funzionalità possono essere considerate come rumore statistico e sono state rimosse per ottenere vantaggi in termini di qualità del modello.

Per ulteriori informazioni sull'importanza della permutazione, vedere Nozioni sull'importanza della permutazione.

Riepilogo dell'addestramento del modello in un esperimento ML che mostra come il modello è stato ottimizzato per ottenere le migliori prestazioni. — Riepilogo addestramento modello

Analisi di altre visualizzazioni nella scheda Modelli

Nella scheda Modelli sono disponibili altre visualizzazioni per un'analisi aggiuntiva di alto livello. Selezionare modelli diversi nella tabella Metriche modello per esplorare le prestazioni a livello di funzionalità e altri grafici in grado di offrire informazioni sulla qualità del modello.

Scheda 'Modelli' in un esperimento ML che mostra altre visualizzazioni disponibili per l'analisi del modello — Scheda Modelli nell'esperimento ML che mostra altre visualizzazioni disponibili per l'analisi

Confronto tra metriche di addestramento e di holdout

È possibile visualizzare metriche aggiuntive e confrontare le metriche dell'addestramento di convalida incrociata con le metriche di holdout.

Procedere come indicato di seguito:

Nell'esperimento, passare alla scheda Confronta.

Si apre un'analisi incorporata. È possibile utilizzare l'interfaccia interattiva per approfondire l'analisi comparativa del modello e scoprire nuove informazioni.
Nel pannello Fogli sul lato sinistro dell'analisi, passare al foglio Dettagli.
Osservare la visualizzazione Metriche modello. Mostra le metriche di punteggio del modello, come F1, oltre ad altre informazioni.
Nella sezione Colonne da mostrare, utilizzare la casella di filtro per aggiungere e rimuovere colonne nella tabella.
Nella casella di riepilogo a discesa, aggiungere metriche aggiuntive. I punteggi di addestramento sono disponibili per essere aggiunti alla tabella. È possibile aggiungerli in base alle esigenze della propria analisi.

Ora è possibile vedere le metriche F1 dell'addestramento di convalida incrociata e confrontarle con le metriche di holdout.

Utilizzo della scheda 'Confronta' nell'esperimento per visualizzare i punteggi di addestramento insieme ai punteggi di holdout — Aggiunta e visualizzazione dei punteggi di addestramento per il confronto con i punteggi di holdout

Concentrarsi su un modello specifico

In qualsiasi momento dell'analisi del modello, è possibile eseguire un'analisi granulare di un singolo modello. Esplorare l'accuratezza della previsione, l'importanza della funzionalità e la distribuzione della funzionalità con un'esperienza interattiva.

Procedere come indicato di seguito:

Selezionare un modello qualsiasi, quindi fare clic sulla scheda Analizza.

Si apre un'analisi incorporata.
Con il foglio Panoramica modello, è possibile analizzare l'accuratezza della previsione del modello. L'analisi è potenziata dal potere delle selezioni. Fare clic su una funzionalità o su un valore previsto per effettuare una selezione. I dati nell'analisi incorporata si adattano per filtrare i dati. È possibile eseguire il drill-down in valori e intervalli di funzionalità specifici per visualizzare come cambiano l'influenza della funzionalità e l'accuratezza della previsione.
Passando agli altri fogli, è possibile visualizzare le visualizzazioni per l'accuratezza della previsione, la distribuzione della funzionalità e la distribuzione dell'impatto (SHAP). Questo contenuto analitico può aiutare a:
- Scoprire i fattori chiave che influenzano le tendenze nei dati.
- Identificare in che modo funzionalità e coorti specifiche influiscono sui valori previsti e sull'accuratezza della previsione.
- Identificare gli outlier nei dati.

Utilizzo della scheda 'Analizza' per potenziare l'analisi con il potere delle selezioni — Scheda Analizza in un esperimento ML

Passaggi successivi

Dopo aver eseguito una versione dell'esperimento con l'ottimizzazione intelligente del modello, è possibile eseguire versioni manuali in base alle esigenze per perfezionare i modelli. Per creare rapidamente una nuova versione manuale, è possibile tornare alla scheda Modelli e fare clic su Nuova versione manuale nel Riepilogo addestramento modello.

In uno scenario reale, è importante ripetere i passaggi di perfezionamento tutte le volte necessarie prima di distribuire il modello, per garantire di disporre del miglior modello possibile per il proprio caso d'uso specifico.

Per ulteriori informazioni sul perfezionamento dei modelli, vedere Affinamento dei modelli.

In questo tutorial, passare alla sezione successiva relativa alla distribuzione del modello.

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – ti pregiamo di farcelo sapere!

Lascia qui il tuo feedback