Selezione del modello migliore per i propri casi d'uso

Il modello migliore

In base ai filtri impostati, il modello migliore viene selezionato automaticamente per l'analisi. Il modello migliore è evidenziato con l'icona .

In Qlik Predict, il modello migliore viene determinato in base a un calcolo equilibrato che tiene conto sia delle metriche di accuratezza che della velocità di previsione.

Per determinare il modello migliore, viene eseguito automaticamente il seguente processo:

1. Selezionare il modello con il punteggio più alto per la metrica delle prestazioni predittiva determinata dal tipo di modello. Le metriche utilizzate sono:

   • Classificazione binaria: F1

   • Classificazione multiclasse: F1 Macro.

   • Regressione: R2

   • Serie temporale: MASE (o MAE se MASE non è disponibile)

2. Utilizzando i punteggi delle prestazioni del passaggio 1, selezionare tutti i modelli che si trovano entro il cinque percento del punteggio del modello con il punteggio più alto.

3. Tra tutti i modelli selezionati, selezionare il modello con la velocità di previsione più elevata (vedere Velocità di previsione). Questo modello è il migliore.

Più accurato

È importante che il modello sia in grado di generare previsioni con un'elevata accuratezza su base costante. Sebbene F1, F1 Macro ed R2 forniscano un punteggio equilibrato che riflette in modo completo l'accuratezza del modello, potrebbero essere utili anche le metriche di accuratezza e precisione non elaborate dei modelli.

Il modello più accurato è evidenziato con l'icona . Per determinare il modello più accurato, viene eseguito automaticamente il seguente processo:

1. Selezionare il modello con il punteggio più alto per la metrica delle prestazioni predittiva determinata dal tipo di modello. Le metriche utilizzate sono:

   • Classificazione binaria: F1

   • Classificazione multiclasse: F1 macro

   • Regressione:R2

   • Serie temporale:MASE (se MASE non disponibile, selezionare il modello con il più basso MAE)

2. Utilizzando i punteggi delle prestazioni della fase 1, selezionare tutti i modelli che si trovano entro il dieci percento del punteggio del modello con il punteggio più alto.

3. A seconda del tipo di modello, viene utilizzato uno dei due percorsi seguenti:

   1. Classificazione binaria:

      • Se il set di dati di addestramento è bilanciato, selezionare il modello con il punteggio di accuratezza più elevato. Questo è il modello più accurato. Per informazioni sulle metriche specifiche utilizzate, consultare Accuratezza.

      • Se il training set non è bilanciato, selezionare il modello con il punteggio di precisione più elevato. Per informazioni sulle metriche specifiche utilizzate, consultare Precisione.

   2. Classificazione multiclasse o regressione:

      • Selezionare il modello con il punteggio di accuratezza più elevato. Vengono utilizzate le seguenti metriche di accuratezza:

        • Classificazione multiclasse: Accuratezza

        • Regressione: MAE

   3. Serie temporale: Selezionare il modello con il punteggio migliore (più basso) MAE.

Modello più veloce

Quando si sceglie un modello, potrebbe essere utile valutare la velocità con cui il modello può fornire previsioni. Il modello più veloce è evidenziato con l'icona .

La velocità di previsione determina quale sia il modello più veloce. Tuttavia, l'accuratezza predittiva dei modelli viene comunque presa in considerazione. Questo perché un modello può essere in grado di generare previsioni rapidamente, ma deve anche essere in grado di prevedere con un'accuratezza ragionevole.

Per determinare il modello più veloce, viene eseguito automaticamente il seguente processo:

1. Selezionare il modello con il punteggio più alto per la metrica delle prestazioni predittiva determinata dal tipo di modello. Le metriche utilizzate sono:

   • Classificazione binaria: F1

   • Classificazione multiclasse: F1 macro

   • Regressione:R2

   • Serie temporale: MASE (se MASE non disponibile, selezionare il modello con il più basso MAE)

2. A seconda del tipo di modello, viene utilizzato uno dei seguenti percorsi:

   1. Classificazione binaria:

      • Se il training set è bilanciato, selezionare tutti i modelli che hanno un punteggio di accuratezza entro il dieci percento del punteggio di accuratezza del modello selezionato al passaggio 1. Per informazioni sulla metrica specifica utilizzata, consultare Accuratezza.

      • Se il training set non è bilanciato, selezionare tutti i modelli che si trovano entro il dieci percento del punteggio del modello con il punteggio più alto al passaggio 1. Vengono utilizzate le metriche del passaggio 1.

   2. Classificazione multiclasse o regressione:

      • Selezionare tutti i modelli che hanno un punteggio di accuratezza entro il dieci percento del punteggio di accuratezza del modello al passaggio 1. Vengono utilizzate le seguenti metriche di accuratezza:

        • Classificazione multiclasse: Accuratezza

        • Regressione: MAE

   3. Serie temporali: Selezionare tutti i modelli entro il dieci percento del MAE punteggio del modello dal passaggio 1.

3. Tra tutti i modelli selezionati, selezionare il modello con la velocità di previsione più elevata (vedere Velocità di previsione). Questo modello è il più veloce.

Considerazioni

La velocità di previsione misurata si basa sulle dimensioni del training set, piuttosto che sui dati su cui vengono effettuate le previsioni. Dopo aver distribuito un modello, è possibile notare differenze tra la velocità di creazione delle previsioni se i dati di addestramento e di previsione differiscono notevolmente in termini di dimensioni, o quando si creano previsioni in tempo reale su una o poche righe di dati.

L'overfitting si verifica quando il comportamento predittivo di un modello viene mappato troppo da vicino al training set. Quando un modello è soggetto a overfitting, probabilmente ha memorizzato solo i modelli del training set e non sarà in grado di prevedere con precisione i valori futuri.

L'overfitting può avere diverse cause, tra cui problemi legati agli algoritmi di addestramento o training set troppo brevi o complessi.

In Qlik Predict, l'overfitting viene identificato automaticamente attraverso un'analisi dei risultati di prova dell'addestramento per tutte le metriche utilizzate nel processo di selezione del modello migliore, ad eccezione della velocità di previsione:

• Modelli di classificazione binaria: F1Accuratezza (dati bilanciati), (dati non bilanciati) Precisione

• Modelli di classificazione multiclasse: F1 macro, Accuratezza

• Modelli di regressione: R2, MAE

Se c'è una differenza superiore al dieci per cento tra una qualsiasi di queste metriche quando si confrontano i risultati del test e dell'addestramento, il modello potrebbe essere soggetto a overfitting.

Se si sospetta che un modello sia soggetto a overfitting, non viene mai presentato come modello consigliato, anche se ottiene un buon punteggio. Il modello è contrassegnato da un avviso nella tabella Metriche modello.

Se tutti i modelli mostrati nei filtri possono essere soggetti a overfitting, non vengono mostrate raccomandazioni per i modelli.