Monitoraggio della deriva dei dati nei modelli distribuiti
Nel pannello Monitoraggio della deriva dei dati nella distribuzione di ML, è possibile analizzare la deriva dei dati per il modello distribuito di origine. Il monitoraggio della deriva dei dati consente di identificare le modifiche apportate alle distribuzioni di una o più funzioni utilizzate per addestrare il modello.
Quando la deriva calcolata per una funzione supera il valore di 0,25, si consiglia di riaddestrare il modello con i dati più recenti o di configurare un nuovo modello se la domanda di machine learning originale è cambiata in modo significativo.
Analisi della deriva dei dati in AutoML
Calcoli della deriva dei dati in AutoML
In Qlik AutoML, la deriva dei dati viene calcolata tramite la formula dell'indice di stabilità della popolazione (PSI).
È possibile identificare una deriva significativa dei dati per una funzionalità osservando il relativo valore PSI. Se il valore PSI è maggiore o uguale a 0,25, considerare di addestrare nuovamente il modello o di creare un nuovo esperimento.
| Valore PSI | Descrizione |
|---|---|
| Inferiore a 0,1 | Deriva bassa |
| Superiore a 0,1 ma inferiore a 0,25 | Deriva minore |
| Maggiore o uguale a 0,25 | Deriva significativa |
Avvio di un'analisi della deriva dei dati
Procedere come indicato di seguito:
-
Aprire una distribuzione di ML.
-
Dal pannello di sinistra, selezionare Monitoraggio deriva dei dati.
-
Viene generata un'analisi incorporata. Continuare a utilizzare il foglio Feature Drift per eseguire l'analisi della deriva dei dati.
Disponibilità dell'analisi
I nuovi calcoli per la deriva dei dati non vengono generati immediatamente quando si apre un'analisi. I calcoli sulla deriva dei dati vengono generati una volta al giorno alle 16:30 UTC.
Utilizzo delle analisi integrate
Utilizzare l'interfaccia interattiva per analizzare il modello distribuito utilizzando le analisi integrate.
Passaggio da un foglio all'altro
Il pannello Fogli consente di passare tra i fogli nell'analisi. Ogni foglio ha un obiettivo specifico. È possibile espandere o comprimere il pannello in base alle esigenze.
Il foglio Feature Drift contiene tutte le informazioni sulla deriva dei dati. Se si passa al foglio Operations è possibile monitorare l'utilizzo della distribuzione di ML. Per ulteriori informazioni, vedere Monitoraggio delle operazioni del modello distribuito.
Esecuzione di selezioni
Utilizzare le selezioni per affinare i dati. È possibile selezionare le funzioni e i relativi valori o intervalli specifici e filtrare per date e intervalli di importanza specifici. In alcuni casi, può essere necessario effettuare una o più selezioni per le visualizzazioni che si desidera mostrare. Fare clic sui valori dei dati nelle visualizzazioni per effettuare le selezioni.
È possibile lavorare con le selezioni nei seguenti modi:
-
Selezionare i valori facendo clic sul contenuto, definendo gli intervalli e tramite tracciamento.
-
Cercare nei grafici per selezionare i valori.
-
Fare clic su un campo selezionato nella barra degli strumenti nella parte superiore dell'analisi incorporata. Ciò consente di cercare nelle selezioni esistenti, di bloccarle o sbloccarle e di modificarle ulteriormente.
-
Nella barra degli strumenti nella parte superiore dell'analisi incorporata, fare clic su
per rimuovere una selezione. Cancellare tutte le selezioni facendo clic sull'icona 
. -
Spostarsi avanti e indietro nelle selezioni facendo clic su
e 
.
Analisi della deriva delle funzioni e dell'importanza
Utilizzare il grafico Feature drift vs importance per analizzare la deriva delle funzioni e l'importanza della permutazione. Utilizzando i modelli di cambiamento dell'importanza è possibile identificare quando i cambiamenti nella deriva avvengono in parallelo. Visualizzando queste due metriche insieme, è possibile scoprire nuovi modelli emergenti e sviluppare una comprensione più profonda delle tendenze che interessano i dati.
Per comprendere il significato dei punteggi di deriva per le prestazioni del modello, consultare Calcoli della deriva dei dati in AutoML.
Monitoraggio della deriva della funzioni nel tempo
Nel grafico Feature drift over time, è possibile visualizzare la timeline per ogni calcolo di deriva e analizzare i cambiamenti che si sono verificati nel tempo, man mano che vengono generate nuove previsioni.
È stata aggiunta una linea di riferimento a un valore PSI di 0,25 per indicare quando una funzione indica una deriva significativa. Per maggiori informazioni sul significato dei punteggi di deriva per le prestazioni del modello, consultare Calcoli della deriva dei dati in AutoML.
Visualizzazione della distribuzione delle funzioni
Il grafico Value distribution è utile per confrontare la distribuzione dei valori per una funzione tra il training set e il set di dati utilizzato per l'ultima previsione generata con il modello. È possibile identificare quali intervalli di una funzione sono più o meno influenzati dalla deriva.
Le barre blu indicano la percentuale di valori nell'ultimo set di dati di applicazione che rientrano in ciascun intervallo. I marcatori viola a forma di cerchio mostrano la percentuale di valori nel training set che rientrano in ciascun intervallo. Se si nota una grande differenza tra l'altezza delle barre e la posizione dei marcatori, è probabile che l'intervallo sia influenzato dalla deriva.