Ottimizzazione intelligente del modello
L'ottimizzazione intelligente del modello fornisce il miglioramento automatico dei modelli da addestrare in un esperimento. Con l'ottimizzazione intelligente del modello, il processo di iterazione della selezione delle funzioni e di applicazione delle trasformazioni avanzate ai dati viene gestito per l'utente. Se si utilizza un training set completo che include tutte le funzionalità rilevanti, si può prevedere che l'ottimizzazione intelligente del modello addestri modelli pronti per la distribuzione con una sola versione.
Che cos'è l'ottimizzazione intelligente del modello?
L'ottimizzazione intelligente del modello automatizza molti aspetti del processo di miglioramento del modello. Grazie all'ottimizzazione intelligente del modello, è possibile addestrare rapidamente modelli di alta qualità senza dover affinare manualmente la selezione delle funzioni o regolare i dati di input.
Utilizzo dell'ottimizzazione intelligente del modello
L'ottimizzazione intelligente del modello è attiva per impostazione predefinita nei nuovi esperimenti di ML. È possibile attivarla o disattivarla per ogni versione dell'esperimento eseguita.
Una volta eseguita una versione dell'esperimento con l'ottimizzazione intelligente attiva, è possibile visualizzare i risultati dell'ottimizzazione nel Riepilogo addestramento modello. Il riepilogo viene mostrato nella scheda Modelli alla voce Informazioni strategiche modello. Posizionare il cursore sui termini sottolineati per visualizzare un suggerimento a comparsa con una descrizione dettagliata.
Il Riepilogo addestramento modello è differente per ogni modello addestrato in una versione dell'esperimento.
Il grafico Riepilogo addestramento modello per un modello, mostrato nella scheda Modelli
Funzionamento dell'ottimizzazione intelligente del modello
Con l'ottimizzazione intelligente del modello è possibile fare quanto segue:
Addestrare più modelli che con l'ottimizzazione manuale. Gestire la selezione delle funzioni a livello del modello. Ciò significa che, a differenza dell'ottimizzazione manuale, ogni modello in una versione può disporre di una selezione di funzioni differenti.
Oltre alla preelaborazione automatica applicata a tutti i modelli per impostazione predefinita, i dati di addestramento vengono elaborati con diverse trasformazioni avanzate. Queste trasformazioni contribuiscono a garantire che i dati dell'utente siano in un formato ottimale per gli algoritmi di machine learning.
Per il controllo di qualità, un modello di base, ossia un modello addestrato utilizzando l'intero set di funzioni configurato per la versione, è ancora necessario per l'addestramento. Ciò consente di verificare se l'ottimizzazione intelligente stia, in effetti, migliorando i punteggi del modello.
Per l'addestramento di training set di dimensioni maggiori, i modelli sono addestrati su una serie di rapporti di campionamento. In questo modo, è possibile velocizzare il processo di addestramento. Per ulteriori informazioni, vedere Campionamento dei dati di addestramento.
Campionamento dei dati di addestramento
Quando si addestrano modelli con un grande volume di dati, AutoML utilizza il campionamento per addestrare i modelli una serie di sottogruppi (rapporti di campionamento) del set di dati originale. Il campionamento utilizza per velocizzare il processo di addestramento. All'inizio dell'addestramento, i modelli sono addestrati su un rapporto di campionamento di piccole dimensioni. Con l'avanzare dell'addestramento, i modelli vengono addestrati gradualmente utilizzando porzioni maggiori di dati. In ultima analisi, i modelli vengono addestrati utilizzando l'intero set di dati (un rapporto di campionamento del 100%).
Durante l'analisi dei dati di addestramento del modello, i modelli addestrati utilizzando meno del 100% del training set sono nascosti da alcune viste.
Elaborazione applicata durante l'ottimizzazione intelligente del modello
Il Riepilogo addestramento modello mostra come i dati di addestramento sono stati elaborati dall'ottimizzazione intelligente del modello. Le sezioni seguenti contengono maggiori dettagli su ciascuno degli elementi visualizzati nel registro.
Selezione funzionalità
L'ottimizzazione intelligente del modello consente di affinare i modelli eliminando le funzioni che possono limitare le prestazioni predittive. Durante l'ottimizzazione intelligente del modello, una funzione può essere eliminata per una delle seguenti ragioni:
Perdita nella destinazione: si sospetta che la funzione sia interessata da una perdita nella destinazione. Le funzioni interessate dalla perdita di dati nella destinazione includono le informazioni nella colonna di destinazione che si desidera prevedere. Per esempio, la funzione è derivata direttamente dalla destinazione, oppure include informazioni che non erano note al momento della previsione. Le funzioni che causano una perdita di informazioni nella destinazione possono fornire un falso senso di sicurezza sulle prestazioni del modello. Nelle previsioni reali, possono determinare prestazioni molto negative da parte del modello.
Importanza della permutazione bassa: la funzione non ha molta o nessuna influenza sulle previsioni del modello. La rimozione di queste funzioni migliora le prestazioni del modello riducendo il rumore statistico.
Correlazione elevata: la funzione ha una correlazione elevata con una o molte altre funzioni nell'esperimento. Le funzioni che hanno una correlazione troppo elevata non sono adatte per l'utilizzo nell'addestramento dei modelli.
Nella scheda Dati nell'esperimento, è possibile visualizzare le informazioni strategiche sulle funzioni eliminate per ogni modello. Le Informazioni strategiche riportano anche le funzioni che sono state eliminate al di fuori del processo di ottimizzazione intelligente del modello. Per saperne di più su ogni informazione strategica, vedere Interpretazione delle informazioni strategiche di un set di dati.
Trasformazioni delle funzioni
L'ottimizzazione intelligente del modello applica una serie di trasformazioni tecniche a livello di funzioni. Queste trasformazioni elaborano i dati di addestramento in modo che possano essere utilizzati in modo più efficiente per creare un modello di machine learning affidabile. Le trasformazioni delle funzioni vengono applicate automaticamente, in base alle necessità. Nel Riepilogo addestramento modello, l'utente riceve una notifica quando vengono applicate le trasformazioni delle funzioni e le funzioni interessate.
Trasformazioni di potenza
I dati delle funzioni spesso contengono naturalmente distribuzioni con un certo grado di asimmetria e deviazione da una distribuzione normale. Prima di addestrare un modello, può essere utile applicare l'elaborazione dei dati per normalizzare le distribuzioni dei valori se appaiono eccessivamente asimmetriche. Questa elaborazione consente di ridurre le distorsioni e a identificare gli outlier.
Con l'ottimizzazione intelligente del modello, le funzioni numeriche che superano una specifica soglia di asimmetria vengono trasformate per avere una distribuzione più normale (o simile alla norma) utilizzando le trasformazioni di potenza. In particolare, viene utilizzata la trasformazione di potenza di Yeo-Johnson.
Partizionamento di funzioni numeriche
Alcune funzioni numeriche possono contenere motivi e distribuzioni che non sono facilmente gestibili dagli algoritmi di machine learning. Con l'ottimizzazione intelligente del modello, questo problema viene risolto in parte organizzando i dati di specifiche funzioni numeriche in diversi partizionamenti a seconda degli intervalli di valore. Il partizionamento viene eseguito in modo che le funzioni possano essere trasformate in funzioni categoriche.
Una volta completato il partizionamento, le nuove funzioni categoriche sono one-hot encoded e vengono utilizzate in fase di addestramento. Per altri dettagli sulla codifica one-hot encoding, vedere Codifica categoriale.
Rilevamento e gestione delle anomalie
Le anomalie sono valori di dati che non rientrano nell'intervallo previsto. Non è raro individuare degli outlier nei dati di addestramento. Alcune anomalie potrebbero anche essere auspicabili come un modo per riflettere le possibilità delle situazioni reali. In altri casi, le anomalie possono interferire con la capacità di addestrare un modello affidabile.
Con l'ottimizzazione intelligente del modello, AutoML identifica le potenziali anomalie. Le righe in cui compaiono i valori outlier vengono quindi gestite con un sistema di ponderazione basato su algoritmo. Se si ritiene fermamente che un valore sia un'anomalia, il sistema di ponderazione riduce l'influenza che la riga corrispondente nei dati di addestramento ha sul modello.
Una volta concluso l'addestramento del modello, si riceve una notifica con la percentuale di righe del training set originale che sono state trattate come dati anomali.
Per ulteriori informazioni, vedere Rilevamento e gestione delle anomalie.
Disattivazione dell'ottimizzazione intelligente
Una volta disattivata l'ottimizzazione intelligente, è possibile migliorare l'addestramento manualmente. L'ottimizzazione manuale può essere utile se è necessario esercitare un maggiore controllo sul processo di addestramento. In particolare, se si desidera, è possibile eseguire una versione con l'ottimizzazione intelligente del modello, quindi disattivarla se è necessario apportare una piccola serie di regolazioni manuali.
Procedere come indicato di seguito:
In un esperimento, fare clic su
Visualizza configurazione.Viene visualizzato il pannello di configurazione dell'esperimento.
Se si è già eseguita almeno una versione dell'esperimento, fare clic su Nuova versione.
Nel pannello, espandere Ottimizzazione modello.
Passare da Intelligente a Manuale.
Considerazioni
Quando si utilizza l'ottimizzazione intelligente del modello, considerare quanto segue:
L'utilizzo dell'ottimizzazione intelligente del modello non garantisce che l'addestramento genererà modelli di qualità elevata. Anche la preparazione del set di dati e le fasi della configurazione dell'esperimento sono essenziali per generare modelli affidabili. Se non si dispone di un set di dati preparato in modo accurato, oppure se la configurazione manca di funzioni chiave, il buon funzionamento dei modelli non è garantito nei casi di utilizzo per la produzione. Per maggiori informazioni su queste fasi, vedere:
Quando l'ottimizzazione intelligente del modello è attiva per una versione, ogni modello generato da questa versione avrà un set di funzioni incluse separate. D'altra parte, tutti i modelli generati da una versione addestrati con l'ottimizzazione manuale avranno lo stesso set di funzioni incluse.
L'ottimizzazione intelligente del modello utilizza solo le funzioni e gli algoritmi inclusi nella configurazione per la versione.
Ottimizzazione degli iperparametri
L'ottimizzazione degli iperparametri non è disponibile quando è attiva l'ottimizzazione intelligente del modello. Per attivare l'ottimizzazione degli iperparametri, è necessario impostare l'ottimizzazione del modello su Manuale.
Per ulteriori informazioni, vedere Ottimizzazione degli iperparametri.
Esempio
Per un esempio che dimostra i vantaggi dell'ottimizzazione intelligente del modello, vedere Esempio: addestramento di modelli con machine learning automatizzato.