Dados de retenção e validação cruzada

Um dos maiores desafios na análise preditiva é saber como um modelo treinado se comportará em dados que nunca viu antes. Em outras palavras, quão bem o modelo aprendeu padrões verdadeiros versus simplesmente memorizar os dados de treinamento. Dados de retenção e validação cruzada são técnicas eficazes para garantir que seu modelo não esteja apenas memorizando, mas também aprendendo padrões generalizados.

Testando modelos para memorização versus generalização

Perguntar o desempenho de um modelo no mundo real equivale a perguntar se o modelo memoriza ou generaliza. A memorização é a capacidade de lembrar perfeitamente o que aconteceu no passado. Embora um modelo que memoriza possa ter pontuações altas quando treinado inicialmente, a exatidão preditiva cairá significativamente quando aplicada a novos dados. Em vez disso, queremos um modelo que generalize. Generalização é a capacidade de aprender e aplicar padrões gerais. Ao aprender os verdadeiros padrões mais amplos dos dados de treinamento, um modelo generalizado será capaz de fazer as mesmas previsões de qualidade em novos dados que nunca viu antes.

Dados de retenção automática

Uma retenção são dados selecionados aleatoriamente que são "ocultos" do modelo durante o treinamento e, em seguida, usados para pontuar o modelo. A retenção simula o desempenho do modelo em previsões futuras, gerando métricas de exatidão nos dados que não foram usados no treinamento. É como se tivéssemos construído um modelo, implementado e monitorado suas previsões em relação ao que realmente aconteceu — sem ter que esperar para observar essas previsões.

Validação cruzada

A prática da validação cruzada é pegar um conjunto de dados e dividi-lo aleatoriamente em um número par de segmentos, chamados dobras. O algoritmo de aprendizado de máquina é treinado em todas as dobras, exceto uma. A validação cruzada então testa cada dobra em relação a um modelo treinado em todas as outras dobras. Isso significa que cada modelo treinado é testado em um segmento dos dados que nunca viu antes. O processo é repetido com uma dobra diferente sendo ocultada durante o treinamento e, em seguida, testada até que todas as dobras tenham sido usadas exatamente uma vez como teste e treinadas durante todas as outras iterações.

O resultado da validação cruzada é um conjunto de métricas de teste que fornecem uma previsão razoável da exatidão com que o modelo treinado será capaz de prever dados que nunca viu antes.

Como funciona a retenção automática e a validação cruzada

O AutoML usa validação cruzada cinco vezes durante o treinamento do modelo para simular o desempenho do modelo. O modelo é então testado em relação a uma validação separada dos dados de treinamento. Isso gera métricas de pontuação para permitir que você avalie e compare o desempenho de diferentes algoritmos.

1. Antes do início do treinamento de seu experimento, todos os dados em seu conjunto de dados que têm um alvo não nulo são embaralhados aleatoriamente. 20 por cento do seu conjunto de dados é extraído como dados de retenção. Os 80% restantes do conjunto de dados são usados para treinar o modelo com validação cruzada.

2. Para se preparar para a validação cruzada, o conjunto de dados é dividido em cinco partes — dobras — aleatoriamente. O modelo é então treinado cinco vezes, cada vez "ocultando" um quinto diferente dos dados para testar o desempenho do modelo. As métricas de treinamento são geradas durante a validação cruzada e são a média dos valores computados.

3. Após o treinamento, o modelo é aplicado aos dados de retenção. Como os dados de retenção não foram vistos pelo modelo durante o treinamento — ao contrário dos dados de validação cruzada — eles são ideais para validar o desempenho do treinamento do modelo. As métricas de retenção são geradas durante essa avaliação final do modelo.

Para obter mais informações sobre métricas usadas para analisar o desempenho do modelo, consulte Revisando modelos.