Datos reservados y validación cruzada
Uno de los mayores desafíos en el análisis predictivo está en saber cómo se desempeñará un modelo entrenado con datos que nunca antes había visto. Dicho de otra manera, qué tal aprende el modelo patrones verdaderos en comparación con simplemente haber memorizado los datos de entrenamiento. Los datos reservados y la validación cruzada son técnicas efectivas para asegurarse de que su modelo no solo esté memorizando, sino que de verdad esté aprendiendo patrones generalizados.
Modelos de prueba para memorización versus generalización
Preguntar qué tal funcionará un modelo en el mundo real es equivalente a preguntar si el modelo memoriza o generaliza. La memorización es la capacidad de recordar perfectamente lo que sucedió en el pasado. Si bien un modelo que memoriza puede tener puntuaciones altas cuando se entrena inicialmente, la precisión predictiva disminuirá significativamente cuando se aplique a nuevos datos. En cambio, queremos un modelo que generalice. La generalización es la capacidad de aprender y aplicar patrones generales. Al aprender los verdaderos patrones más amplios de los datos de entrenamiento, un modelo generalizado podrá hacer predicciones de la misma calidad sobre nuevos datos que no ha visto antes.
Datos reservados o de retención automática
Una retención es un conjunto de datos seleccionados aleatoriamente que se reservan aparte u "ocultan" del modelo mientras este se entrena y luego se utilizarán para calificar el modelo. La retención simula cómo se desempeñará el modelo en predicciones futuras mediante la generación de métricas de precisión sobre datos que no se usaron en el entrenamiento. Es como si construyéramos un modelo, lo implementáramos y estuviéramos supervisando sus predicciones en relación con lo que realmente sucedió, sin tener que esperar para observar esas predicciones.
El conjunto de datos se divide en datos de entrenamiento y datos reservados
Validación cruzada
La práctica de la validación cruzada supone tomar un conjunto de datos y dividirlo aleatoriamente en un número par de segmentos, llamados pliegues. El algoritmo de aprendizaje automático está entrenado en todos menos un pliegue. Luego, la validación cruzada prueba cada pliegue contra un modelo entrenado en todos los demás pliegues. Esto significa que cada modelo entrenado se prueba en un segmento de los datos que nunca antes se había visto. El proceso se repite con un pliegue diferente que se oculta durante el entrenamiento y luego se prueba hasta que todos los pliegues se hayan usado exactamente una vez como prueba y se hayan entrenado durante cada iteración.
Los datos de entrenamiento se dividen en cinco pliegues. Durante cada iteración, se reserva un pliegue diferente para utilizarlo como datos de prueba.
El resultado de la validación cruzada es un conjunto de métricas de prueba que brindan un pronóstico razonable de la precisión con la que el modelo entrenado podrá predecir datos que nunca antes había visto.
¿Cómo funcionan la retención automática y la validación cruzada?
AutoML utiliza una validación cruzada quíntuple durante el entrenamiento del modelo para simular el rendimiento del modelo. Luego, el modelo se prueba con una retención aparte, distinta de los datos de entrenamiento. Esto genera métricas de puntuación que le permiten evaluar y comparar qué tal funcionan los diferentes algoritmos.
-
Antes de que comience el entrenamiento de su experimento, todos los datos en su conjunto de datos que tienen un objetivo no nulo se mezclan aleatoriamente. El 20 por ciento de su conjunto de datos se extrae como datos reservados. El 80 por ciento restante del conjunto de datos se utiliza para entrenar el modelo con validación cruzada.
-
Para prepararse para la validación cruzada, el conjunto de datos se divide en cinco partes (pliegues) al azar. Luego, el modelo se entrena cinco veces, reteniendo (ocultando) cada vez una quinta parte diferente de los datos, para probar cómo funciona el modelo. Las métricas de entrenamiento se generan durante la validación cruzada y son el promedio de los valores calculados.
-
Después del entrenamiento, el modelo se aplica a los datos reservados. Debido a que el modelo no ha visto los datos reservados durante el entrenamiento, a diferencia de los datos de validación cruzada, es ideal para validar el rendimiento del entrenamiento del modelo. Las métricas de retención se generan durante esta evaluación final del modelo.
Para obtener más información sobre las métricas utilizadas para analizar el rendimiento del modelo, consulte Revisar los modelos.
Los datos de entrenamiento se utilizan durante la validación cruzada quíntuple para generar un modelo. Después del entrenamiento, el modelo se evalúa utilizando los datos reservados.
