Evaluar el rendimiento del modelo a lo largo del tiempo

Tras haber entrenado varios modelos de aprendizaje automático e implementado el mejor, empezará a crear predicciones sobre los datos de producción. Es importante evaluar continuamente el rendimiento de su modelo para asegurarse de que sigue generando predicciones fiables y de que los datos con los que se entrenó siguen siendo relevantes.

Factores que es importante vigilar

Necesidades operativas

Es probable que su uso predictivo cambie con el tiempo. Los cambios pueden ser sutiles o significativos. Tendrá que evaluar si su modelo sigue aportando valor con su configuración actual. Si su pregunta de aprendizaje automático ha cambiado sustancialmente desde que entrenó por primera vez sus modelos, se recomienda que vuelva a iniciar el proceso de definición de su pregunta y del conjunto de datos.

Datos de entrada y exactitud de la predicción

Es habitual que las distribuciones y tendencias de los datos de entrada cambien con el tiempo. Lo que antes era una cualidad definitoria de sus datos de entrenamiento puede que ya no sea relevante, o que su impacto sea aún mayor. Puede que descubra que hay nuevas variables que afectan a los resultados previstos y que deben introducirse en su modelo como nuevas características. En la misma línea, puede que ciertas características ya no contribuyan lo suficiente a los resultados como para incluirlas en el modelo.

Es importante que controle la cantidad de deriva entre sus datos de entrenamiento iniciales y los últimos datos disponibles. Si la deriva de determinadas características empieza a alcanzar un umbral que ya no es aceptable, es hora de recopilar nuevos datos y volver a entrenar su modelo, o empezar con una nueva definición de su problema de aprendizaje automático. Para más detalles sobre la deriva de datos, consulte Deriva de datos.

Además, si observa que el modelo ya no predice con la exactitud con la que lo hacía inicialmente, deberá volver a evaluar qué debe cambiar para que vuelva a tener un rendimiento aceptable. Por ejemplo, puede descubrir que la exactitud del modelo se está viendo afectada por errores que se producen durante el proceso de recopilación de datos.

Reentrenamiento de modelos

A medida que disponga de más datos históricos, e independientemente de que su rendimiento haya disminuido, es inevitable que tenga que volver a entrenar sus modelos para que reflejen la información más actualizada.

Seguimiento de la deriva de los datos

AutoML dispone de funciones integradas que le ayudarán a detectar la deriva de características en los modelos implementados. Para más información, vea Controlar la deriva de los datos en los modelos implementados.

Siguientes pasos

Dependiendo de lo mucho que hayan cambiado sus casos de uso y los datos de entrada, puede que desee considerar una o más de las siguientes opciones:

• Vuelva a entrenar los modelos dentro del mismo experimento, con nuevos datos. Si su problema de aprendizaje automático no ha cambiado sustancialmente, esta opción ofrece varias ventajas. En concreto, puede comparar en detalle modelos de todas las versiones del experimento dentro del mismo experimento. Para más información, vea Cambiar o actualizar el conjunto de datos.

• Si el problema original de aprendizaje automático que definió inicialmente ya no es relevante, puede que tenga sentido crear un experimento totalmente nuevo. Esto depende en gran medida de su caso de uso.