Avaliando o desempenho de modelo ao longo do tempo

Depois de ter treinado vários modelos de aprendizado de máquina e implementado o melhor, você começará a criar previsões nos dados de produção. É importante avaliar continuamente o desempenho do seu modelo para garantir que ele ainda esteja gerando previsões confiáveis e que os dados com os quais ele foi treinado ainda sejam relevantes.

Fatores que são importantes para monitorar

Necessidades operacionais

É provável que seu uso preditivo mude com o tempo. As alterações podem ser pequenas ou significativas. Você precisará avaliar se o seu modelo ainda agrega valor com a configuração atual. Se a questão do aprendizado de máquina tiver mudado substancialmente desde o primeiro treinamento dos modelos, é recomendável reiniciar o processo de definição da questão e do conjunto de dados.

Dados de entrada e acurácia da previsão

É comum que as distribuições e as tendências dos dados de entrada mudem com o tempo. O que antes era uma qualidade definidora de seus dados de treinamento pode não ser mais relevante, ou pode ter um impacto ainda mais pronunciado. Você pode descobrir que há novas variáveis que afetam os resultados previstos e que precisam ser introduzidas no seu modelo como novos recursos. Da mesma forma, certos recursos podem não estar mais contribuindo de forma substancial o suficiente para que os resultados sejam incluídos no modelo.

É importante monitorar seus dados quanto à quantidade de desvio entre os dados de treinamento inicial e os últimos dados disponíveis. Se o desvio de determinados recursos começar a atingir um threshold que não seja mais aceitável, é hora de coletar novos dados e treinar novamente o modelo, ou começar com uma nova definição do problema de aprendizado de máquina. Para obter detalhes adicionais sobre o desvio de dados, consulte Desvio de dados.

Além disso, se você perceber que o modelo não está mais fazendo previsões com a acurácia que tinha inicialmente, é preciso reavaliar o que precisa ser alterado para que o desempenho volte a ser aceitável. Por exemplo, você pode descobrir que a acurácia do modelo está sendo afetada por erros que ocorrem durante o processo de coleta de dados.

Treinando modelos novamente

À medida que mais dados históricos se tornam disponíveis, e independentemente de seu desempenho ter diminuído, é inevitável que você precise treinar novamente seus modelos para refletir as informações mais atualizadas.

Monitorando desvio de dados

O AutoML tem uma funcionalidade integrada disponível para ajudá-lo a detectar desvios de recursos para seus modelos implementados. Para obter mais informações, consulte Monitorando o desvio de dados em modelos implementados.

Próximas etapas

Dependendo de como o seu caso de uso e os dados de entrada mudaram substancialmente, talvez você precise considerar um ou mais dos itens a seguir:

• Treine novamente os modelos dentro do mesmo experimento, com novos dados. Se seu problema de aprendizado de máquina não tiver mudado substancialmente, essa opção oferece vários benefícios. Em particular, você pode comparar modelos de todas as versões de experimentos em detalhes dentro do mesmo experimento. Para obter mais informações, consulte Alterando e atualizando o conjunto de dados.

• Se o problema original de aprendizado de máquina que você definiu inicialmente não for mais relevante, talvez faça sentido criar um novo experimento. Isso depende muito de seu caso de uso.