Ir para conteúdo principal Pular para conteúdo complementar

Revisando modelos

Para avaliar seus modelos de aprendizado de máquina, você precisa ser capaz de entender as pontuações e métricas do modelo. Em alguns casos, entender como cada campo e valor influencia o resultado previsto – por que algo acontece – pode ser mais importante do que fazer previsões.

Por que a pontuação do modelo é importante

O objetivo das diferentes pontuações do modelo é entender os pontos fortes do modelo. Isso aumentará sua confiança na usabilidade do modelo e mostrará quais melhorias podem ser feitas. Se a pontuação for muito alta ou muito baixa, isso pode indicar que há um problema com os dados que estão sendo alimentados no modelo.

Pontuar um modelo é uma tarefa desafiadora porque existem várias métricas que descrevem coisas diferentes sobre o modelo. Para saber se é um bom modelo, você precisa combinar o conhecimento do domínio de negócios com uma compreensão das várias métricas de pontuação e dados com os quais o modelo foi treinado. O que pode parecer uma pontuação ruim em um caso de uso, pode ser uma ótima pontuação e gerar um alto retorno sobre o investimento em outro caso de uso.

A métrica mais importante: Uma analogia de carro

Qual métrica é mais importante? Depende de como você planeja usar o modelo. Não existe uma única métrica que possa dizer tudo o que você deseja saber.

Como analogia, pense em comprar um carro. Há muitas métricas diferentes a serem consideradas, como eficiência de combustível, potência, torque, peso e aceleração. Podemos querer que todos sejam ótimos, mas devemos fazer concessões dependendo de como planejamos usar o carro. Um passageiro pode querer um carro com alta eficiência de combustível, mesmo que isso signifique baixo torque, enquanto o proprietário de um barco pode escolher alto torque, mesmo que isso signifique menor eficiência de combustível.

Um modelo pode ser pensado da mesma maneira. Queremos que todas as métricas sejam altas - e podemos melhorá-las com mais dados e melhores recursos - mas sempre há restrições e compensações a serem feitas. Algumas pontuações são mais importantes dependendo do que você pretende fazer com o modelo.

O modelo é adequado?

Determinar se um modelo é adequado para o caso de uso e bom para ser colocado em produção, em última análise, resume-se à pergunta: "O modelo é preciso o suficiente para gerar um retorno positivo do investimento sem consequências inaceitáveis?" As quatro perguntas a seguir podem ajudá-lo a decompô-lo.

O modelo está informando uma decisão humana ou automatizando-a?

A exatidão necessária depende se você usará o modelo para automatizar ou informar as decisões. Por exemplo, um modelo pode ser treinado para determinar quanto dinheiro os funcionários devem ganhar. Nesse caso, a exatidão provavelmente precisará ser maior se o modelo estiver automatizando a decisão em comparação com se estiver apenas informando uma decisão. Se os gerentes o usarem para descobrir se um funcionário é pago a menos ou a mais, eles podem usar seu próprio critério para determinar se o modelo está errado ou não.

Existe um custo quantificável para um falso positivo ou falso negativo?

Você é capaz de quantificar o custo de um resultado falso? Leve esse custo em consideração ao determinar o nível de exatidão necessário para considerar o modelo um bom ajuste.

Usando o mesmo exemplo acima, diga que o modelo está simplesmente informando. No entanto, o gerente confia no modelo e não dá um aumento de salário a um funcionário porque o modelo mostra que o funcionário seria pago a mais se um aumento fosse concedido. O funcionário então pede demissão para trabalhar em outro lugar. Qual foi o custo de perder esse funcionário? Se acontecesse o inverso, qual teria sido o custo de dar um aumento falso?

Quão melhor é o modelo do que aleatório?

Para problemas de regressão, determine qual seria o erro se você sempre assumisse o valor médio da coluna alvo. Quão melhor é o modelo em comparação com isso?

Para problemas de classificação, pegue a taxa da classe positiva ao quadrado e adicione-a à taxa da classe negativa ao quadrado para obter exatidão aleatória. Quão melhor é a exatidão do modelo do que isso?

O modelo é melhor do que fazer um ultimato?

Dependendo se houver um custo associado a erros, considere se o modelo é melhor do que um ultimato. Por exemplo, digamos que uma empresa está fazendo consultas gratuitas que são caras e demoradas (US$ 6.000), mas ganham um bom dinheiro quando um negócio é fechado (US$ 60.000). A empresa atualmente opera sob a suposição de que 100% das consultas serão encerradas. No entanto, eles teriam um lucro melhor se pudessem determinar quais consultas devem fazer e quais não devem fazer. Qual deve ser a exatidão do modelo para que a empresa use o resultado do modelo em vez do ultimato de que 100% dos negócios serão fechados?

Saiba mais

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!