Interpretando pontuações do modelo

As pontuações do modelo são medidas técnicas de quão bem seus modelos são capazes de prever os dados de treinamento. Além da importância do recurso, as pontuações do modelo são um aspecto essencial da análise do modelo.

Métricas de pontuação do modelo

As principais métricas a serem usadas para a pontuação do modelo variam de acordo com o tipo de problema. O tipo de problema pode ser classificação binária, classificação multiclasse ou regressão. Para mais informações, veja os seguintes tópicos de ajuda:

• Problemas de classificação binária: Pontuando modelos de classificação binária

• Problemas de classificação multiclasse: Pontuando modelos de classificação multiclasse

• Problemas de regressão: Modelos de regressão de pontuação

Por que a pontuação do modelo é importante

O objetivo das diferentes pontuações do modelo é entender os pontos fortes do modelo. Isso aumentará sua confiança na usabilidade do modelo e mostrará quais melhorias podem ser feitas. Se a pontuação for muito alta ou muito baixa, isso pode indicar que há um problema com os dados que estão sendo alimentados no modelo.

Pontuar um modelo é uma tarefa desafiadora porque existem várias métricas que descrevem coisas diferentes sobre o modelo. Para saber se é um bom modelo, você precisa combinar o conhecimento do domínio de negócios com uma compreensão das várias métricas de pontuação e dados com os quais o modelo foi treinado. O que pode parecer uma pontuação ruim em um caso de uso, pode ser uma ótima pontuação e gerar um alto retorno sobre o investimento em outro caso de uso.

A métrica mais importante: uma analogia de carro

Qual métrica é mais importante? Depende de como você planeja usar o modelo. Não existe uma única métrica que possa dizer tudo o que você deseja saber.

Como analogia, pense em comprar um carro. Há muitas métricas diferentes a serem consideradas, como eficiência de combustível, potência, torque, peso e aceleração. Podemos querer que todos sejam ótimos, mas devemos fazer concessões dependendo de como planejamos usar o carro. Um passageiro pode querer um carro com alta eficiência de combustível, mesmo que isso signifique baixo torque, enquanto o proprietário de um barco pode escolher alto torque, mesmo que isso signifique menor eficiência de combustível.

Um modelo pode ser pensado da mesma maneira. Queremos que todas as métricas sejam altas - e podemos melhorá-las com mais dados e melhores recursos - mas sempre há restrições e compensações a serem feitas. Algumas pontuações são mais importantes dependendo do que você pretende fazer com o modelo.

O modelo é adequado?

Determinar se um modelo é adequado para o caso de uso e bom para ser colocado em produção resume-se, em última análise, à questão: "O modelo é preciso o suficiente para gerar um retorno positivo sobre o investimento sem consequências inaceitáveis?" As quatro perguntas a seguir podem ajudá-lo a decompô-lo.

O modelo está informando uma decisão humana ou automatizando-a?

A exatidão necessária depende se você usará o modelo para automatizar ou informar as decisões. Por exemplo, um modelo pode ser treinado para determinar quanto dinheiro os funcionários devem ganhar. Nesse caso, a exatidão provavelmente precisará ser maior se o modelo estiver automatizando a decisão em comparação com se estiver apenas informando uma decisão. Se os gerentes o usarem para descobrir se um funcionário é pago a menos ou a mais, eles podem usar seu próprio critério para determinar se o modelo está errado ou não.

Existe um custo quantificável para um falso positivo ou falso negativo?

Você é capaz de quantificar o custo de um resultado falso? Leve esse custo em consideração ao determinar o nível de exatidão necessário para considerar o modelo um bom ajuste.

Usando o mesmo exemplo acima, diga que o modelo está simplesmente informando. No entanto, o gerente confia no modelo e não dá um aumento de salário a um funcionário porque o modelo mostra que o funcionário seria pago a mais se um aumento fosse concedido. O funcionário então pede demissão para trabalhar em outro lugar. Qual foi o custo de perder esse funcionário? Se acontecesse o inverso, qual teria sido o custo de dar um aumento falso?

Quão melhor é o modelo do que aleatório?

Para problemas de regressão, determine qual seria o erro se você sempre assumisse o valor médio da coluna alvo. Quão melhor é o modelo em comparação com isso?

Para problemas de classificação, pegue a taxa da classe positiva ao quadrado e adicione-a à taxa da classe negativa ao quadrado para obter exatidão aleatória. Quão melhor é a exatidão do modelo do que isso?

O modelo é melhor do que fazer um ultimato?

Dependendo se houver um custo associado a erros, considere se o modelo é melhor do que um ultimato. Por exemplo, digamos que uma empresa está fazendo consultas gratuitas que são caras e demoradas (US$ 6.000), mas ganham um bom dinheiro quando um negócio é fechado (US$ 60.000). A empresa atualmente opera sob a suposição de que 100% das consultas serão encerradas. No entanto, eles teriam um lucro melhor se pudessem determinar quais consultas devem fazer e quais não devem fazer. Qual deve ser a exatidão do modelo para que a empresa use o resultado do modelo em vez do ultimato de que 100% dos negócios serão fechados?

Importância do recurso

Embora os valores de importância do recurso não sejam considerados tecnicamente pontuações do modelo, eles são métricas essenciais para avaliar o desempenho preditivo dos seus modelos. Avaliar a importância do recurso também pode ajudar a identificar problemas com a configuração do seu experimento e dados de treinamento, como vazamento de dados.

Para obter mais informações, consulte Entendendo a importância do recurso.