Selecionando o melhor modelo para você

Melhor modelo

Com base em seus filtros, o melhor modelo é selecionado automaticamente para análise. O melhor modelo é destacado com um ícone .

No Qlik Predict, o melhor modelo é determinado a partir de um cálculo balanceado que leva em consideração métricas de precisão e velocidade de previsão.

Para determinar o melhor modelo, o processo a seguir é executado automaticamente:

1. Selecione o modelo com a pontuação mais alta para a métrica de desempenho preditivo determinada pelo tipo de modelo. As métricas usadas são:

   • Classificação binária: F1

   • Classificação multiclasse: F1 Macro

   • Regressão: R2

   • Séries temporais: MASE (ou MAE se o MASE não estiver disponível)

2. Usando as pontuações de desempenho da etapa 1, selecione todos os modelos que estejam dentro de cinco por cento da pontuação do modelo de maior pontuação.

3. De todos os modelos selecionados, selecione o modelo com a velocidade de previsão mais rápida (veja Velocidade de previsão). Esse é o melhor modelo.

Mais exato

É importante que seu modelo consiga gerar previsões com alta acurácia de forma consistente. Embora F1, F1 Macro e R2 forneçam uma pontuação balanceada que reflete de forma abrangente a acurácia do modelo, você também pode ter interesse nas métricas de precisão e acurácia bruta dos seus modelos.

O modelo mais preciso é destacado com um ícone . Para determinar o modelo mais preciso, o seguinte processo é executado automaticamente:

1. Selecione o modelo com a pontuação mais alta para a métrica de desempenho preditivo determinada pelo tipo de modelo. As métricas usadas são:

   • Classificação binária: F1

   • Classificação multiclasse: Macro F1

   • Regressão: R2

   • Séries temporais: MASE (se o MASE não estiver disponível, selecione o modelo com o menor MAE)

2. Usando as pontuações de desempenho da etapa 1, selecione todos os modelos que estejam dentro de dez por cento da pontuação do modelo de maior pontuação.

3. Um dos dois caminhos a seguir é usado, dependendo do tipo de modelo:

   1. Classificação binária:

      • Se o conjunto de dados de treinamento não estiver balanceado, selecione o modelo com a maior pontuação de acurácia. Esse é o modelo mais preciso. Para obter informações sobre a métrica específica usada, consulte Exatidão.

      • Se o conjunto de dados de treinamento não estiver balanceado, selecione o modelo com a maior pontuação de precisão. Para obter informações sobre a métrica específica usada, consulte Precisão.

   2. Classificação multiclasse ou regressão:

      • Selecione o modelo com a maior pontuação de acurácia. São usadas as seguintes métricas de acurácia:

        • Classificação multiclasse: Exatidão

        • Regressão: MAE

   3. Séries temporais: selecione o modelo com a melhor (menor) pontuação MAE.

Modelo mais rápido

Ao escolher um modelo, você pode querer valorizar a rapidez com que o modelo pode fornecer previsões. O modelo mais rápido é destacado com um ícone .

A velocidade de previsão determina qual modelo é o mais rápido. No entanto, a acurácia preditiva dos modelos ainda é considerada. Isso ocorre porque um modelo pode ser capaz de gerar previsões rapidamente, mas também deve ser capaz de prever com acurácia razoável.

Para determinar o modelo mais rápido, o processo a seguir é executado automaticamente:

1. Selecione o modelo com a pontuação mais alta para a métrica de desempenho preditivo determinada pelo tipo de modelo. As métricas usadas são:

   • Classificação binária: F1

   • Classificação multiclasse: Macro F1

   • Regressão: R2

   • Séries temporais: MASE (se o MASE não estiver disponível, selecione o modelo com o menor MAE)

2. Um dos caminhos a seguir é usado, dependendo do tipo de modelo:

   1. Classificação binária:

      • Se o conjunto de dados de treinamento for balanceado, selecione todos os modelos que tenham uma pontuação de acurácia dentro de dez por cento da pontuação de acurácia do modelo selecionado na etapa 1. Para obter informações sobre a métrica específica usada, consulte Exatidão.

      • Se o conjunto de dados de treinamento não for balanceado, selecione todos os modelos que estejam dentro de dez por cento da pontuação do modelo de pontuação mais alta da etapa 1. As métricas da etapa 1 são usadas.

   2. Classificação multiclasse ou regressão:

      • Selecione todos os modelos que tenham uma pontuação de acurácia dentro de dez por cento da pontuação de acurácia do modelo da etapa 1. São usadas as seguintes métricas de acurácia:

        • Classificação multiclasse: Exatidão

        • Regressão: MAE

   3. Séries temporais: selecione todos os modelos dentro de dez por cento da pontuação MAE do modelo da etapa 1.

3. De todos os modelos selecionados, selecione o modelo com a velocidade de previsão mais rápida (veja Velocidade de previsão). Esse modelo é o mais rápido.

Considerações

A velocidade de previsão medida baseia-se no tamanho do conjunto de dados de treinamento, e não nos dados nos quais as previsões são feitas. Após implementar um modelo, você poderá notar diferenças entre a rapidez com que as previsões são criadas se o tamanho dos dados de treinamento e de previsão for muito diferente, ou ao criar previsões em tempo real em uma ou poucas linhas de dados.

Sobreajuste ocorre quando o comportamento preditivo de um modelo é mapeado de forma muito próxima ao conjunto de dados de treinamento. Quando um modelo é sobreajustado, é provável que ele tenha memorizado apenas os padrões do conjunto de dados de treinamento e não consiga prever com precisão os valores futuros.

O sobreajuste pode ter várias causas, inclusive problemas relacionados a algoritmos de treinamento e conjuntos de dados de treinamento excessivamente curtos ou complexos.

No Qlik Predict, o sobreajuste é identificado automaticamente por meio de uma análise dos resultados do treinamento de teste para todas as métricas usadas no processo de seleção do modelo principal, exceto a velocidade de previsão:

• Modelos de classificação binária: F1, Exatidão (dados balanceados), Precisão (dados não balanceados)

• Modelos de classificação multiclasse: Macro F1, Exatidão

• Modelos de regressão: R2, MAE

Se houver uma diferença superior a dez por cento entre qualquer uma dessas métricas ao comparar os resultados do teste e do treinamento, há suspeita de que o modelo esteja sobreajustado.

Se houver suspeita de que um modelo está sobreajustado, ele nunca será apresentado como um modelo recomendado, mesmo que tenha uma boa pontuação. O modelo é marcado com um aviso na tabela Métricas de modelo.

Se houver suspeita de que todos os modelos mostrados em seus filtros estejam sobreajustados, não serão fornecidas recomendações de modelos.