Revisando e refinando modelos

Depois que a primeira versão do treinamento do modelo for concluída, analise as métricas do modelo resultantes e configure novas versões do experimento até obter os resultados necessários.

Ao executar a versão experimental, você será levado para a guia Modelos, onde poderá começar a analisar as métricas do modelo resultante. Você pode acessar a Exibição de esquema e a Exibição de dados retornando à guia Dados.Uma análise mais granular pode ser realizada nas guias Comparar e Analisar.

Você saberá que a primeira versão do treinamento foi concluída quando todas as métricas forem preenchidas na tabela Métricas do modelo e um ícone de troféu aparecer ao lado do modelo principal.

Analisando os modelos de v1

Volte para a guia Modelos. Na tabela Métricas do modelo, o modelo superior é pontuado com um ícone de troféu . Isso significa que é o modelo de melhor desempenho com base na pontuação de F1.

Volte para a guia Modelos. Na tabela Métricas do modelo, o modelo superior é pontuado com um ícone de troféu . Isso significa que é o modelo de melhor desempenho com base na pontuação de F1.

Classifique os modelos por desempenho, do maior para o menor, clicando no cabeçalho da coluna F1. Você pode optar por excluir algoritmos de baixo desempenho ou focar apenas no melhor para obter resultados mais rápidos na próxima iteração do treinamento. Abordaremos isso ao configurar a v3 em uma seção posterior.

Identificando vazamento de dados

Veja os gráficos Métricas do modelo no lado direito da página. Esses gráficos dão uma indicação da importância relativa de cada recurso, bem como do desempenho do modelo.

No gráfico Importância da permutação, bem como na lista Recursos no painel Configuração do experimento, observe que essa primeira iteração do modelo depende muito do recurso DaysSinceLastService, com todos os outros recursos quase não tendo importância em comparação a ele.

Essa disparidade e o desempenho extremamente alto das pontuações dos modelos F1 devem ser vistos como um sinal de que algo está errado. Nesse caso, não havia uma lógica definida durante a coleta de dados para interromper a contagem do número de dias desde o último tíquete de atendimento de um cliente para clientes que cancelaram sua assinatura. Como resultado, o modelo aprendeu a associar vários dias desde o último tíquete de serviço (presente para clientes que cancelaram anos atrás) com um valor de yes no campo Churned.

Este é um exemplo de vazamento de dados, pois em um cenário do mundo real, o modelo só teria acesso às informações até que a previsão fosse feita, e o número de dias contidos neste campo foi coletado após esse ponto de medição. Esse problema é conhecido como vazamento de alvo, que é uma forma de vazamento de dados. Para obter mais informações sobre vazamento de dados, consulte Vazamento de dados.

Precisamos remover o recurso "vazado" DaysSinceLastService da configuração do experimento, pois ele está distorcendo os modelos resultantes. Observe que, em um caso de uso real, é necessário investigar minuciosamente a qualidade e a lógica dos dados antes da criação do modelo para garantir que o modelo resultante seja treinado adequadamente.

Abordaremos esse problema ao configurar a v2.

Configurando e executando a versão 2

Vamos configurar uma nova versão para resolver o vazamento de dados.

Faça o seguinte:

1. Clique em Exibir configuração para expandir o painel de configuração do experimento.

2. Clique em Nova versão.

3. No painel, em Recursos, desmarque a caixa de seleção DaysSinceLastService.

4. Clique em Executar v2.

Analisando os modelos de v2

Após a execução da segunda versão do experimento, clique na caixa de seleção ao lado do modelo v2 de melhor desempenho na tabela de Métricas do modelo (marcado com um ícone de troféu ). Isso atualiza a página com as métricas desse modelo.

Comparando métricas de treinamento e retenção

Você pode visualizar métricas adicionais e comparar as métricas do treinamento de validação cruzada com as métricas de retenção.

Faça o seguinte:

1. No experimento, alterne para a guia Comparar.

   Uma análise integrada é aberta. Você pode usar a interface interativa para se aprofundar na análise do seu modelo comparativo e descobrir novas ideias.

2. No painel Pastas no lado direito da análise, alterne para a pastaDetails.

3. Observe a tabela Model Metrics. Ela mostra métricas de pontuação do modelo, como F1, bem como outras informações.

4. A versão 1 do treinamento foi afetada pelo vazamento de alvo, então vamos nos concentrar apenas na v2. Use o painel de filtro Version no lado direito da pasta para selecionar o valor 1.

5. Na seção Columns to show, use o painel de filtro para adicionar e remover colunas na tabela.

6. Na caixa de listagem suspensa, adicione métricas adicionais. As pontuações de treinamento para cada métrica são mostradas como valores terminados em Train. Adicione algumas métricas de treinamento à tabela.

Agora você pode ver as métricas F1 do treinamento de validação cruzada e compará-las com as métricas de retenção.

Identificando recursos com baixa importância

Em seguida, devemos verificar se há algum recurso com baixa importância de permutação. Recursos que têm pouca ou nenhuma influência no modelo devem ser removidos para melhorar a acurácia da previsão.

Faça o seguinte:

1. No experimento, volte para a guia Modelos.

2. Veja o gráfico de Permutation importance. Os quatro recursos inferiores (StartMonth, DeviceType, CustomerTenure e Territory) influenciam muito menos nosso modelo do que os outros recursos. Eles têm pouco valor para este caso de uso e podem ser vistos como ruído estatístico.

Na v3, podemos remover esses recursos para ver se isso melhora as pontuações do modelo.

Identificando algoritmos de baixo desempenho

Também podemos olhar a tabela Métricas do modelo para ver se podemos remover algum algoritmo do treinamento da v3. Você pode remover algoritmos de baixo desempenho ao refinar modelos para que o treinamento seja executado mais rápido em iterações subsequentes.

1. No experimento, volte para a guia Modelos.

2. Na tabela Métricas do modelo, use o filtro Versão para mostrar apenas os modelos da v2.

3. Veja as pontuações F1 para cada Algoritmo. Se certos algoritmos estiverem criando modelos com pontuação significativamente menor do que outros, podemos removê-los da próxima versão.

Configurando e executando a versão 3

Faça o seguinte:

1. Clique em Exibir configuração para expandir o painel de configuração do experimento.

2. Clique em Nova versão.

3. No painel, em Recursos, desmarque as caixas de seleção para StartMonth, DeviceType, CustomerTenure e Territory.

4. Opcionalmente, expanda Algoritmos e desmarque as caixas de seleção para Gaussian Naive Bayes e Regressão logística.

5. Clique em Executar v3.

Analisando os modelos de v3

Após a execução da v3, você pode limpar o filtro Versão da tabela Métricas do modelo. Selecione o modelo de melhor desempenho da v3.

Vamos fazer uma comparação rápida dos modelos em todas as versões.

A primeira versão do treinamento resultou nas pontuações mais altas, mas essas métricas eram preditores de desempenho altamente exagerados e irrealistas causados pelo problema de vazamento de dados. Na v3, a pontuação F1 do modelo de melhor desempenho aumentou em relação ao modelo v2 de alto desempenho.

Conforme explorado anteriormente, você pode alternar para a guia Comparar para uma comparação mais profunda das pontuações do modelo.

Focando em um modelo específico

A qualquer momento durante a análise do modelo, você pode executar uma análise granular de um modelo individual. Explore a acurácia da previsão, a importância do recurso e a distribuição do recurso com uma experiência Qlik Sense interativa.

Faça o seguinte:

1. Com o modelo v3 de melhor desempenho selecionado, clique na guia Analisar.

   Uma análise integrada é aberta.

2. Com a pasta Model Overview, você pode analisar a precisão da acurácia do modelo. A análise é aprimorada pelo poder das seleções. Clique em um recurso ou valor previsto para fazer uma seleção. Os dados na análise integrada se ajustam para filtrar os dados. Você pode detalhar valores e intervalos de recursos específicos para visualizar como a influência do recurso e a acurácia da previsão mudam.

3. Ao alternar para as outras pastas, você pode visualizar visualizações para acurácia da previsão, distribuição de recursos e distribuição de impacto (SHAP). Este conteúdo analítico pode ajudar você a:

   • Descobrir os determinantes chave que influenciam as tendências nos dados.

   • Identificar como recursos e coortes específicos estão afetando os valores previstos e a acurácia da previsão.

   • Identificar discrepâncias nos dados.

Próximas etapas

Em um cenário real, é importante repetir essas etapas de refinamento quantas vezes forem necessárias antes de implementar seu modelo, para garantir que você tenha o melhor modelo possível para seu caso de uso específico.

Neste tutorial, acesse para a próxima seção sobre como implementar seu modelo.