Executando análise rápida de modelo
Quando os modelos terminam o treinamento para uma versão de experimento, execute a análise das métricas de modelo mais importantes e acesse um resumo de como os dados de treinamento foram processados. A análise rápida é realizada nas guias Dados e Modelos.
Use a guia Modelos para uma visão geral dos resultados do treinamento. Ao executar uma versão de experimento, você é automaticamente alternado para a guia Modelos. Também é recomendável que você revisite a guia Dados para inspecionar como os dados foram pré-processados e manipulados.
Guia Modelos para um experimento de classificação binária
Opções adicionais estão disponíveis para avaliação posterior de modelos. Você pode comparar métricas e hiperparâmetros adicionais entre modelos ou focar em um modelo específico para análise granular. Essas opções estão disponíveis nas guias Comparar e Analisar. Para obter mais informações, consulte:
Entendendo os conceitos
Pode ser útil ter uma compreensão básica dos conceitos por trás da análise de modelos antes de começar a avaliar seus modelos. Para obter mais informações, consulte Entendendo os conceitos de revisão do modelo.
Impacto das configurações de otimização na análise
Para experimentos de classificação e regressão, sua experiência de análise pode variar um pouco dependendo se você utilizou ou não a otimização inteligente do modelo. A otimização inteligente de modelos está ativada por padrão para novos experimentos de classificação e regressão.
Análise de modelos treinados com otimização inteligente
Por padrão, novos experimentos de classificação e regressão são executados com otimização inteligente de modelos.
A otimização inteligente de modelos oferece um processo de treinamento mais robusto que, em condições ideais, cria um modelo pronto para ser implementado com pouco ou nenhum refinamento adicional. O desempenho desses modelos quando implementados em casos de uso de produção ainda depende de treiná-los com um conjunto de dados de alta qualidade que inclua recursos e dados relevantes.
Se sua versão tiver sido treinada com otimização inteligente de modelos, considere o seguinte:
-
Cada modelo na versão pode ter uma seleção de recursos diferente, dependendo de como o algoritmo analisou os dados.
-
Na guia Modelos, leia o Resumo do treinamento do modelo antes de se aprofundar na análise específica. O Resumo do treinamento do modelo mostra um resumo de como o Qlik Predict otimizou automaticamente o modelo por meio da iteração na seleção de recursos e da aplicação de transformações avançadas.
Para obter mais informações sobre otimização inteligente de modelos, consulte Otimização inteligente de modelos.
Análise de modelos treinados sem otimização inteligente
Como alternativa, você pode ter desativado a otimização inteligente do modelo para a versão do treinamento. A otimização manual de modelos pode ser útil se você precisar de mais controle sobre o processo de treinamento.
Se você tiver usado a otimização manual, todos os modelos da versão terão a mesma seleção de recursos, portanto, não é necessário um Resumo do treinamento do modelo.
Inspeção da configuração
Durante o pré-processamento, os recursos podem ter sido excluídos do uso no treinamento. Isso geralmente acontece porque se conhece mais informações sobre os dados à medida que o treinamento avança do que antes de executar a versão.
Depois de revisar o Resumo do treinamento do modelo (mostrado apenas com otimização inteligente), você poderá examinar mais de perto a configuração do experimento se precisar verificar essas outras alterações.
Faça o seguinte:
-
No experimento, alterne para a guia Dados.
-
Certifique-se de estar na
Exibição de esquema. -
Use o menu suspenso na barra de ferramentas para selecionar um modelo da versão.
-
Analise o esquema do modelo. Talvez você queira se concentrar nas colunas Insights e Tipo de recurso para ver se certos recursos foram descartados ou transformados em um tipo de recurso diferente.
Por exemplo, é possível que um recurso inicialmente marcado como Possível texto livre tenha sido excluído depois que você executou a versão.
Para obter mais informações sobre o significado de cada um dos insights, consulte Interpretando ideias do conjunto de dados.
Observe que, se você executou a versão com a opção de otimização inteligente padrão, cada modelo da versão poderá ter uma seleção de recursos diferente devido ao refinamento automático. Se a versão foi executada sem otimização inteligente, a seleção de recursos será a mesma para todos os modelos da versão. Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização inteligente de modelos.
Com base no que encontrar nessa configuração, talvez seja necessário retornar ao estágio de preparação do conjunto de dados para melhorar os dados dos recursos.
Com a otimização inteligente do modelo desativada, você não verá um Resumo do treinamento do modelo como parte da sua experiência de análise rápida. Além disso, todos os modelos de uma versão experimental usarão as mesmas combinações de recursos, enquanto os modelos treinados com otimização inteligente podem ter diferentes combinações de recursos.
Selecionando um modelo
Quando o treinamento é concluído, o modelo recomendado é automaticamente selecionado para análise, e as métricas para esse modelo são exibidas.
Alterne entre os modelos para comparar as diferenças em métricas e configuração. Se você estiver na guia Dados, use o menu suspenso na barra de ferramentas para escolher um modelo. Se você estiver na guia Modelos, clique em um modelo na tabela Métricas do modelo para escolher um modelo.
Analisando o resumo do treinamento
Otimização inteligente de modelos
Para modelos treinados com otimização de modelo inteligente, o Resumo do treinamento do modelo descreve as principais informações sobre o que aconteceu durante o treinamento. Este resumo inclui:
-
A taxa de amostragem do modelo.
-
Uma lista de recursos que foram automaticamente descartados como resultado da otimização inteligente. Esta lista varia dependendo do modelo selecionado.
-
Um resumo de todas as transformações avançadas que foram aplicadas ao treinar o modelo.
-
Um link para o conjunto de dados de treinamento.
O Resumo do treinamento do modelo não é exibido se você estiver otimizando seus modelos manualmente.
Para obter mais informações sobre otimização inteligente de modelos, consulte Otimização inteligente de modelos.
Gráfico do Resumo do treinamento do modelo para um modelo, exibido na guia Modelos
O resumo do treinamento do modelo não lista os recursos que foram descartados durante o estágio de pré-processamento. Para verificar essas informações, retorne à guia Dados do experimento. Consulte: Inspeção da configuração
Faça o seguinte:
-
No experimento, alterne para a guia Modelos.
-
Confirme se você selecionou o modelo que deseja analisar.
-
Na seção Ideias do modelo no lado direito da página, veja o Resumo do treinamento do modelo.
Experimentos de séries temporais
Em experimentos de séries temporais, o Resumo do treinamento do modelo mostra as configurações para o problema de previsão de séries temporais, conforme definido pelas configurações do conjunto de dados e de treinamento. Alguns desses detalhes foram estimados antes do início do treinamento, mas agora são confirmados com certeza depois que todo o conjunto de dados foi analisado. É possível visualizar:
-
O intervalo de datas dos dados usados para treinar o modelo
-
A etapa de tempo
-
O tamanho da janela de aplicação
-
A previsão máxima
-
Os tamanhos da janela e do intervalo de previsão
Gráfico de Resumo do treinamento do modelo de um modelo em um experimento de séries temporais
Analisando a tabela de métricas do modelo
A tabela Métricas do modelo fornece informações de alto nível sobre o desempenho de cada modelo no experimento. Os modelos recomendados dessa lista são apresentados acima da tabela.
Tabela de métricas de modelo com modelos e filtros recomendados
A tabela mostra:
-
Se o modelo é o melhor em relação aos tipos de modelo principal. Consulte: Encontrando os modelos principais
-
O nome de cada modelo (Isso pode ser editado para conveniência. Consulte: Editando detalhes do modelo)
-
O algoritmo usado para treinar o modelo
-
Principais métricas relacionadas ao desempenho do modelo. Você pode alternar entre:
-
Métricas comuns para avaliar o potencial preditivo, de acordo com o tipo de modelo. Para modelos de classificação binária, isso é F1. Para modelos de classificação multiclasse, isso é F1 Macro. Para modelos de regressão, isso é R2.
-
Velocidade de previsão
-
Acurácia. Para modelos de classificação, isso é a métrica denominada acurácia. Para modelos de regressão, isso é o MAE (erro absoluto médio).
-
Encontrando os modelos principais
Os modelos melhores e de melhor desempenho são determinados com base nos filtros que você aplicou. Eles são apresentados como recomendações acima da tabela de métricas do modelo e também são destacadas na tabela.
O Melhor modelo é selecionado por padrão. Esse modelo é marcado com um ícone 
. O melhor modelo é determinado com base em um cálculo balanceado que leva em conta tanto a acurácia quanto a velocidade de previsão.
Dependendo do seu caso de uso, você também pode estar interessado em analisar marcadores de desempenho específicos individualmente. Outros modelos de melhor desempenho são destacados com os marcadores a seguir:
-
Mais preciso: o modelo exibe a maior acurácia com base nas métricas de pontuação aplicáveis ao tipo de problema. -
Modelo mais rápido: o modelo oferece as velocidades de previsão mais rápidas. A acurácia também é levada em conta.
Você também pode selecionar os modelos de melhor desempenho diretamente das recomendações acima da tabela de Métricas do modelo.
Para obter uma visão geral completa de como cada tipo de modelo recomendado é determinado, consulte Selecionando o melhor modelo para você.
Filtrando modelos na tabela
A tabela de métricas do modelo pode ser filtrada para mostrar apenas os modelos que você deseja comparar.
Os seguintes filtros estão disponíveis e podem ser combinados conforme necessário:
-
Versão: selecione uma ou mais versões do experimento.
-
Algoritmo: selecione um ou mais algoritmos.
-
Amostragem de 100%: este filtro é aplicado por padrão. Isso pode ser removido se desejado. O filtro mostra modelos que usaram todo o conjunto de dados de treinamento para concluir o processo de treinamento e validação cruzada. Encontrado em Mais filtros de modelo.
-
Implementado: mostre modelos que foram implementados em implementações de ML. Encontrado em Mais filtros de modelo.
Depois que você aplicar os filtros desejados, os modelos de melhor desempenho serão automaticamente recalculados com base nos itens filtrados. Seus modelos recomendados são então atualizados.
Interpretando visualizações de importância de recursos
Na guia Modelos, role para baixo para visualizar as visualizações de importância de recursos. Serão Importância da permutação e Importância de SHAP.
Visualização de importância de recursos na guia Modelos
Gráfico de Importância de permutação
O gráfico Importância de permutação mostra a importância de cada recurso para a previsão geral do modelo. O que você vê no gráfico de Importância de permutação pode ajudar a entender como refinar seus modelos.
Ideias comuns que você pode obter ao analisar este gráfico incluem:
-
Se um recurso estiver consumindo quase toda a importância, isso provavelmente é um sinal de vazamento de alvo. O recurso precisa ser removido. Se isso for causado por problemas de qualidade de dados, eles também precisam ser resolvidos.
-
Alguns recursos podem ter muito pouco ou nenhum impacto nas previsões do modelo. Recursos com importância de permutação extremamente baixa podem ser considerados ruído estatístico e devem ser removidos.
Se a otimização inteligente do modelo fosse usada para treinar a versão, alguns dos problemas comuns observados acima poderiam ter sido resolvidos automaticamente ao descartar esses recursos.
Para obter mais informações sobre a importância de permutação, consulte Entendendo a importância da permutação.
Gráfico de Importância de SHAP
O gráfico de Importância de SHAP fornece outra maneira de analisar a influência que cada recurso no experimento está tendo nas previsões de cada modelo. Isso pode fornecer uma visão antecipada sobre quais recursos são significativos ou se você precisa reconfigurar o treinamento. Para obter mais informações, consulte Entendendo a importância de SHAP no treinamento de experimento.
Interpretando visualizações de pontuação do modelo
Para alguns tipos de modelo, visualizações adicionais estão disponíveis para mostrar uma visão geral do desempenho do modelo.
Classificação binária
Se seu experimento for um problema de classificação binária, várias visualizações adicionais serão geradas automaticamente para consumo rápido. Essas visualizações fornecem mais ideias sobre o quão bem o modelo está prevendo as classes positivas e negativas.
Para obter mais informações sobre essas visualizações, consulte Pontuando modelos de classificação binária.
Matriz de confusão
O gráfico de Matriz de confusão mostra a acurácia das previsões criadas pelo modelo. As previsões são realizadas nos dados de retenção automática.
Curva ROC
O gráfico Curva ROC descreve o quão bom é o modelo em prever a classe positiva quando o resultado real é positivo.
Para uma indicação de como é uma curva ROC ideal, consulte Curva AUC e ROC.
Série temporal
Para modelos de séries temporais, o gráfico Erro de previsão na janela de previsão é gerado automaticamente para fornecer ideias sobre a acurácia da previsão. Você pode visualizar a taxa de erro de previsão para cada etapa de tempo na janela de previsão. As taxas de erro são discriminadas em percentil quinquagésimo, décimo e nonagésimo.