Executando análise rápida de modelo

Quando os modelos terminam o treinamento para uma versão de experimento, execute a análise das métricas de modelo mais importantes e acesse um resumo de como os dados de treinamento foram processados. A análise rápida é realizada nas guias Dados e Modelos.

Use a guia Modelos para uma visão geral dos resultados do treinamento. Ao executar uma versão de experimento, você é automaticamente alternado para a guia Modelos. Também é recomendável que você revisite a guia Dados para inspecionar como os dados foram pré-processados e manipulados.

Opções adicionais estão disponíveis para avaliação posterior de modelos. Você pode comparar métricas e hiperparâmetros adicionais entre modelos ou focar em um modelo específico para análise granular. Essas opções estão disponíveis nas guias Comparar e Analisar. Para obter mais informações, consulte:

• Comparando modelos

• Executando análise detalhada de modelo

Entendendo os conceitos

Pode ser útil ter uma compreensão básica dos conceitos por trás da análise de modelos antes de começar a avaliar seus modelos. Para obter mais informações, consulte Entendendo os conceitos de revisão do modelo.

Impacto das configurações de otimização na análise

Sua experiência de análise pode ser um pouco diferente, dependendo se você usou ou não a otimização inteligente de modelos. A otimização inteligente de modelos é ativada por padrão para novos experimentos.

Análise de modelos treinados com otimização inteligente

Por padrão, os novos experimentos são executados com a otimização inteligente de modelos.

A otimização inteligente de modelos oferece um processo de treinamento mais robusto que, em condições ideais, cria um modelo pronto para ser implementado com pouco ou nenhum refinamento adicional. O desempenho desses modelos quando implementados em casos de uso de produção ainda depende de treiná-los com um conjunto de dados de alta qualidade que inclua recursos e dados relevantes.

Se sua versão tiver sido treinada com otimização de modelo inteligente, considere o seguinte:

• Cada modelo na versão pode ter uma seleção de recursos diferente, dependendo de como o algoritmo analisou os dados.

• Na guia Modelos, leia o Resumo do treinamento do modelo do modelo antes de se aprofundar na análise específica. O Resumo do treinamento do modelo mostra um resumo de como o AutoML otimizou automaticamente o modelo por meio da iteração na seleção de recursos e da aplicação de transformações avançadas.

Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

Análise de modelos treinados sem otimização inteligente

Como alternativa, você pode ter desativado a otimização inteligente do modelo para a versão do treinamento. A otimização manual de modelos pode ser útil se você precisar de mais controle sobre o processo de treinamento.

Se você tiver usado a otimização manual, todos os modelos da versão terão a mesma seleção de recursos, portanto, não é necessário um Resumo do treinamento do modelo.

Inspeção da configuração

Durante o pré-processamento, os recursos podem ter sido excluídos do uso no treinamento. Isso geralmente acontece porque se conhece mais informações sobre os dados à medida que o treinamento avança do que antes de executar a versão.

Depois de revisar o Resumo do treinamento do modelo (mostrado apenas com otimização inteligente), você poderá examinar mais de perto a configuração do experimento se precisar verificar essas outras alterações.

Faça o seguinte:

1. No experimento, alterne para a guia Dados.

2. Certifique-se de estar na Exibição de esquema.

3. Use o menu suspenso na barra de ferramentas para selecionar um modelo da versão.

4. Analise o esquema do modelo. Talvez você queira se concentrar nas colunas Insights e Tipo de recurso para ver se certos recursos foram descartados ou transformados em um tipo de recurso diferente.

   Por exemplo, é possível que um recurso inicialmente marcado como Possível texto livre tenha sido excluído depois que você executou a versão.

   Para obter mais informações sobre o significado de cada um dos insights, consulte Interpretando ideias do conjunto de dados.

Observe que, se você executou a versão com a opção de otimização inteligente padrão, cada modelo da versão poderá ter uma seleção de recursos diferente devido ao refinamento automático. Se a versão foi executada sem otimização inteligente, a seleção de recursos será a mesma para todos os modelos da versão. Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

Com base no que encontrar nessa configuração, talvez seja necessário retornar ao estágio de preparação do conjunto de dados para melhorar os dados dos recursos.

Com a otimização inteligente do modelo desativada, você não verá um Resumo do treinamento do modelo como parte da sua experiência de análise rápida. Além disso, todos os modelos de uma versão experimental usarão as mesmas combinações de recursos, enquanto os modelos treinados com otimização inteligente podem ter diferentes combinações de recursos.

Selecionando um modelo

Quando o treinamento é concluído, o modelo de melhor desempenho é automaticamente selecionado para análise, e as métricas para esse modelo são exibidas. O modelo de melhor desempenho para cada versão experimental é marcado com um ícone .

Alterne entre os modelos para comparar as diferenças em métricas e configuração. Se você estiver na guia Dados, use o menu suspenso na barra de ferramentas para escolher um modelo. Se você estiver na guia Modelos, clique em um modelo na tabela Métricas do modelo para escolher um modelo.

Analisando o resumo do treinamento

Para modelos treinados com otimização de modelo inteligente, o Resumo do treinamento do modelo descreve as principais informações sobre o que aconteceu durante o treinamento. Este resumo inclui:

• A taxa de amostragem do modelo.

• Uma lista de recursos que foram automaticamente descartados como resultado da otimização inteligente. Esta lista varia dependendo do modelo selecionado.

• Um link para o conjunto de dados de treinamento.

O Resumo do treinamento do modelo não é exibido se você estiver otimizando seus modelos manualmente.

Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

O resumo do treinamento do modelo não lista os recursos que foram descartados durante o estágio de pré-processamento. Para verificar essas informações, retorne à guia Dados do experimento. Consulte: Inspeção da configuração

Faça o seguinte:

1. No experimento, alterne para a guia Modelos.

2. Confirme se você selecionou o modelo que deseja analisar.

3. Na seção Ideias do modelo no lado direito da página, veja o Resumo do treinamento do modelo.

Analisando a tabela de métricas do modelo

A tabela Métricas do modelo fornece informações de alto nível sobre o desempenho de cada modelo no experimento. Esta tabela é mostrada na guia Modelos.

Quando você está na guia Modelos, a tabela Métricas do modelo também é onde você seleciona um modelo para analisar.

A tabela Métricas do modelo mostra:

• Se o modelo é o de melhor desempenho para sua versão

• O nome de cada modelo (Isso pode ser editado para conveniência. Consulte: Editando detalhes do modelo)

• O algoritmo usado para treinar o modelo

• Valores para a pontuação de desempenho do modelo mais importante, dado o tipo de modelo definido pelo alvo do experimento:

  • Modelos de classificação binária: F1.

    F1

  • Modelos de classificação multiclasse: F1 Macro.

    Macro F1

  • Modelos de regressão: R2.

    R2

  Para obter mais informações sobre que tipo de modelos seu experimento treina, consulte Determinando o tipo de modelo criado.

Filtrando modelos na tabela

A tabela de métricas do modelo pode ser filtrada para mostrar apenas os modelos que você deseja comparar.

Os seguintes filtros estão disponíveis e podem ser combinados conforme necessário:

• Versão: selecione uma ou mais versões do experimento.

• Algoritmo: selecione um ou mais algoritmos.

• Melhores desempenhos: mostre os modelos de melhor desempenho em todas as versões (marcados com ícones ). Encontrado em Mais filtros de modelo.

• Amostragem de 100%: este filtro é aplicado por padrão. Isso pode ser removido se desejado. O filtro mostra modelos que usaram todo o conjunto de dados de treinamento para concluir o processo de treinamento e validação cruzada. Encontrado em Mais filtros de modelo.

• Implementado: mostre modelos que foram implementados em implementações de ML. Encontrado em Mais filtros de modelo.

Interpretando visualizações de importância de recursos

Na guia Modelos, role para baixo para visualizar as visualizações de importância de recursos. Serão Importância da permutação e Importância de SHAP.

Gráfico de Importância de permutação

O gráfico Importância de permutação mostra a importância de cada recurso para a previsão geral do modelo. O que você vê no gráfico de Importância de permutação pode ajudar a entender como refinar seus modelos.

Ideias comuns que você pode obter ao analisar este gráfico incluem:

• Se um recurso estiver consumindo quase toda a importância, isso provavelmente é um sinal de vazamento de alvo. O recurso precisa ser removido. Se isso for causado por problemas de qualidade de dados, eles também precisam ser resolvidos.

  Vazamento de dados

• Alguns recursos podem ter muito pouco ou nenhum impacto nas previsões do modelo. Recursos com importância de permutação extremamente baixa podem ser considerados ruído estatístico e devem ser removidos.

 Se a otimização inteligente do modelo fosse usada para treinar a versão, alguns dos problemas comuns observados acima poderiam ter sido resolvidos automaticamente ao descartar esses recursos.

Para obter mais informações sobre a importância de permutação, consulte Entendendo a importância da permutação.

Gráfico de Importância de SHAP

O gráfico de Importância de SHAP fornece outra maneira de analisar a influência que cada recurso no experimento está tendo nas previsões de cada modelo. Isso pode fornecer uma visão antecipada sobre quais recursos são significativos ou se você precisa reconfigurar o treinamento. Para obter mais informações, consulte Entendendo a importância de SHAP no treinamento de experimento.

Interpretando visualizações de pontuação do modelo

Se seu experimento for um problema de classificação binária, várias visualizações adicionais serão geradas automaticamente para consumo rápido. Essas visualizações fornecem mais ideias sobre o quão bem o modelo está prevendo as classes positivas e negativas.

Para obter mais informações sobre essas visualizações, consulte Pontuando modelos de classificação binária.

Matriz de confusão

O gráfico de Matriz de confusão mostra a acurácia das previsões criadas pelo modelo. As previsões são realizadas nos dados de retenção automática.

Matriz de confusão

Curva ROC

O gráfico Curva ROC descreve o quão bom é o modelo em prever a classe positiva quando o resultado real é positivo.

Para uma indicação de como é uma curva ROC ideal, consulte Curva AUC e ROC.