Comparando modelos

Na guia Comparar do experimento, você pode visualizar todas as pontuações e hiperparâmetros dos modelos que você treina. Comparar modelos usando análises integradas.

Quando o treinamento for finalizado, realize uma análise comparativa dos modelos na guia Comparar. Quando terminar de comparar seus modelos, você pode alternar para a guia Analisar para análise detalhada de modelos individuais. Para obter mais informações, consulte Executando análise detalhada de modelo.

Fluxo de trabalho de análise

Para uma compreensão completa dos resultados do treinamento do modelo, é recomendável que você conclua a análise rápida e, em seguida, prossiga com as opções adicionais nas guias Comparar e Analisar. A análise rápida fornece um Resumo do treinamento do modelo mostrando quais recursos foram descartados durante o processo de otimização inteligente e também fornece uma série de visualizações geradas automaticamente para consumo rápido. As guias Comparar e Analisar não mostram o Resumo do treinamento do modelo, mas permitem que você se aprofunde mais nas métricas do modelo para entender melhor a qualidade dos seus modelos. Para obter mais informações sobre análise rápida, consulte Executando análise rápida de modelo.

Entendendo os conceitos

Pode ser útil ter uma compreensão básica dos conceitos por trás da análise do modelo antes de começar a comparar seus modelos. Para obter mais informações, consulte Entendendo os conceitos de revisão do modelo.

Impacto das configurações de otimização na análise

Sua experiência de análise pode ser um pouco diferente, dependendo se você usou ou não a otimização inteligente de modelos. A otimização inteligente de modelos é ativada por padrão para novos experimentos.

Análise de modelos treinados com otimização inteligente

Por padrão, os novos experimentos são executados com a otimização inteligente de modelos.

A otimização inteligente de modelos oferece um processo de treinamento mais robusto que, em condições ideais, cria um modelo pronto para ser implementado com pouco ou nenhum refinamento adicional. O desempenho desses modelos quando implementados em casos de uso de produção ainda depende de treiná-los com um conjunto de dados de alta qualidade que inclua recursos e dados relevantes.

Se sua versão tiver sido treinada com otimização de modelo inteligente, considere o seguinte:

• Cada modelo na versão pode ter uma seleção de recursos diferente, dependendo de como o algoritmo analisou os dados.

• Na guia Modelos, leia o Resumo do treinamento do modelo do modelo antes de se aprofundar na análise específica. O Resumo do treinamento do modelo mostra um resumo de como o AutoML otimizou automaticamente o modelo por meio da iteração na seleção de recursos e da aplicação de transformações avançadas.

Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

Análise de modelos treinados sem otimização inteligente

Como alternativa, você pode ter desativado a otimização inteligente do modelo para a versão do treinamento. A otimização manual de modelos pode ser útil se você precisar de mais controle sobre o processo de treinamento.

Se você tiver usado a otimização manual, todos os modelos da versão terão a mesma seleção de recursos, portanto, não é necessário um Resumo do treinamento do modelo.

Inspeção da configuração

Durante o pré-processamento, os recursos podem ter sido excluídos do uso no treinamento. Isso geralmente acontece porque se conhece mais informações sobre os dados à medida que o treinamento avança do que antes de executar a versão.

Depois de revisar o Resumo do treinamento do modelo (mostrado apenas com otimização inteligente), você poderá examinar mais de perto a configuração do experimento se precisar verificar essas outras alterações.

Faça o seguinte:

1. No experimento, alterne para a guia Dados.

2. Certifique-se de estar na Exibição de esquema.

3. Use o menu suspenso na barra de ferramentas para selecionar um modelo da versão.

4. Analise o esquema do modelo. Talvez você queira se concentrar nas colunas Insights e Tipo de recurso para ver se certos recursos foram descartados ou transformados em um tipo de recurso diferente.

   Por exemplo, é possível que um recurso inicialmente marcado como Possível texto livre tenha sido excluído depois que você executou a versão.

   Para obter mais informações sobre o significado de cada um dos insights, consulte Interpretando ideias do conjunto de dados.

Observe que, se você executou a versão com a opção de otimização inteligente padrão, cada modelo da versão poderá ter uma seleção de recursos diferente devido ao refinamento automático. Se a versão foi executada sem otimização inteligente, a seleção de recursos será a mesma para todos os modelos da versão. Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

Com base no que encontrar nessa configuração, talvez seja necessário retornar ao estágio de preparação do conjunto de dados para melhorar os dados dos recursos.

Iniciando uma comparação de modelos

Faça o seguinte:

• Abra a guia Comparar após o término do treinamento.

O conteúdo analítico depende do tipo de modelo, conforme definido pelo alvo do experimento. Métricas diferentes estarão disponíveis para diferentes tipos de modelo.

Navegando por análises integradas

Use a interface para comparar interativamente modelos com análises integradas.

Alternando entre pastas

O painel Pastas permite alternar entre as pastas na análise. Cada pasta tem um foco específico. O painel pode ser expandido e recolhido conforme necessário.

Fazendo seleções

Use seleções para refinar os dados. Você pode selecionar modelos, recursos e outros parâmetros. Isso permite que você dê uma olhada mais de perto nos detalhes do treinamento. Em alguns casos, pode ser necessário fazer uma ou mais seleções para que as visualizações sejam exibidas. Clique em valores de dados em visualizações e painéis de filtro para fazer seleções.

Você pode fazer o seguinte em relação às seleções:

• Selecione valores clicando em conteúdo, definindo intervalos e desenhando.

• Pesquise em gráficos para selecionar valores.

• Clique em um campo selecionado na barra de ferramentas na parte superior da análise integrada. Isso permite que você pesquise em seleções existentes, bloqueie ou desbloqueie-as e modifique-as ainda mais.

• Na barra de ferramentas na parte superior da análise integrada, clique em para remover uma seleção. Limpe todas as seleções clicando no ícone .

• Avance e retroceda em suas seleções clicando em e .

As análises contêm painéis de filtro para facilitar o refinamento dos dados. Em um painel de filtro, clique na caixa de seleção de um valor para fazer uma seleção. Se o painel de filtro contiver várias caixas de listagem, clique em uma caixa de listagem para expandi-la e faça as seleções desejadas.

Personalizando tabelas

As visualizações de tabela permitem que você personalize sua aparência e comportamento, bem como as colunas exibidas nelas. As tabelas podem ser personalizadas com as seguintes opções:

• Ajuste a largura da coluna clicando e arrastando a borda externa da coluna

• Clique em um cabeçalho de coluna para:

  • Ajustar a classificação da coluna

  • Pesquisar valores na coluna

  • Aplicar seleções

Carregando dados

Clique em Recarregar dados para atualizar a análise com os dados de treinamento mais recentes. Se você ou outros usuários executarem versões adicionais do treinamento depois de abrir a análise, será necessário recarregar os dados para visualizar essas versões mais recentes.

Exportação de dados para o catálogo

Você pode exportar os dados usados na análise de comparação de modelos para o catálogo. Os dados são exportados para um espaço no Qlik Cloud Analytics. Você pode usar os dados exportados para criar seus próprios aplicativos do Qlik Sense a partir de dados para análises personalizadas.

Para obter mais informações, consulte Exportando dados de treinamento do modelo.

Classificando modelos por métricas específicas

A pasta de Comparação de modelos contém gráficos interativos para visualizar como os modelos se comparam entre si em relação às métricas especificadas. Use os painéis de filtro abaixo de cada gráfico para visualizar diferentes métricas. Use esta personalização para mostrar as métricas mais importantes para seu caso de uso preditivo.

Comparando pontuações de modelos e valores de hiperparâmetros

Na pasta Detalhes, as pontuações de modelos e os hiperparâmetros são exibidos em formato tabular. Usando os painéis de filtro no lado esquerdo da pasta, adicione e remova modelos e métricas conforme necessário.

Comparando pontuações de retenção e pontuações de treinamento

A pasta Detalhes mostra as métricas baseadas nos dados de retenção automática (dados usados para validar o desempenho do modelo após o treinamento). Você também pode adicionar as métricas de dados de treinamento à tabela Métricas de Modelos para comparação com as pontuações de retenção. Essas pontuações geralmente são semelhantes, mas se variarem significativamente, é provável que haja um problema com vazamento de dados ou sobreajuste.

Faça o seguinte:

1. Na guia Comparar, abra a pasta Detalhes.

2. Na seção Colunas para mostrar do lado esquerdo da pasta, expanda o painel de filtro Métricas.

3. Selecione e desmarque as caixas de seleção para alterar as colunas conforme necessário. As métricas de dados de treinamento estão disponíveis para serem adicionadas como colunas.

As colunas são adicionadas à tabela Métricas do modelo.