Executando análise detalhada de modelo

Na guia Analisar do experimento, você pode se concentrar em um único modelo para uma análise aprofundada de seu desempenho preditivo. A análise detalhada é realizada usando análises integradas.

Após o término do treinamento, selecione um modelo. Em seguida, abra a guia Analisar para visualizar mais informações sobre a acurácia das previsões do modelo, o que está influenciando as tendências nos dados e outras informações. Os dados mostrados na guia Analisar são baseados em previsões que o modelo gera em relação aos dados de retenção.

Alguns dos principais benefícios da análise detalhada do modelo incluem:

• Interface interativa onde você pode refinar e personalizar os dados de visualização conforme necessário.

• Uma visão detalhada das previsões feitas nos dados de retenção, juntamente com estatísticas de importância do recurso.

Fluxo de trabalho de análise

Para uma compreensão completa dos resultados do treinamento do modelo, é recomendável que você conclua a análise rápida e, em seguida, prossiga com as opções adicionais nas guias Comparar e Analisar. A análise rápida fornece um Resumo do treinamento do modelo mostrando quais recursos foram descartados durante o processo de otimização inteligente e também fornece uma série de visualizações geradas automaticamente para consumo rápido. As guias Comparar e Analisar não mostram o Resumo do treinamento do modelo, mas permitem que você se aprofunde mais nas métricas do modelo para entender melhor a qualidade dos seus modelos.

Para obter mais informações sobre as outras opções de análise, consulte:

• Executando análise rápida de modelo

• Comparando modelos

Entendendo os conceitos

Pode ser útil ter uma compreensão básica dos conceitos por trás da análise de modelos antes de começar a avaliar seus modelos. Para obter mais informações, consulte Entendendo os conceitos de revisão do modelo.

Impacto das configurações de otimização na análise

Sua experiência de análise pode ser um pouco diferente, dependendo se você usou ou não a otimização inteligente de modelos. A otimização inteligente de modelos é ativada por padrão para novos experimentos.

Análise de modelos treinados com otimização inteligente

Por padrão, os novos experimentos são executados com a otimização inteligente de modelos.

A otimização inteligente de modelos oferece um processo de treinamento mais robusto que, em condições ideais, cria um modelo pronto para ser implementado com pouco ou nenhum refinamento adicional. O desempenho desses modelos quando implementados em casos de uso de produção ainda depende de treiná-los com um conjunto de dados de alta qualidade que inclua recursos e dados relevantes.

Se sua versão tiver sido treinada com otimização de modelo inteligente, considere o seguinte:

• Cada modelo na versão pode ter uma seleção de recursos diferente, dependendo de como o algoritmo analisou os dados.

• Na guia Modelos, leia o Resumo do treinamento do modelo do modelo antes de se aprofundar na análise específica. O Resumo do treinamento do modelo mostra um resumo de como o AutoML otimizou automaticamente o modelo por meio da iteração na seleção de recursos e da aplicação de transformações avançadas.

Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

Análise de modelos treinados sem otimização inteligente

Como alternativa, você pode ter desativado a otimização inteligente do modelo para a versão do treinamento. A otimização manual de modelos pode ser útil se você precisar de mais controle sobre o processo de treinamento.

Se você tiver usado a otimização manual, todos os modelos da versão terão a mesma seleção de recursos, portanto, não é necessário um Resumo do treinamento do modelo.

Inspeção da configuração

Durante o pré-processamento, os recursos podem ter sido excluídos do uso no treinamento. Isso geralmente acontece porque se conhece mais informações sobre os dados à medida que o treinamento avança do que antes de executar a versão.

Depois de revisar o Resumo do treinamento do modelo (mostrado apenas com otimização inteligente), você poderá examinar mais de perto a configuração do experimento se precisar verificar essas outras alterações.

Faça o seguinte:

1. No experimento, alterne para a guia Dados.

2. Certifique-se de estar na Exibição de esquema.

3. Use o menu suspenso na barra de ferramentas para selecionar um modelo da versão.

4. Analise o esquema do modelo. Talvez você queira se concentrar nas colunas Insights e Tipo de recurso para ver se certos recursos foram descartados ou transformados em um tipo de recurso diferente.

   Por exemplo, é possível que um recurso inicialmente marcado como Possível texto livre tenha sido excluído depois que você executou a versão.

   Para obter mais informações sobre o significado de cada um dos insights, consulte Interpretando ideias do conjunto de dados.

Observe que, se você executou a versão com a opção de otimização inteligente padrão, cada modelo da versão poderá ter uma seleção de recursos diferente devido ao refinamento automático. Se a versão foi executada sem otimização inteligente, a seleção de recursos será a mesma para todos os modelos da versão. Para obter mais informações sobre otimização de modelo inteligente, consulte Otimização de modelo inteligente.

Com base no que encontrar nessa configuração, talvez seja necessário retornar ao estágio de preparação do conjunto de dados para melhorar os dados dos recursos.

Iniciando uma análise detalhada

Há várias maneiras de iniciar uma análise detalhada de um modelo específico:

• Selecione um modelo na guia Dados ou Modelos, clique em ao lado do modelo e clique em Analisar.

• Clique na guia Analisar quando tiver um modelo selecionado.

• Se você já estiver visualizando uma análise detalhada de um modelo, use o menu suspenso na barra de ferramentas para selecionar um modelo diferente.

O conteúdo analítico depende do tipo de modelo, conforme definido pelo alvo do experimento. Métricas diferentes estarão disponíveis para diferentes tipos de modelo.

Navegando por análises integradas

Use a interface interativa para analisar o modelo com análises integradas.

Alternando entre pastas

O painel Pastas permite alternar entre as pastas na análise. Cada pasta tem um foco específico. O painel pode ser expandido e recolhido conforme necessário.

Fazendo seleções

Use seleções para refinar os dados. Você pode selecionar recursos e detalhar valores e intervalos específicos. Isso permite que você dê uma olhada mais de perto, se necessário. Em alguns casos, pode ser necessário fazer uma ou mais seleções para que as visualizações sejam exibidas. Clique em valores de dados em visualizações e painéis de filtro para fazer seleções.

Você pode trabalhar com seleções ao:

• Selecione valores clicando em conteúdo, definindo intervalos e desenhando.

• Pesquise em gráficos para selecionar valores.

• Clique em um campo selecionado na barra de ferramentas na parte superior da análise integrada. Isso permite que você pesquise em seleções existentes, bloqueie ou desbloqueie-as e modifique-as ainda mais.

• Na barra de ferramentas na parte superior da análise integrada, clique em para remover uma seleção. Limpe todas as seleções clicando no ícone .

• Avance e retroceda em suas seleções clicando em e .

A análise contém painéis de filtro para facilitar o refinamento dos dados. Em um painel de filtro, clique na caixa de seleção de um valor para fazer uma seleção. Se o painel de filtro contiver várias caixas de listagem, clique em uma caixa de listagem para expandi-la e faça as seleções desejadas.

Exportação de dados para o catálogo

Você pode exportar os dados usados na análise detalhada para o catálogo. Os dados são exportados para um espaço em Qlik Cloud Analytics. Você pode usar os dados exportados para criar seus próprios aplicativos do Qlik Sense a partir de dados para análises personalizadas.

Para obter mais informações, consulte Exportando dados de treinamento do modelo.

Analisando a acurácia da previsão

Como você interpreta a acurácia das previsões dependerá da estrutura do seu conjunto de dados de treinamento e do seu caso de uso de aprendizado de máquina. Além disso, a interpretação dessas visualizações depende do tipo de modelo. Mais informações são fornecidas para cada tipo de modelo nas seções abaixo.

A seção Previsões da pasta Visão geral do modelo fornece uma visão geral agregada de quantas previsões o modelo está fazendo correta e incorretamente.

Usando a pasta Previsões e distribuição de recursos, concentre-se em um recurso específico para analisar a natureza das imprecisões de previsão. Selecione um único recurso no painel de filtro no lado esquerdo da pasta. Para todos os tipos de modelo, esta pasta mostra imprecisões de previsão e distribuição de valor real lado a lado para ajudar a colocar os dados em perspectiva.

Modelos de classificação binária

Analisando o modelo inteiro

Na seção Previsões da pasta Visão geral do modelo, os dados brutos definidos na matriz de confusão são mostrados. Isso inclui verdadeiros e falsos positivos e verdadeiros e falsos negativos. Esses valores são apresentados como totais estáticos para que não respondam às seleções. Para saber mais sobre o que esses valores significam, consulte Matriz de confusão.

Analisando subconjuntos dos dados

Na pasta Previsões e distribuição de recursos, o gráfico Previsto errado mostra uma barra para cada valor ou intervalo de recurso possível no recurso, com a altura da barra correspondendo a quantas previsões incorretas o modelo fez. Cada cor na barra corresponde a cada um dos valores-alvo reais. Selecione um único recurso e valores de quaisquer outros campos desejados para visualizar como a acurácia da previsão muda para diferentes subconjuntos de dados.

Modelos de classificação multiclasse

Analisando o modelo inteiro

Na seção Previsões da pasta Visão geral do modelo, um gráfico de barras é mostrado com uma barra para cada um dos valores-alvo reais. A altura de cada cor de uma barra corresponde a quantas vezes uma classe específica é prevista pelo modelo. Além deste gráfico, a seção Previsões também mostra uma análise das previsões corretas versus incorretas.

Analisando subconjuntos dos dados

Na pasta Previsões e distribuição de recursos, o gráfico Previsto errado mostra uma barra para cada valor ou intervalo de recurso possível, com a altura da barra correspondendo a quantas previsões incorretas o modelo fez. Cada cor na barra corresponde a cada um dos valores-alvo reais.

Modelos de regressão

Para modelos de regressão, você pode visualizar as seguintes informações no nível do modelo e do recurso:

• Valor médio previsto para o alvo

• Valor alvo real

• Intervalos de previsão do nonagésimo e décimo percentil. Essas linhas mostram os intervalos nos quais você pode esperar que o modelo preveja um valor. A linha do nonagésimo percentil sempre será a linha com os valores maiores.

• Erro absoluto médio (MAE)

Para visualizações de todo o modelo e específicas do recurso, analise as métricas juntamente com a distribuição de valor real para o recurso.

Analisando a importância do recurso

Acessando uma visão geral

A análise da importância do recurso fornece uma indicação de como cada recurso está influenciando as previsões em relação aos outros recursos.

A seção Impacto do recurso da pasta Visão geral do modelo fornece uma visão geral agregada dos valores médios absolutos do SHAP. Este gráfico parece o mesmo que o gráfico de importância de SHAP na guia Modelos. O gráfico é atualizado com base nas seleções que você faz. Ao selecionar um único recurso, você pode detalhar seus valores e intervalos específicos para obter mais detalhes.

Analisando a distribuição de SHAP

Você também pode abrir a pasta Impacto por recurso para obter uma visão mais abrangente dos valores de SHAP para cada valor ou intervalo de recurso. Os valores de SHAP são apresentados com direção, em vez de valores absolutos.

Esta análise pode ajudar você a identificar padrões em coortes específicas, bem como encontrar discrepâncias nos dados. Faça seleções de valores ou intervalos no gráfico para filtrar os dados para uma análise mais granular.

A aparência e o tipo do gráfico dependem do tipo de recurso selecionado.

Recursos categóricos

Os recursos categóricos são visualizados como um gráfico de caixa. O gráfico de caixa ajuda você a ver a distribuição dos valores de SHAP para cada valor categórico. O gráfico de caixa tem a seguinte configuração:

• Mostra valores médios de SHAP.

• A configuração Padrão (Tukey) é usada:

  • A caixa para um valor é definida pelo primeiro quartil (extremidade inferior) e terceiro quartil (extremidade superior).

  • A mediana é a linha horizontal dentro da caixa.

• Os bigodes superior e inferior correspondem aos limites superior e inferior do intervalo interquartil de 1,5.

• Valores atípicos não são mostrados.

Recursos numéricos

Para recursos numéricos, os valores de SHAP são visualizados como um gráfico de dispersão. O gráfico de dispersão tem a seguinte configuração:

• Os valores de SHAP para a amostra selecionada são mostrados.

• A aparência do gráfico de dispersão depende do número de pontos de dados a serem exibidos. Para gráficos com um número menor de pontos de dados, bolhas individuais são mostradas. Para gráficos com um grande número de pontos de dados, as bolhas são coletadas em blocos, com coloração para indicar quantos pontos de dados estão dentro de cada bloco.

No gráfico de dispersão, faça seleções de valores ou intervalos específicos para um exame mais detalhado.