Refinando modelos

Depois de criar alguns modelos iniciais, é importante refiná-los para aumentar sua eficácia e exatidão potencial. As pontuações do modelo indicam diferentes medidas desse desempenho. Embora o objetivo de refinar os modelos seja aumentar essas pontuações, uma pontuação mais alta nem sempre indica um modelo melhor.

Você pode refinar seus modelos excluindo ou incluindo recursos, alterando os dados de treinamento e modificando outros parâmetros de configuração. Ao fazer isso, você pode comparar diferentes versões para ver o efeito que suas alterações têm.

Ao interpretar as pontuações, você aprenderá como refinar o modelo. Os valores das diferentes métricas podem fornecer insights sobre quais ações tomar para melhorar o resultado.

Requisitos e permissões

Para saber mais sobre os requisitos do usuário para trabalhar com experimentos de ML, consulte Trabalhando com experimentos.

Configurando uma nova versão

Depois de executar uma versão experimental, você poderá refinar seus modelos, se necessário, criando uma nova versão.

Faça o seguinte:

1. Na guia Dados, Modelos ou Analisar, selecione o modelo a ser usado como base para a próxima versão.

2. Clique em Exibir configuração.

   O painel de configuração do experimento é aberto.

3. Clique em Nova versão.

Depois de criar uma nova versão, você poderá fazer alterações em sua configuração, como:

• Excluindo recursos existentes

• Incluindo recursos excluídos anteriormente

• Alterando ou atualizando o conjunto de dados

• Selecionando ou desmarcando algoritmos

Mais informações sobre essas opções são fornecidas nas seções abaixo.

Ao elaborar uma nova versão, clique no ícone de filtro em Recursos no painel de configuração do experimento. Ao filtrar, você pode visualizar mais facilmente quais recursos foram introduzidos desde que você alterou o conjunto de dados de treinamento. Você também pode ver quais recursos são de engenharia automática e não de engenharia.

Melhorando o conjunto de dados

Se o seu modelo não pontuar bem, talvez você queira revisar o conjunto de dados para resolver quaisquer problemas. Leia mais sobre como melhorar o conjunto de dados em Preparando seu conjunto de dados para o treinamento.

Excluindo recursos

Mais recursos não significam necessariamente um modelo melhor. Para refinar o modelo, você deseja excluir recursos não confiáveis e irrelevantes, como:

• Recursos com correlação muito alta. De dois recursos correlacionados, exclua aquele com menor importância de recurso.

• Recursos com importância muito baixa. Esses recursos não fornecem nenhuma influência sobre o que você está tentando aprender.

• Recursos com importância muito alta. Pode ser devido a vazamento de dados.

Teste para remover o recurso dos dados de treinamento, execute o treinamento novamente e verifique se isso melhora o modelo. Isso faz uma grande diferença ou nenhuma para a pontuação do modelo?

Faça o seguinte:

1. Abra um experimento do Catálogo.

2. Na guia Dados, Modelos ou Analisar, selecione o modelo a ser usado como base para a próxima versão.

3. Clique em Exibir configuração.

   O painel de configuração do experimento é aberto.

4. Clique em Nova versão para configurar uma nova versão do experimento.

5. Em Recursos, desmarque as caixas de seleção de qualquer recurso que você não deseja usar no treinamento.

Adicionando recursos

Se o seu modelo ainda não estiver pontuando bem, pode ser porque os recursos que têm um relacionamento com o alvo ainda não foram capturados no conjunto de dados. Você pode reprocessar e redefinir seu conjunto de dados para otimizar a qualidade dos dados e adicionar novos recursos e informações. Quando estiver pronto, o novo conjunto de dados poderá ser adicionado a versões futuras do experimento. Consulte Alterando e atualizando o conjunto de dados.

Leia mais sobre como capturar ou projetar novos recursos em Criando novas colunas de recursos.

Selecionando algoritmos

Com base no tipo de dados de sua coluna alvo, os algoritmos adequados são selecionados automaticamente para treinamento. Você pode excluir os algoritmos que não funcionam tão bem ou são mais lentos. Desta forma, você não precisa perder tempo com eles para treinamento.

Para obter mais informações sobre como os algoritmos são escolhidos, consulte Entendendo os algoritmos de modelo.

Faça o seguinte:

1. Abra um experimento do Catálogo.

2. Na guia Dados, Modelos ou Analisar, selecione o modelo a ser usado como base para a próxima versão.

3. Clique em Exibir configuração.

   O painel de configuração do experimento é aberto.

4. Clique em Nova versão para configurar uma nova versão do experimento.

5. Em Algoritmos, desmarque as caixas de seleção dos algoritmos que você não deseja usar no treinamento.

Alterando e atualizando o conjunto de dados

Se os seus dados de treino foram alterados desde a última versão do experimento, pode alterar ou atualizar o conjunto de dados para versões futuras do experimento.

Isso pode ser útil se você quiser comparar as métricas e o desempenho do modelo para diferentes conjuntos de dados no mesmo experimento. Por exemplo, isso é útil se:

• Um novo conjunto de registros de dados está disponível ou foram feitas atualizações no conjunto original de registros de dados. Por exemplo, as transações do último mês podem ter-se tornado disponíveis e apropriadas para utilização na formação, ou um problema de recolha de dados pode ter sido identificado e resolvido.

• O conjunto de dados de treinamento original foi reprocessado ou reaproveitado, talvez com a intenção de melhorar o treinamento do modelo. Por exemplo, você pode ter melhorado a lógica para definir valores de colunas de recursos ou até mesmo adicionado novas colunas de recursos.

Alterar ou atualizar o conjunto de dados não altera os modelos existentes que já foram treinados em versões anteriores do experimento. Dentro de uma versão experimental, os modelos são treinados apenas nos dados de treinamento definidos nessa versão específica.

Requisitos

Ao alterar ou atualizar o conjunto de dados para uma nova versão do experimento, o novo conjunto de dados deverá atender aos seguintes requisitos:

• O nome e o tipo de recurso da coluna de destino precisam ser iguais ao destino no conjunto de dados de treinamento original.

• O número de valores distintos na coluna de destino deve estar dentro do mesmo intervalo exigido para o tipo de experimento determinado. Por exemplo, para um experimento de classificação multiclasse, a coluna alvo no novo conjunto de dados ainda deve ter entre três e dez valores únicos. Para os intervalos específicos, consulte Determinando o tipo de modelo criado.

As outras colunas de recursos podem ser totalmente novas, ter nomes diferentes e conter dados diferentes.

Alterando o conjunto de dados

Faça o seguinte:

1. Na guia Dados, Modelos ou Analisar, selecione o modelo a ser usado como base para a próxima versão.

2. Clique em Exibir configuração.

   O painel de configuração do experimento é aberto.

3. Clique em Nova versão para configurar uma nova versão do experimento.

4. Em Dados de treinamento, clique em Alterar conjunto de dados.

5. Selecione ou carregue o novo conjunto de dados.

Atualizando o conjunto de dados

Faça o seguinte:

1. Na guia Dados, Modelos ou Analisar, selecione o modelo a ser usado como base para a próxima versão.

2. Clique em Exibir configuração.

   O painel de configuração do experimento é aberto.

3. Clique em Nova versão para configurar uma nova versão do experimento.

4. Em Dados de treinamento, clique em Atualizar conjunto de dados.

   Você será notificado se uma atualização do conjunto de dados estiver disponível. Um conjunto de dados normalmente é atualizado quando o arquivo de dados existente é substituído pela criação de um novo arquivo com o mesmo nome.

Executando a versão refinada

Quando terminar de configurar a versão, você poderá executá-la.

Faça o seguinte:

• Clique em Executar v2 no canto inferior direito da tela.

  (O texto no botão depende do número de versões que você executou.)

Comparando versões experimentais

Após a nova versão terminar o treinamento, compare a nova versão com a antiga para ver o efeito das suas alterações. Você tem várias opções para comparar modelos entre versões do experimento.

Análise rápida

Use as guias Modelos e Dados no experimento para comparar a versão com versões mais antigas. Na guia Modelos, você pode:

• Visualizar os resultados na tabela Métricas do modelo.

• Alterne entre modelos para visualizar as diferenças no Resumo do treinamento do modelo e outros gráficos gerados automaticamente.

Para obter mais informações sobre análise rápida do modelo, consulte Executando análise rápida de modelo.

Análise aprofundada

Você pode se aprofundar mais na análise do seu modelo alternando para as guias Comparar e Analisar no experimento. Essas guias oferecem uma experiência de análise integrada, onde você pode avaliar interativamente os modelos em um nível mais granular.

A guia Comparar oferece comparação de pontuações de modelo e hiperparâmetros em todos os modelos. A guia Analisar permite que você se concentre em um modelo específico para avaliar a acurácia da previsão, a importância do recurso e outros detalhes.

Para obter mais informações, consulte Comparando modelos e Executando análise detalhada de modelo.

Alterando configurações de otimização do modelo

Você pode desativar a otimização inteligente após executar uma versão na qual ela foi ativada. Isso permite que você use as ideias fornecidas pela otimização inteligente, ao mesmo tempo em que fornece o controle necessário para fazer ajustes mínimos e menores. Como alternativa, você pode ativar a otimização inteligente do modelo após executar uma ou mais versões com a configuração desativada.

A otimização de hiperparâmetros é uma configuração que pode ser útil para ativar durante o processo de refinamento do modelo. Geralmente, não é recomendado ter essa configuração ativada para a primeira versão do experimento.

Você também pode alterar a utilização ou não de treinamento com reconhecimento de tempo ou alterar a coluna usada como índice de datas.

Faça o seguinte:

1. Clique em Exibir configuração.

2. Se necessário, clique em Nova versão para configurar uma nova versão do experimento.

3. No painel, expanda Otimização do modelo.

4. Alterne entre as configurações Inteligente e Manual para ativar ou desativar a otimização inteligente do modelo.

5. Se desejar ativar a otimização de hiperparâmetros, clique na caixa de seleção Otimização de hiperparâmetros e defina um tempo máximo de treinamento.

6. Em Divisão do treinamento de teste baseada em tempo, você pode alterar as configurações para o treinamento com reconhecimento de tempo:

   1. Para ativar o treinamento com reconhecimento de tempo, altere o valor padrão de Nenhum selecionando uma coluna específica de Índice de datas no conjunto de dados.

   2. Para desativar o treinamento com reconhecimento de tempo, defina o Índice de datas como o valor Nenhum.

   3. Altere a coluna selecionada do Índice de datas para outra coluna.

Excluindo versões experimentais

Você pode excluir versões experimentais que não deseja manter. Observe que todos os modelos nas versões experimentais também serão excluídos e não poderão ser recuperados.

Faça o seguinte:

1. Alterne para a guia Modelos.

2. Na tabela Métricas do modelo, selecione um modelo da versão experimental que deseja excluir.

   Nota de dicaVocê também pode selecionar um modelo quando estiver nas guias Dados ou Analisar, usando o menu suspenso na barra de ferramentas.

3. No canto inferior direito, clique em Excluir <número de versão>.

4. Na caixa de diálogo de confirmação, clique em Excluir.