Refinando modelos

Depois de criar alguns modelos iniciais, é importante refiná-los para aumentar sua eficácia e exatidão potencial. As pontuações do modelo indicam diferentes medidas desse desempenho. Embora o objetivo de refinar os modelos seja aumentar essas pontuações, uma pontuação mais alta nem sempre indica um modelo melhor.

Você pode refinar seus modelos excluindo ou incluindo recursos, alterando os dados de treinamento e modificando outros parâmetros de configuração. Ao fazer isso, você pode comparar diferentes versões para ver o efeito que suas alterações têm.

Ao interpretar as pontuações, você aprenderá como refinar o modelo. Os valores das diferentes métricas podem fornecer insights sobre quais ações tomar para melhorar o resultado.

Requisitos e permissões

Para saber mais sobre os requisitos do usuário para trabalhar com experimentos de ML, consulte Trabalhando com experimentos.

Configurando uma nova versão

Depois de executar uma versão experimental, você poderá refinar seus modelos, se necessário, criando uma nova versão.

Faça o seguinte:

1. Na tabela Métricas de modelo, selecione o modelo que deseja refinar.

2. No canto inferior direito, clique em Exibir configuração para abrir o painel Configuração do experimento.

3. Clique em Nova versão.

Depois de criar uma nova versão, você poderá fazer alterações em sua configuração, como:

• Excluindo recursos existentes

• Incluindo recursos excluídos anteriormente

• Alterando ou atualizando o conjunto de dados

• Selecionando ou desmarcando algoritmos

Mais informações sobre essas opções são fornecidas nas seções abaixo.

Ao elaborar uma nova versão, clique no ícone de filtro em Recursos no painel Configuração do experimento. Ao filtrar, você pode visualizar mais facilmente quais recursos foram introduzidos desde que você alterou o conjunto de dados de treinamento. Você também pode ver quais recursos são de engenharia automática e não de engenharia.

Melhorando o conjunto de dados

Se o seu modelo não pontuar bem, talvez você queira revisar o conjunto de dados para resolver quaisquer problemas. Leia mais sobre como melhorar o conjunto de dados em Preparando seu conjunto de dados para o treinamento.

Excluindo recursos

Mais recursos não significam necessariamente um modelo melhor. Para refinar o modelo, você deseja excluir recursos não confiáveis e irrelevantes, como:

• Recursos com correlação muito alta. De dois recursos correlacionados, exclua aquele com menor importância de recurso.

• Recursos com importância muito baixa. Esses recursos não fornecem nenhuma influência sobre o que você está tentando aprender.

• Recursos com importância muito alta. Pode ser devido a vazamento de dados.

Teste para remover o recurso dos dados de treinamento, execute o treinamento novamente e verifique se isso melhora o modelo. Isso faz uma grande diferença ou nenhuma para a pontuação do modelo?

Faça o seguinte:

1. Abra um experimento do Catálogo.

2. Selecione o modelo que deseja refinar.

3. No canto inferior direito, clique em Exibir configuração para abrir o painel Configuração do experimento.

4. Clique em Nova versão para configurar uma nova versão do experimento.

5. Em Recursos, desmarque as caixas de seleção de qualquer recurso que você não deseja usar no treinamento.

Adicionando recursos

Se o seu modelo ainda não estiver pontuando bem, pode ser porque os recursos que têm um relacionamento com o alvo ainda não foram capturados no conjunto de dados. Você pode reprocessar e redefinir seu conjunto de dados para otimizar a qualidade dos dados e adicionar novos recursos e informações. Quando estiver pronto, o novo conjunto de dados poderá ser adicionado a versões futuras do experimento. Consulte Alterando e atualizando o conjunto de dados.

Leia mais sobre como capturar ou projetar novos recursos em Criando novas colunas de recursos.

Selecionando algoritmos

Com base no tipo de dados de sua coluna alvo, os algoritmos adequados são selecionados automaticamente para treinamento. Você pode excluir os algoritmos que não funcionam tão bem ou são mais lentos. Desta forma, você não precisa perder tempo com eles para treinamento.

Para obter mais informações sobre como os algoritmos são escolhidos, consulte Algoritmos.

Faça o seguinte:

1. Abra um experimento do Catálogo.

2. Selecione o modelo que deseja refinar.

3. No canto inferior direito, clique em Exibir configuração para abrir o painel Configuração do experimento.

4. Clique em Nova versão para configurar uma nova versão do experimento.

5. Em Algoritmos, desmarque as caixas de seleção dos algoritmos que você não deseja usar no treinamento.

Alterando e atualizando o conjunto de dados

Se os seus dados de treino foram alterados desde a última versão do experimento, pode alterar ou atualizar o conjunto de dados para versões futuras do experimento.

Isso pode ser útil se você quiser comparar as métricas e o desempenho do modelo para diferentes conjuntos de dados no mesmo experimento. Por exemplo, isso é útil se:

• Um novo conjunto de registros de dados está disponível ou foram feitas atualizações no conjunto original de registros de dados. Por exemplo, as transações do último mês podem ter-se tornado disponíveis e apropriadas para utilização na formação, ou um problema de recolha de dados pode ter sido identificado e resolvido.

• O conjunto de dados de treinamento original foi reprocessado ou reaproveitado, talvez com a intenção de melhorar o treinamento do modelo. Por exemplo, você pode ter melhorado a lógica para definir valores de colunas de recursos ou até mesmo adicionado novas colunas de recursos.

Alterar ou atualizar o conjunto de dados não altera os modelos existentes que já foram treinados em versões anteriores do experimento. Dentro de uma versão experimental, os modelos são treinados apenas nos dados de treinamento definidos nessa versão específica.

Requisitos

Ao alterar ou atualizar o conjunto de dados para uma nova versão do experimento, o novo conjunto de dados deverá atender aos seguintes requisitos:

• O nome e o tipo de recurso da coluna de destino precisam ser iguais ao destino no conjunto de dados de treinamento original.

• O número de valores distintos na coluna de destino deve estar dentro do mesmo intervalo exigido para o tipo de experimento determinado. Por exemplo, para um experimento de classificação multiclasse, a coluna alvo no novo conjunto de dados ainda deve ter entre três e dez valores únicos. Para os intervalos específicos, consulte Determinando o tipo de modelo criado.

As outras colunas de recursos podem ser totalmente novas, ter nomes diferentes e conter dados diferentes.

Alterando o conjunto de dados

Faça o seguinte:

1. Na tabela Métricas do modelo em um experimento, selecione um modelo.

2. No canto inferior direito, clique em Exibir configuração para abrir o painel Configuração do experimento.

3. Clique em Nova versão para configurar uma nova versão do experimento.

4. Em Dados de treinamento, clique em Alterar conjunto de dados.

5. Selecione ou carregue o novo conjunto de dados.

Atualizando o conjunto de dados

Faça o seguinte:

1. Na tabela Métricas do modelo em um experimento, selecione um modelo.

2. No canto inferior direito, clique em Exibir configuração para abrir o painel Configuração do experimento.

3. Clique em Nova versão para configurar uma nova versão do experimento.

4. Em Dados de treinamento, clique em Atualizar conjunto de dados.

   Você será notificado se uma atualização do conjunto de dados estiver disponível. Um conjunto de dados normalmente é atualizado quando o arquivo de dados existente é substituído pela criação de um novo arquivo com o mesmo nome.

Comparando versões experimentais

Depois de fazer as alterações, execute o treinamento novamente e compare a nova versão com a antiga para ver o efeito das alterações.

Faça o seguinte:

1. Clique em Executar v2 no canto inferior direito da tela para treinar outra versão experimental.

   (O texto no botão depende do número de versões que você executou.)

2. Na tabela Métricas do modelo, você pode filtrar os modelos usando os menus suspensos para algoritmo, versão e outras propriedades. A tabela também pode ser classificada por colunas de métricas individuais.

Excluindo versões experimentais

Você pode excluir versões experimentais que não deseja manter. Observe que todos os modelos nas versões experimentais também serão excluídos e não poderão ser recuperados.

Faça o seguinte:

1. Na tabela Métricas do modelo, selecione um modelo da versão experimental que deseja excluir.

2. No canto inferior direito, clique em Excluir <número de versão>.

3. Na caixa de diálogo de confirmação, clique em Excluir.