Solução de problemas com tarefas de dados

Esta seção descreve os problemas que podem ocorrer ao trabalhar com tarefas de dados e como solucionar problemas.

Solução de problemas com ambientes

Quando uma tarefa de dados encontrar um erro de ambiente, por exemplo, tempos limite, erros de rede ou erro de conexão, ela tentará novamente a operação automaticamente. Se o erro não for resolvido após uma nova tentativa, a tarefa de dados interromperá a execução e mostrará o status Erro, com uma mensagem de erro.

• Tarefas de aterrissagem com fontes de dados que são acessíveis apenas por meio do Data Movement gateway:

  A operação é repetida um número infinito de vezes, com um intervalo de 5 segundos.

  Se a interrupção for longa, o intervalo será dobrado até que um intervalo de 1800 segundos seja atingido.

• Tarefas de aterrissagem com fontes de dados acessíveis sem o Data Movement gateway , Tarefas de armazenamento, Tarefas de transformação e Tarefas de datamart:

  A operação é repetida 3 vezes, com um intervalo de 1 segundo.

Faça o seguinte:

1. Resolva o erro usando a mensagem de erro.

2. Recarregue ou retome a operação da tarefa de dados.

Solução de problemas com uma tabela específica

Quando uma tarefa de dados encontra um erro ao gravar em uma tabela específica, a tarefa de dados continuará em execução. A tabela com erro mostrará o status Erro, com uma mensagem de erro.

1. Resolva o erro usando a mensagem de erro.

2. Recarregue a tabela que estava com erro.

Solução de problemas de CDC

As tarefas de dados de aterrisagem com o modo de atualização Carregamento total e CDC podem encontrar problemas relacionados ao CDC que afetam toda a tarefa e que não podem ser resolvidos recarregando tabelas específicas. Exemplos de problemas são eventos ausentes, problemas causados pela reorganização do banco de dados de origem ou falha na leitura de eventos do banco de dados de origem.

Você pode recarregar todas as tabelas no alvo para resolver esses problemas.

1. Pare a tarefa de dados e todas as tarefas que os consomem.

2. Abra a tarefa de dados e selecione a guia Monitor.

3. Clique em ... e depois em Recarregar alvo.

Isso recarregará todas as tabelas no destino usando Drop-Create e reiniciará toda a captura de dados alterados a partir de agora.

• As tarefas de armazenamento que consumirem a tarefa de dados de aterrissagem serão recarregadas por meio de comparação e aplicação na próxima execução para sincronização. O histórico existente será mantido. O histórico do tipo 2 será atualizado para refletir as alterações após a execução do processo de recarregamento e comparação.

  O carimbo de data/hora para a data inicial no histórico tipo 2 refletirá a data de recarregamento e não necessariamente a data em que a alteração ocorreu na origem.

• Exibições ao vivo do armazenamento não serão confiáveis durante a operação de destino de recarregamento e até que o armazenamento esteja sincronizado. O armazenamento será totalmente sincronizado quando:

  • Todas as tabelas forem recarregadas usando comparação e aplicação,

  • Um ciclo de alterações é executado para cada tabela.

Para obter mais informações, consulte Recarregando todas as tabelas para o alvo.

Valores NULL em colunas de chave primária

Você pode receber uma mensagem de erro ao executar uma tarefa de dados: Unknown execution error - NULL result in a non-nullable column.

Possível causa  

Colunas usadas como chave primária não devem conter valores NULL e não devem ser não anuláveis.

Ação proposta  

Na tarefa de dados de origem, adicione uma expressão que converta todos os valores NULL em um valor, por exemplo, 0.

Você também pode selecionar outra coluna para usar como chave primária.

Erro de conversão ao usar o Redshift como plataforma de dados

Você pode receber o seguinte erro ou semelhante ao usar o Redshift como plataforma de dados: Falha ao encontrar a função de conversão de "desconhecido" para variação de caracteres

Possível causa  

Ausência de conversão de uma expressão constante. Isso pode acontecer com mais frequência em data marts devido à maior complexidade da consulta final.

Ação proposta  

Converta a expressão constante como texto.

Exemplo:

Nomes de colunas ambíguos

Quando você registra dados com base em uma visualização criada em um pipeline do Qlik Talend Data Integration, a visualização pode conter colunas que foram geradas pelo Qlik Talend Data Integration. Os nomes dessas colunas, começando com hdr__, são reservados. Quando uma coluna com um nome reservado é consumida em uma tarefa de armazenamento, a tarefa de armazenamento criará colunas com o mesmo nome reservado, levando a um conflito de nomes. Por exemplo, você pode ter duas colunas chamadas hdr__key_hash.

Para obter mais informações sobre o nome de colunas reservadas em exibições, consulte Exibições.

Ação proposta  

Renomeie a coluna que vem da tarefa de dados registrados na tarefa de dados de armazenamento. Por exemplo, renomeie hdr__key_hash para my__key_hash.

Solução de problemas de uma tarefa de dados com base no Data Movement gateway

Você pode obter informações sobre operações de aterrissagem para tarefas de dados com base no Data Movement gateway inspecionando arquivos de log. Você também pode definir o nível de registro em log. Os logs estão disponíveis quando a tarefa de dados é concluído pela primeira vez.

Para visualizar arquivos de log, você precisa de uma das seguintes permissões no espaço onde reside a tarefa de dados:

• Proprietário

• Pode operar

Você também precisará de uma das seguintes permissões no espaço onde reside o gateway de dados:

• Pode consumir
• Pode editar
• Pode gerenciar

Exibindo arquivos de log

Abra o visualizador de registros clicando em Exibir logs em uma tarefa de dados de aterrissagem baseada no Data Movement gateway. Você pode selecionar qual arquivo de log exibir em Logs do mecanismo de replicação. Você pode rolar até a parte superior e inferior do arquivo com o e o .

Definindo opções de registro em log

Você pode definir o nível de registro em log para diferentes operações da replicação em Opções de registro em log.

Armazenando rastreamento e registro detalhado na memória

Quando o nível de log é definido como "Trace" ou "Verbose", você pode instruir o Qlik Talend Data Integration para armazenar as informações de registro na memória até que ocorra um erro. Ao detectar um erro, o Qlik Talend Data Integration começará a gravar nos logs físicos e continuará a fazê-lo por alguns minutos após a ocorrência inicial do erro.

Se nenhum erro ocorrer antes que a memória alocada seja esgotada, o Qlik Talend Data Integration esvaziará o buffer de memória e iniciará novamente.

Esta opção é útil para tarefas que falham de forma imprevisível e sem motivo óbvio. O problema de gravar continuamente grandes quantidades de informações nos logs é duplo:

• A execução no modo de registro "Rastreio" ou "Detalhado" consumirá rapidamente o espaço disponível em disco (a menos que as configurações de registro tenham sido configuradas para evitar isso).
• A gravação contínua de grandes quantidades de dados nos logs afetará o desempenho.

Para usar esta opção

1. Marque a caixa de seleção Armazene o log de rastreamento/detalhamento na memória, mas se ocorrer um erro, grave nos logs na parte superior da guia.
2. No Alocar memória até (MB) campo, especifique a quantidade de memória que deseja alocar para armazenar informações de registro.

Configurando níveis de registro

Você pode definir os seguintes níveis:

• 1. Erro

  Mostrar mensagens de erro.

• 2. Aviso

  Mostrar avisos.

• 3. Informações

  Mostrar mensagens informativas.

• 4. Depurar

  Mostre informações adicionais para fins de solução de problemas.

• 5. Depuração detalhada

  Mostrar informações detalhadas para fins de solução de problemas.

Os níveis mais altos sempre incluem as mensagens dos níveis mais baixos. Portanto, se você selecionar Erro, somente as mensagens de erro serão gravadas no log. No entanto, se você selecionar Informações, mensagens informativas, avisos e mensagens de erro serão incluídos. Em geral, usar os níveis Depuração e Depuração detalhada pode gerar grandes quantidades de dados de log.

Você pode usar Global para definir o mesmo nível para todas as operações ou definir o nível individualmente para cada operação.

• Origem - carregamento total

  Registra a atividade relacionada às operações de carregamento total na fonte de dados. Isso inclui as instruções SELECT executadas nas tabelas de origem antes do carregamento total.

• Origem - CDC

  Registra a atividade relacionada às operações de CDC na fonte de dados.

  Nota de advertênciaDefinir isso para o nível de depuração detalhada gerará grandes quantidades de dados no log.

• Origem – dados

  Registro em log detalhado da atividade da fonte de dados relacionada ao carregamento total e às operações de CDC.

• Destino - carregamento total

  Registra a atividade relacionada às operações de carregamento total no destino.

• Destino - CDC

  Registra a atividade relacionada às operações de CDC no destino.

• Destino – upload

  Registra a atividade quando os arquivos são transferidos para o destino.

• CDC estendida

  Registro em log detalhado da atividade de CDC, como sincronização e armazenamento de transações.

• Desempenho

  Registra valores de latência para origem e destino.

• Metadados

  Registra atividades relacionadas à leitura de metadados, bem como alterações de metadados. O status da tarefa de replicação também é registrado.

• Infraestrutura

  Registra informações de infraestrutura, operações do sistema de arquivos e gerenciamento de tarefas.

• Transformação

  Registra informações relacionadas a transformações que são realizadas.

Baixar arquivos de diagnóstico

Você pode baixar um pacote de diagnóstico, logs de tarefas e um relatório de memória para ajudá-lo a solucionar problemas na tarefa de replicação associada à tarefa de aterrisagem. Você só pode baixar um item por vez.

1. No visualizador de log, clique em Baixar para expandir.

2. Selecione o item a ser baixado.

3. Clique em Baixar.

   O arquivo será baixado para o seu computador ou você será solicitado a salvá-lo, dependendo das configurações do seu navegador.

Solução de problemas de uma tarefa de dados que não está usando o Data Movement gateway

É possível obter informações sobre operações de destino para tarefas de dados que não usam o Data Movement gateway inspecionando arquivos de log. Você também pode definir o nível de registro em log. Os logs estão disponíveis quando a tarefa de dados é concluído pela primeira vez. Você pode visualizar logs de tarefas e logs do servidor.

Exibindo logs de tarefas

Para visualizar arquivos de log da tarefa, você precisa de uma das seguintes permissões no espaço onde reside a tarefa de dados:

• Proprietário

• Pode operar

Você também precisará de uma das seguintes permissões no espaço onde reside o gateway de dados:

• Pode consumir
• Pode editar
• Pode gerenciar

Abra o visualizador de log clicando em Exibir logs da tarefa em uma tarefa de dados de aterrisagem que não usa o Data Movement gateway. Você pode selecionar qual arquivo de log exibir em Logs do mecanismo de replicação. Você pode rolar até a parte superior e inferior do arquivo com o e o .

Você pode definir o nível de registro em log para diferentes operações da replicação em Opções de registro em log. Para obter mais informações, consulte Definindo opções de registro em log.

Visualizando logs de movimentação de dados

Para visualizar logs de movimentação de dados, você precisa de uma função de administrador de dados ou administrador de locatários.

Abra o visualizador de log clicando em Exibir logs de movimentação de dados em uma tarefa de dados de aterrisagem que não usa o Data Movement gateway. Para obter mais informações sobre os logs, consulte Visualizando e fazendo download de arquivos de log.