Uma visão geral dos métodos de atualização de destino

Você pode definir qual método de atualização usar, durante a configuração inicial da tarefa ou posteriormente nas Configurações da tarefa de dados. Não é possível alterar o método de atualização depois que a tarefa de dados foi preparada. Os métodos de atualização disponíveis dependem do tipo de tarefa: aterrisagem, replicação ou aterrisagem de dados em um data lake.

Métodos de atualização ao obter dados

• Captura de dados de alteração (CDC)

  A tarefa de dados começa com um carregamento total Os dados de destino são mantidos atualizados usando carregamento incremental com base em campos de data. O CDC talvez não tenha suporte por todas as fontes de dados.

  Nota informativaNão há suporte para operações DELETE. Isso significa que, se uma linha for excluída na origem, ela não será excluída nos dados de aterrisagem. Se o tratamento de exclusão for importante, use Recarregar e comparar.

  Ao trabalhar com o Data Movement gateway e dados de aterrisagem de aplicativos SaaS, você define o intervalo entre as alterações de leitura da fonte, em Configurações > Tempo de execução. Ao trabalhar sem o Data Movement gateway, você define o intervalo usando o Agendador. Para obter mais informações, consulte Programando tarefas de CDC ao trabalhar sem o Data Movement gateway.

• Recarregar e comparar

  A tarefa de dados executa carregamentos totais somente da origem. Isso é útil se sua origem não oferece suporte a CDC, por exemplo, ou se você deseja que operações DELETE (que não são suportadas por CDC) sejam propagadas para o destino. Recarregar e comparar pode ser usado com qualquer fonte de dados compatível e pode ser programado para ocorrer periodicamente.

Atualizar métodos ao replicar para destinos de banco de dados ou armazém de dados

• Carregamento total: Carrega os dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente se necessário.

• Aplicar alterações: Mantém as tabelas de destino atualizadas com quaisquer alterações feitas nas tabelas de origem.

• Armazenar alterações: Armazena as alterações nas tabelas de origem em Tabelas de alterações (uma por tabela de origem).

  Para obter mais informações, consulte Armazenar alterações.

Ao trabalhar com o Data Movement gateway, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem o Data Movement gateway (por exemplo, com uma assinatura do Iniciante do Qlik Talend Cloud ou ao selecionar Nenhum), as alterações são capturadas de acordo com as configurações do agendador. Para obter mais informações, consulte Agendando tarefas ao trabalhar sem o Data Movement gateway.

Atualizar métodos ao replicar para armazenamento na nuvem (data lakes)

• Captura de dados de alterações (CDC) As tarefas de preparação de data lake começam com um carregamento total (durante o qual todas as tabelas selecionadas são preparadas). Os dados preparados então permanecem atualizados usando a tecnologia de CDC (Captura de dados de alterações).

  Nota informativaNão há suporte para a CDC (Captura de dados de alterações) de operações DDL.

  Ao trabalhar com o Data Movement gateway, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem o Data Movement gateway, as alterações são capturadas de acordo com as configurações do agendador. Para obter mais informações, consulte Agendando tarefas ao trabalhar sem o Data Movement gateway.

• Recarregamento: Faz um carregamento total dos dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente ou agendado para ocorrer periodicamente, se necessário.

Entendendo a captura de dados de alteração programada (CDC)

Ao trabalhar sem o Data Movement gateway, as alterações são capturadas de acordo com um intervalo agendado. É importante estar ciente de como o agendamento funciona, o que é melhor demonstrado por meio de um exemplo. No exemplo a seguir, uma tarefa foi agendada para ser executada a cada 30 minutos, começando às 9h.

• A tarefa começa às 9:00 com carregamento total.
• O carregamento total termina às 9h40, o que significa que a execução das 9h30 será ignorada.
• A próxima execução começa às 10h e captura todas as alterações confirmadas até as 10h.
• A execução das 10h termina às 10h15.
• A próxima execução começa às 10h30 e captura todas as alterações que ocorreram entre 10h e 10h30.

Limitações

Algumas tabelas retornadas pelo aplicativo SaaS não são compatíveis com o Change data capture (CDC). Nesse caso, você verá uma mensagem de aviso em Erros de validação. Você pode:

• Exclua a tabela da tarefa de dados.

• Altere o método de atualização da tarefa de dados para Recarregar e comparar.