Métodos de atualização de destino

Você pode definir qual método de atualização usar, durante a configuração inicial da tarefa ou posteriormente nas Configurações da tarefa de dados. Não é possível alterar o método de atualização depois que a tarefa de dados foi preparada.

Os métodos de atualização disponíveis são determinados pelo tipo de tarefa e pelos recursos do conector. Os tipos de tarefas de movimentação de dados disponíveis são aterrissagem, replicação ou aterrissagem de dados em um data lake.

Atualizar métodos ao aterrisar dados em projetos de pipeline de dados

• Alterar captura de dados (CDC) usando tabelas de alteração

  A tarefa de dados começa com um carregamento total Os dados de destino são mantidos atualizados usando carregamento incremental com base em campos de data. CDC pode não ser suportado por todas as fontes de dados.

  Nota informativaNão há suporte para operações DELETE. Isso significa que, se uma linha for excluída na origem, ela não será excluída nos dados de aterrisagem. Se o tratamento de exclusão for importante, use Recarregar e comparar.

  Ao trabalhar sem Gateway Data Movement ou ao usar conectores regulares de aplicativos SaaS, você define o intervalo usando o Agendador. Para obter mais informações, consulte Scheduling tasks. Ao trabalhar com Gateway Data Movement e ao usar conectores Lite de aplicativos SaaS, você define o intervalo entre a leitura de alterações da fonte, em Configurações > Ajuste do processamento de alterações.

• Recarregar e comparar

  A tarefa de dados executa carregamentos totais somente da origem. Isso é útil se sua origem não oferece suporte a CDC, por exemplo, ou se você deseja que operações DELETE (que não são suportadas por CDC) sejam propagadas para o destino. Recarregar e comparar pode ser usado com qualquer fonte de dados compatível e pode ser programado para ocorrer periodicamente.

Atualizar métodos ao replicar para destinos de banco de dados ou armazém de dados

• Carga total: Carrega os dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente se necessário. O carregamento total manual seria necessário, por exemplo, se você precisasse replicar atualizações em visualizações (que não são capturadas durante a CDC) ou se estivesse replicando de uma fonte de dados que não aceita CDC.

  Nota informativaAo usar um conector de aplicativo SaaS, esta opção estará sempre ativada, pois o carregamento total é necessário.

• Aplicar alterações: Mantém as tabelas de destino atualizadas com quaisquer alterações feitas nas tabelas de origem.

• Armazenar alterações: Armazena as alterações nas tabelas de origem em Tabelas de alterações (uma por tabela de origem).

  Para obter mais informações, consulte Salvar alterações.

Ao trabalhar com Gateway Data Movement, exceto ao usar fontes de aplicativos SaaS, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem Gateway Data Movement (por exemplo, com uma assinatura do Iniciante do Qlik Talend Cloud ou ao selecionar Nenhum) ou ao usar fontes de aplicativos SaaS, as alterações são capturadas de acordo com as configurações do agendador. Para obter mais informações, consulte Scheduling tasks.

Atualizar métodos ao replicar para armazenamento na nuvem (data lakes)

• Captura de dados de alteração (CDC) usando Tabelas de Alteração: As tarefas de aterrissagem do data lake começam com um carregamento total (durante o qual todas as tabelas selecionadas são carregadas no destino). Os dados de destino são então mantidos atualizados usando a tecnologia CDC (Captura de dados alterados).

  Nota informativaNão há suporte para a CDC (Captura de dados de alterações) de operações DDL.

  Ao trabalhar com Gateway Data Movement, exceto ao usar uma fonte de aplicativo SaaS, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem Gateway Data Movement ou com fontes de aplicativos SaaS, as alterações são capturadas de acordo com as configurações do agendador. Para obter mais informações, consulte Scheduling tasks.

• Recarregar: Faz um carregamento total dos dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente ou agendado para ocorrer periodicamente, se necessário.

  Nota informativaEsta configuração não está disponível ao usar um conector de aplicativo SaaS.

Entendendo a captura de dados de alteração programada (CDC)

Ao trabalhar sem o Gateway Data Movement ou ao usar conectores de aplicativos SaaS que não são conectores Lite, as alterações são capturadas de acordo com um intervalo agendado. É importante estar ciente de como o agendamento funciona, o que é melhor demonstrado por meio de um exemplo. No exemplo a seguir, uma tarefa foi agendada para ser executada a cada 30 minutos, começando às 9h.

• A tarefa começa às 9:00 com carregamento total.
• O carregamento total termina às 9h40, o que significa que a execução das 9h30 será ignorada.
• A próxima execução começa às 10h e captura todas as alterações confirmadas até as 10h.
• A execução das 10h termina às 10h15.
• A próxima execução começa às 10h30 e captura todas as alterações que ocorreram entre 10h e 10h30.