Replicando dados com uma assinatura Standard, Premium ou Enterprise

Para configurar uma tarefa de replicação:

1. Em Integração de Dados > Projetos, clique em Criar projeto.

2. No diálogo Novo projeto, faça o seguinte:

   1. Forneça um Nome para seu projeto.
   2. Selecione o Espaço no qual deseja que o projeto seja criado.
   3. Opcionalmente, forneça uma Descrição.
   4. Selecione Replicação como o Caso de uso.
   5. Opcionalmente, desmarque a caixa de seleção Abrir se desejar criar um projeto vazio sem definir nenhuma configuração.

   6. Clique em Criar.

      Ocorrerá uma das seguintes situações:

      • Se a caixa de seleção Abrir no diálogo Novo projeto estiver selecionada (o padrão), o projeto será aberto.
      • Se você desmarcou a caixa de seleção Abrir no diálogo Novo projeto, o projeto será adicionado à sua lista de projetos. Você pode abrir o projeto posteriormente selecionando Abrir no menu do projeto.

3. Depois que o projeto for aberto, clique em Replicar dados.

   O assistente para Replicar dados é aberto.

4. Na guia Geral, especifique um nome e uma descrição para a tarefa de replicação. Em seguida, clique em Avançar.

5. Na guia Selecionar conexão de origem, selecione uma conexão com os dados de origem. Opcionalmente, você pode editar as configurações de conexão selecionando Editar no menu da coluna Ações.

   Se você ainda não criou uma conexão com sua fonte de dados, será necessário criar uma clicando em Criar conexão no canto superior direito da guia.

   Você pode filtrar a lista de conexões usando os filtros à esquerda. As conexões podem ser filtradas de acordo com tipo de origem, gateway, espaço e proprietário. O botão Todos os filtros acima da lista de conexões mostra o número de filtros atuais. Você pode usar este botão para fechar ou abrir o painel Filtros à esquerda. Os filtros atualmente ativos também são mostrados acima da lista de conexões disponíveis.

   Você também pode classificar a lista selecionando Última modificação, Última criação ou Alfabético na lista suspensa à direita. Clique na seta à direita da lista para alterar a ordem de classificação.

   Depois de selecionar uma conexão de fonte de dados, opcionalmente clique em Testar conexão no canto superior direito da guia (recomendado) e clique em Avançar.

6. Na guia Selecionar conjuntos de dados, selecione tabelas e/ou exibições para incluir na tarefa de replicação. Você também pode usar curingas e criar regras de seleção conforme descrito em Selecionando dados de um banco de dados.

7. Na guia Selecionar conexão de destino, selecione o destino na lista de conexões disponíveis e clique em Avançar. Em termos de funcionalidade, a guia é igual à guia Selecionar conexão de origem descrita anteriormente.

8. Na guia Configurações, altere opcionalmente as configurações a seguir e clique em Avançar.

   Modo de replicação

   Nota informativaAo replicar a partir de fontes de aplicativos SaaS, o modo de replicação Carregamento total é habilitado por padrão e não pode ser desabilitado.
   • Carregamento total: Carrega os dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente se necessário.

   • Aplicar alterações: Mantém as tabelas de destino atualizadas com quaisquer alterações feitas nas tabelas de origem.

   • Armazenar alterações: Armazena as alterações nas tabelas de origem em Tabelas de alterações (uma por tabela de origem).

     Para obter mais informações, consulte Armazenar alterações.

   Ao trabalhar com o Data Movement gateway, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem o Data Movement gateway (definindo Gateway de dados como Nenhum nas configurações do conector), as alterações são capturadas de acordo com as configurações do agendador. O intervalo de captura de alterações padrão é a cada seis horas. Para obter mais informações, consulte Agendando tarefas ao trabalhar sem o Data Movement gateway.

   Aplicar modo de alterações

   Nota informativaAo replicar para destinos de armazém de dados, você não pode selecionar qual modo Aplicar alterações usar. As alterações sempre serão aplicadas no modo Otimizado em lote para máxima eficiência.

   As alterações são aplicadas às tabelas de destino usando um dos seguintes métodos:

   • Otimizado para batch: Este é o padrão. Quando essa opção é selecionada, as alterações são aplicadas em lotes. Ocorre uma ação de pré-processamento para agrupar as transações em lotes da maneira mais eficiente.
   • Transacional: Selecione essa opção para aplicar cada transação individualmente, na ordem em que ela for confirmada. Nesse caso, a integridade referencial estrita é garantida para todas as tabelas.

   Conexão com a área de preparação

   Ao replicar para os armazéns de dados listados abaixo, você precisa definir uma área de teste. Os dados são processados e preparados na área de preparação antes de serem transferidos para o armazém.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Selecione uma área de preparação existente ou clique em Criar nova para definir uma nova área de preparação e siga as instruções em Conectando ao armazenamento na nuvem.

   Para editar as configurações de conexão, clique em Editar. Para testar a conexão (recomendado), clique em Testar conexão.

   Para obter informações sobre quais áreas de preparo são suportadas com quais armazéns de dados, consulte a coluna Compatível como uma área de teste em Casos de uso da plataforma alvo e versões compatíveis.

   Agendador de replicação

   Nota informativaEssa configuração só é relevante ao acessar fontes de dados sem o Data Movement gateway. Para obter informações sobre os benefícios do Data Movement gateway e casos de uso que exigem isso, consulte Qlik Data Gateway - Data Movement.

   • Replicar dados a cada: Você pode agendar a frequência de captura de alterações da fonte de dados e definir uma Hora de início e uma Data de início. Se os conjuntos de dados de origem forem compatíveis com CDC (Captura de dados de alterações), apenas as alterações nos dados de origem serão replicadas e aplicadas às tabelas de destino correspondentes. Se os conjuntos de dados de origem não forem compatíveis com CDC (por exemplo, Visualizações), as alterações serão aplicadas recarregando todos os dados de origem nas tabelas de destino correspondentes. Se alguns dos conjuntos de dados de origem forem compatíveis com CDC e outros não, duas subtarefas separadas serão criadas (assumindo que o Aplicar alterações ou Armazenar alterações , as opções de replicação serão selecionadas): um para recarregar os conjuntos de dados que não são compatíveis com CDC e outro para capturar as alterações nos conjuntos de dados que são compatíveis com CDC.

     O assistente de configuração de tarefas permite agendar um intervalo horário básico. Depois de concluir a configuração da tarefa, você poderá explorar diferentes opções de programação, conforme descrito em Agendando tarefas ao trabalhar sem o Data Movement gateway.

   Para obter informações sobre os intervalos mínimos de agendamento de acordo com o tipo de fonte de dados e o nível de assinatura, consulte Intervalos mínimos de agendamento permitidos.

9. Na guia Resumo, um visual do pipeline de dados é exibido. Se alguns dos conjuntos de dados selecionados não forem compatíveis com CDC, dois pipelines serão exibidos: um para a tarefa de CDC e outro para a tarefa Recarregar. Escolha se deseja Abrir a tarefa de dados <nome> ou Não fazer nada e clique em Criar.

   Dependendo da sua escolha, a tarefa será aberta ou uma lista de projetos será exibida.

10. Se você optar por abrir a tarefa, a guia Conjuntos de dados mostrará a estrutura e os metadados das tabelas de origem selecionadas. Isso inclui todas as tabelas listadas explicitamente, bem como as tabelas que correspondem às regras de seleção.

    Se quiser adicionar mais tabelas da fonte de dados, clique em Selecionar dados de origem.

11. Opcionalmente, altere a configuração da tarefa conforme descrito em Configurações de tarefa de replicação de dados.

12. Você pode realizar transformações nos conjuntos de dados, filtrar dados ou adicionar colunas.

    Para obter mais informações, consulte Gerenciando conjuntos de dados.

13. Depois de adicionar as transformações desejadas, você pode validar os conjuntos de dados clicando em Validar conjuntos de dados. Se a validação falhar, resolva os erros antes de continuar.

    Para obter mais informações, consulte Validando e ajustando os conjuntos de dados.

14. Quando estiver pronto, clique em Preparar para catalogar a tarefa de dados e prepará-la para execução.

15. Quando a tarefa de dados estiver preparada, clique em Executar.

    Para obter informações sobre como recuperar tarefas e outros métodos de execução de tarefas, consulte Opções avançadas de execução.

16. A tarefa de replicação deve começar agora, e você pode ver o progresso em Monitor. Para obter mais informações, consulte Monitorando uma tarefa de dados individual

Definindo prioridade de carregamento para conjuntos de dados

Você pode controlar a ordem de carregamento dos conjuntos de dados em sua tarefa de dados atribuindo uma prioridade de carregamento a cada conjunto de dados. Isso pode ser útil, por exemplo, se você quiser carregar conjuntos de dados menores antes de conjuntos de dados grandes.

1. Clique em Prioridade de carregamento.

2. Selecione uma prioridade de carregamento para cada conjunto de dados.

   A prioridade de carregamento padrão é Normal. Os conjuntos de dados serão carregados na seguinte ordem de prioridade:

   • Maior

   • Mais alta

   • Alta

   • Normal

   • Baixa

   • Mais baixa

   • Menor

   Conjuntos de dados com a mesma prioridade não são carregados em nenhuma ordem específica.

3. Clique em OK.

Atualizando metadados

Você pode atualizar os metadados na tarefa para alinhá-los com as alterações nos metadados da origem na visualização Design de uma tarefa. Para aplicativos SaaS que usam o Metadata Manager, o Metadata Manager deve ser atualizado antes de você poder atualizar os metadados na tarefa de dados.

1. Você pode:

   • Clique em ... e em Atualizar metadados para atualizar os metadados de todos os conjuntos de dados na tarefa.

   • Clique em ... em um conjunto de dados em Conjuntos de dados e, em seguida, em Atualizar metadados para atualizar os metadados de um único conjunto de dados.

   Você pode visualizar o status da atualização de metadados em Atualizar metadados na parte inferior da tela. Você pode ver quando os metadados foram atualizados pela última vez passando o cursor sobre .

2. Prepare a tarefa de dados para aplicar as alterações.

   Depois de preparar a tarefa de dados e as alterações serem aplicadas, elas serão removidas de Atualizar metadados.

Você deve preparar tarefas de armazenamento que consumam essa tarefa para propagar as alterações.

Se uma coluna for removida, uma transformação com valores nulos será adicionada para garantir que o armazenamento não perca dados históricos.

Limitações para atualização de metadados

• Uma renomeação com uma coluna descartada antes dessa, no mesmo intervalo de tempo, será convertida para a renomeação da coluna descartada se elas tiverem o mesmo tipo e comprimento de dados.

  Exemplo:  

  Antes: a b c d

  Depois: a c1 d

  Neste exemplo, b foi descartada, e c foi renomeada como c1. b e c têm o mesmo tipo e comprimento de dados.

  Isso será identificado como uma renomeação de b para c1 e um descarte de c.

• A renomeação da última coluna não é reconhecida, mesmo que a última coluna tenha sido descartada e a anterior tenha sido renomeada.

  Exemplo:  

  Antes: a b c d

  Depos: a b c1

  Neste exemplo, d foi descartada e c foi renomeada como c1.

  Isso será identificado como um descarte de c e d e uma adição de c1.

• Presume-se que novas colunas sejam adicionadas no final. Se forem adicionadas colunas no meio com o mesmo tipo de dados que a coluna seguinte, elas poderão ser interpretadas como uma ação de descarte e renomeação.

Evolução do esquema

A evolução do Esquema permite detectar facilmente alterações estruturais em várias Fontes de dados e, em seguida, controlar como essas alterações serão aplicadas à sua tarefa. A evolução do esquema pode ser usada para detectar alterações de DDL que foram feitas no esquema de dados de origem. Você também pode aplicar algumas alterações automaticamente.

Para cada tipo de alteração, é possível selecionar como lidar com as alterações na seção Evolução do esquema das configurações da tarefa. Você pode aplicar alterações, ignorar a alteração, suspender a tabela ou alterar o processamento da tarefa.

Você pode definir a ação a ser usada para tratar a alteração DDL para cada tipo de alteração. Algumas ações não estão disponíveis para todos os tipos de alteração.

• Aplicar ao destino

  Aplicar alterações automaticamente.

• Ignorar

  Ignorar alterações.

• Suspender tabela

  Suspender a tabela. A tabela será exibida como um erro no Monitor.

• Interromper tarefa

  Parar o processamento da tarefa. Isso é útil se você quiser lidar com todas as alterações de esquemas manualmente. Isso também interromperá o agendamento, ou seja, as execuções agendadas não serão realizadas.

As seguintes alterações são compatíveis:

• Adicionar coluna

• Renomear coluna

• Alterar tipo de dados da coluna

• Eliminar tabela

• Soltar coluna

• Adicionar tabela que corresponda ao padrão de seleção
  

  Se você usou uma Regra de seleção para adicionar conjuntos de dados que correspondem a um padrão, novas tabelas que atendem ao padrão serão detectadas e adicionadas.

Para obter mais informações sobre as configurações de tarefas, consulte Evolução do esquema.

Você também pode obter notificações sobre alterações que são manipuladas com a evolução do esquema. Para obter mais informações, consulte Configurando notificações sobre alterações na operação.

Limitações para evolução do esquema

As seguintes limitações se aplicam à evolução do esquema:

• A evolução do esquema só é compatível quando a CDC é usada como método de atualização.

• Depois de alterar as configurações de evolução do esquema, você deve preparar a tarefa novamente.

• Se você renomear tabelas, a evolução do esquema não será compatível. Nesse caso, você deve atualizar os metadados antes de preparar a tarefa.

• Se você estiver projetando uma tarefa, você deve atualizar o navegador para receber alterações na evolução do esquema. Você pode definir notificações para ser alertado sobre alterações.

• Nas tarefas de aterrissagem, não há suporte para a aterrisagem de uma coluna. Eliminar uma coluna e adicioná-la resultará em um erro de tabela.

• Nas tarefas de aterrisagem, uma operação de drop table não eliminará a tabela. Se o senhor eliminar uma tabela e depois adicionar uma tabela, a tabela antiga será truncada, e uma nova tabela não será adicionada.

• Alterar o comprimento de uma coluna não é possível para todos os destinos, dependendo do suporte no banco de dados de destino.

• Se o nome de uma coluna for alterado, as transformações explícitas definidas usando essa coluna não terão efeito, pois são baseadas no nome da coluna.

• As limitações nos metadados de atualização também se aplicam à evolução do esquema.

Ao capturar alterações de DDL, aplicam-se as seguintes limitações:

• Quando ocorre uma sequência rápida de operações no banco de dados de origem (por exemplo, DDL>DML>DDL), o Qlik Talend Data Integration pode analisar o log na ordem errada, resultando na falta de dados ou em comportamento imprevisível. Para minimizar as chances de isso acontecer, a melhor prática é esperar que as alterações sejam aplicadas ao destino antes de executar a próxima operação.

  Como exemplo disso, durante a captura de alterações, se uma tabela de origem for renomeada várias vezes em rápida sucessão (e a segunda operação renomeá-la de volta ao seu nome original), um erro de que a tabela já existe no banco de dados de destino pode ser encontrado.

• Se você alterar o nome de uma tabela usada em uma tarefa e, em seguida, interromper a tarefa, o Qlik Talend Data Integration não capturará nenhuma alteração feita a essa tabela após a tarefa ser retomada.

• Não há suporte para renomear uma tabela de origem enquanto uma tarefa está parada.

• A realocação das colunas de Chave primária de uma tabela não é suportada (e, portanto, não será gravada na tabela de Controle de histórico de DDL).
• Quando o tipo de dados de uma coluna for alterado e a (mesma) coluna for renomeada enquanto a tarefa é interrompida, a alteração DDL aparecerá na tabela de controle Histórico de DDL como "Eliminar coluna" e, em seguida, "Adicionar coluna" quando a tarefa for retomada. Observe que o mesmo comportamento também pode ocorrer como resultado de uma latência prolongada.
• As operações CREATE TABLE realizadas na origem enquanto uma tarefa é interrompida serão aplicadas ao destino quando a tarefa for retomada, mas não serão registradas como DDL na tabela de controle Histórico de DDL.

• As operações associadas a alterações de metadados (como ALTER TABLE, reorg, reconstrução de um índice em cluster etc.) podem causar um comportamento imprevisível se forem executadas:

  • Durante o carregamento total

    -OU-

  • Entre o carimbo de data/hora Iniciar alterações de processamento de e a hora atual (ou seja, o momento em que o usuário clica em OK no diálogo Opções Avançadas de Execução).

    Exemplo:

    SE:

    O horário especificado para Iniciar alterações de processamento de é 10h.

    E:

    Uma coluna chamada Idade foi adicionada à tabela Funcionários às 10h10.

    E:

    O usuário clica em OK no diálogo Opções Avançadas de Execução às 10h15.

    ENTÃO:

    As alterações ocorridas entre 10h e 10h10 podem resultar em erros de CDC.

  Nota informativa

  Em qualquer um dos casos acima, as tabelas afetadas devem ser recarregadas para que os dados sejam corretamente movido para o destino.

• A instrução de DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> não replica o valor padrão para o destino e a coluna nova/modificada é definida como NULL. Observe que isso pode acontecer mesmo que o DDL que adicionou/modificou a coluna tenha sido executado no passado. Se a coluna nova/modificada for anulável, o ponto de extremidade de origem atualizará todas as linhas da tabela antes de registrar o DDL em si. Como resultado, o Qlik Talend Data Integration captura as alterações, mas não atualiza o destino. Como a coluna nova/modificada é definida como NULL, se a tabela de destino não tiver chave primária/índice exclusivo, as atualizações subsequentes gerarão uma mensagem de "zero linha afetada".

• As modificações nas colunas de precisão TIMESTAMP e DATE não serão capturadas.

Manipulando alterações que não são aplicadas automaticamente

Isso descreve como manipular alterações que não podem ser aplicadas ao destino, ou seja, a ação é Ignorar, Suspender ou Parar tarefa.

Limitações e considerações ao replicar dados

As transformações estão sujeitas às seguintes limitações:

• Transformações não são compatíveis para colunas com idiomas da direita para a esquerda.

• As transformações não podem ser realizadas em colunas que contenham caracteres especiais (por exemplo, #, \, /, -) no nome.

• A única transformação compatível com os tipos de dados LOB/CLOB é eliminar a coluna no destino.
• Não há suporte para o uso de uma transformação para renomear uma coluna e depois adicionar uma nova coluna com o mesmo nome.

Não é possível alterar a nulidade em colunas que são movidas, seja alterando-a diretamente ou usando uma regra de transformação. No entanto, novas colunas criadas na tarefa são anuláveis por padrão.