Configurações de replicação de dados

Você pode definir configurações para a tarefa de dados de replicação.

• Abra a tarefa de replicação e clique em Configurações na barra de ferramentas.

O diálogo Configurações: <Nome-da-tarefa> é aberto. As configurações disponíveis estão descritas abaixo.

Modos da tarefa

Nesta guia, você pode definir o modo de replicação e determinar como as alterações serão aplicadas ao alvo.

Modo de replicação

Os seguintes modos de replicação estão disponíveis:

• Carregamento total: Carrega os dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente se necessário.
• Aplicar alterações: Mantém as tabelas de destino continuamente atualizadas com quaisquer alterações feitas nas tabelas de origem.

• Armazenar alterações: Armazena as alterações nas tabelas de origem em Tabelas de alterações (uma por tabela de origem).

  Para obter mais informações, consulte Armazenar alterações.

Se você selecionar Armazenar alterações ou Aplicar alterações e seus dados de origem contiverem tabelas que não suportam CDC ou visualizações, dois pipelines de dados serão criados. Um pipeline para tabelas que suportam CDC e outro pipeline para todas as outras tabelas e visualizações que suportam apenas Carregamento total.

Aplicar modo de alterações

As alterações são aplicadas às tabelas de destino usando um dos seguintes métodos:

• Otimizado para batch: Este é o padrão. Quando essa opção é selecionada, as alterações são aplicadas em lotes. Ocorre uma ação de pré-processamento para agrupar as transações em lotes da maneira mais eficiente.
• Transacional: Selecione essa opção para aplicar cada transação individualmente, na ordem em que ela for confirmada. Nesse caso, a integridade referencial estrita é garantida para todas as tabelas.

Metadados

Básico

• Esquema da tabela de destino: o esquema no destino para o qual as tabelas de origem serão replicadas se você não quiser usar o esquema da tabela de origem (ou se não houver nenhum esquema no banco de dados de origem).

  Nota informativaAo replicar para um destino Oracle, o esquema da tabela de destino padrão é "system". Observe também que, se você deixar este campo vazio (nesse caso, o esquema de origem será usado), você deverá se certificar de que o esquema de origem já existe no destino. Caso contrário, a tarefa falhará.
  Nota informativaO comprimento máximo permitido para o nome do esquema é de 128 caracteres.

• Não incluir colunas LOB: selecione esta opção se não desejar que as colunas LOB de origem sejam replicadas.

• Limitar o tamanho da coluna LOB a (KB): este é o padrão. Selecione esta opção se precisar apenas replicar LOBs pequenos ou se a plataforma de destino não for compatível com o tamanho de LOB ilimitado. O valor máximo permitido para este campo é 102.400 KB (100 MB).

  Ao replicar LOBs pequenos, esta opção é mais eficiente do que a opção Não limitar o tamanho da coluna LOB, pois os LOBs são replicados "inline" em vez de por meio de "pesquisa" da origem. Durante o processamento de alterações, pequenos LOBs geralmente são replicados por meio de "pesquisa" na origem.

  Como o valor de Limitar tamanho do LOB a está em bytes, o tamanho deve ser calculado de acordo com as seguintes fórmulas:

  • BLOB: o comprimento do maior LOB.
  • NCLOB: o comprimento do TEXT mais longo em caracteres multiplicado por dois (já que cada caractere é tratado como um byte duplo). Se os dados incluírem caracteres de 4 bytes, multiplique-os por quatro.
  • CLOB: o comprimento do TEXT mais longo em caracteres (já que cada caractere é tratado como um caractere UTF8). Se os dados incluírem caracteres de 4 bytes, multiplique-os por dois.
  Nota informativa

  • Quaisquer LOBs maiores que o tamanho especificado serão truncados.
  • Durante o Processamento de mudanças da origem Oracle, os BLOBs in-line são replicados in-line.
  • As alterações nessa configuração afetarão apenas as tabelas existentes depois que elas forem recarregadas.

• Não limitar o tamanho da coluna LOB: Quando esta opção for selecionada, as colunas LOB serão replicadas, independentemente do tamanho.

  Nota informativaA replicação de colunas LOB pode afetar o desempenho. Isso é especialmente verdadeiro no caso de colunas LOB grandes que exigem que o Gateway Data Movement realize uma pesquisa na tabela de origem para recuperar o valor do LOB de origem.

  • Otimize quando o tamanho do LOB for menor que: Selecione esta opção quando precisar replicar LOBs pequenos e grandes e a maioria dos LOBs for pequena.

    Nota informativa

    Esta opção é compatível somente com as seguintes origens e destinos:

    • Fontes: Oracle, Microsoft SQL server, MySQL, PostgreSQL e IBM DB2 para LUW

    • Destinos: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Quando esta opção for selecionada, durante o carregamento total, os LOBs pequenos serão replicados "inline" (o que é mais eficiente) e os LOBs grandes serão replicados realizando uma pesquisa na tabela de origem. Durante o processamento de alterações, entretanto, LOBs pequenos e grandes serão replicados executando uma pesquisa na tabela de origem.

    Nota informativa

    Quando esta opção for selecionada, o Gateway Data Movement verificará todos os tamanhos de LOB para determinar quais transferir "inline". LOBs maiores que o tamanho especificado serão replicados usando o modo LOB completo.

    Portanto, se você souber que a maioria dos LOBs são maiores que a configuração especificada, é preferível usar a opção Replicar colunas de LOB ilimitadas em vez disso.

  • Tamanho do bloco (KB): opcionalmente, altere o tamanho dos blocos LOB a serem usados ao replicar os dados para o destino. O tamanho padrão do bloco deve ser suficiente na maioria dos casos, mas, se você encontrar problemas de desempenho, ajustar o tamanho poderá melhorar o desempenho.

    Nota informativa

    Com alguns bancos de dados, a validação do tipo de dados ocorre quando os dados são inseridos ou atualizados. Nesses casos, a replicação de tipos de dados estruturados (por exemplo, XML, JSON, GEOGRAPHY, etc.) poderá falhar se os dados forem maiores que o tamanho do bloco especificado.

Avançado

Configurações da tabela de controle

• Esquema das tabelas de controle: Especifique o esquema de destino para as tabelas de controle se não desejar que elas sejam criadas no esquema de origem (o padrão) ou no esquema de destino.

  Nota informativaO comprimento máximo permitido para o nome do esquema é de 128 caracteres.
• Criar tabelas de controle de destino no tablespace: ​ Quando o connector de destino for o Oracle, especifique o espaço de tabela onde deseja que as tabelas de controle de destino sejam criadas. Se você não inserir informações nesse campo, as tabelas serão criadas no espaço de tabela padrão do banco de dados de destino.
• Criar índices para tabelas de controle de destino no tablespace:Quando o connector de destino for o Oracle, especifique o espaço de tabela onde deseja que os índices da tabela de controle sejam criados. Se você não inserir informações nesse campo, os índices serão criados no mesmo espaço de tabela das tabelas de controle.
• Intervalo de tempo do histórico de replicação (minutos): a duração de cada intervalo de tempo na tabela de controle Histórico de replicação. O padrão é 5 minutos.

Seleção da tabela de controle

Aplicar alterações

Essas configurações só estão disponíveis quando o modo de replicação Aplicar alterações está habilitado.

Básico

Aplicar alterações de DDL na tabela alvo

As opções a seguir determinam se as operações DDL executadas na tabela de origem correspondente também serão executadas na tabela de destino.

Avançado

Consulte Ajuste do processamento de alterações.

Armazenar alterações

Essas configurações só estão disponíveis quando o modo de replicação Armazenar alterações está habilitado.

Básico

Opções de DDL

Selecione uma das opções a seguir para determinar como tratar operações DDL nas tabelas de origem:

• Aplicar à tabela de alterações: as operações de DDL nas tabelas de origem (como uma coluna sendo adicionada) serão aplicadas apenas às tabelas de alterações correspondentes.
• Ignorar: todas as operações de DDL para tabelas de origem serão ignoradas.

Avançado

Na atualização

Selecione Armazenar imagem anterior e posterior para armazenar os dados pré-UPDATE e os dados pós-UPDATE. Quando essa opção não estiver selecionada, apenas os dados pós-UPDATE serão armazenados.

Criação de tabela de alterações

A seção a seguir descreve as opções disponíveis ao armazenar alterações em tabelas de alterações.

• Sufixo: Especifique uma string para usar como sufixo para todas as tabelas de alterações. O valor padrão é __ct. Os nomes da tabela de alterações são o nome da tabela de destino com o sufixo anexado. Assim, por exemplo, usando o valor padrão, o nome da Tabela de Alteração será HR__ct.
• Prefixo da coluna de cabeçalho: Especifique uma sequência para usar como prefixo para todas as colunas do cabeçalho da tabela de alterações. O valor padrão é header__. Por exemplo, ao usar o valor padrão, a coluna do cabeçalho stream_position será chamada header__stream_position.

Para obter mais informações sobre tabelas de alterações, consulte Usando tabelas de alterações.

Se a tabela de alterações existir quando o carregamento total for iniciado: selecione uma das seguintes opções para determinar como carregar as tabelas de alterações quando a replicação de carregamento total for iniciada:

• Eliminar e criar tabela de alterações: a tabela é eliminada e uma nova tabela é criada em seu lugar.
• Excluir alterações antigas e armazene novas alterações na tabela de alterações existente: os dados são truncados e adicionados sem afetar os metadados da tabela.
• Manter alterações antigas e armazenar novas alterações na tabela de alterações existente: os dados e metadados da tabela de alterações existente não são afetados.

Colunas de cabeçalho da tabela

As colunas do cabeçalho da tabela de alterações fornecem informações sobre as operações de processamento de alterações, como o tipo de operação (por exemplo, INSERT), o tempo de confirmação e assim por diante. Se você não precisar de todas essas informações, poderá configurar a tarefa de aterrissagem para criar as tabelas de alterações com colunas de cabeçalho selecionadas (ou nenhuma), reduzindo assim seu espaço no banco de dados de destino.

Para obter uma descrição das colunas de cabeçalho, consulte Tabelas de alterações.

Tratamento de erros

Básico

Conflitos de aplicação

Duplicar chave ao aplicar INSERT: Selecione qual ação realizar quando houver um conflito com uma operação INSERT.

• Ignorar: a tarefa continua e o erro é ignorado.

   

• ATUALIZAR o registro de destino existente: o registro de destino com a mesma chave primária do registro de origem INSERIDO é atualizado.

• Registrar registro na tabela de exceções (padrão): a tarefa continua e o erro é gravado na tabela de exceções.

• Suspender tabela: a tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados.

• Parar tarefa: a tarefa é interrompida e é necessária intervenção manual.

Nenhum registro encontrado para aplicar uma ATUALIZAÇÃO: Selecione qual ação tomar quando houver um conflito com uma operação UPDATE.

• Ignorar: a tarefa continua e o erro é ignorado.

• INSERIR o registro de destino ausente: o registro de destino ausente será inserido na tabela de destino. Quando o endpoint de origem for Oracle, a seleção dessa opção exigirá que o log complementar seja ativado para todas as colunas da tabela de origem.

• Registrar registro na tabela de exceções (padrão): a tarefa continua e o erro é gravado na tabela de exceções.

• Suspender tabela: a tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados.

• Parar tarefa: a tarefa é interrompida e é necessária intervenção manual.

Avançado

Erros de dados

Para erros de truncamento de dados: Selecione o que você deseja que aconteça quando ocorrer um truncamento em um ou mais registros específicos. Você pode selecionar uma das seguintes situações na lista:

• Ignorar: A tarefa continua e o erro é ignorado.
• Gravar registro na tabela de exceções (padrão): A tarefa continua e o erro é gravado na tabela de exceções.
• Suspender tabela: A tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados
• Parar tarefa: A tarefa é interrompida e é necessária intervenção manual.

Para outros erros de dados: Selecione o que você deseja que aconteça quando ocorrer um erro em um ou mais registros específicos. Você pode selecionar uma das seguintes situações na lista:

• Ignorar: A tarefa continua e o erro é ignorado.
• Gravar registro na tabela de exceções (padrão): A tarefa continua e o erro é gravado na tabela de exceções.
• Suspender tabela: A tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados
• Parar tarefa: A tarefa é interrompida e é necessária intervenção manual.

Escalar o tratamento de erros quando outros erros de dados atingirem (por tabela): Marque esta caixa de seleção para escalar o tratamento de erros quando o número de erros de dados não truncados (por tabela) atingir o valor especificado. Os valores válidos são de 1 a 10.000.

Ação de escalonamento: Escolha o que deve acontecer quando o tratamento de erros for escalado. Observe que as ações disponíveis dependem da ação selecionada na lista suspensa Para outros erros de dados descrita acima.

• Suspender tabela (padrão): A tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são aterrissado.

  Nota informativa

  O comportamento difere de acordo com o modo de processamento de alterações:

  • No modo Aplicação transacional, as últimas alterações não serão aterrissado.

  • No modo de Aplicação otimizada em lote, é possível uma situação em que os dados não serão aterrissado ou serão apenas aterrissado parcialmente.

• Parar tarefa: A tarefa é interrompida e é necessária intervenção manual.
• Gravar registro na tabela de exceções: A tarefa continua e o registro é gravado na tabela de exceções.

Erros de tabela

Ao encontrar um erro de tabela: Selecione uma das seguintes opções na lista suspensa:

• Suspender tabela (padrão): A tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados.
• Parar tarefa: A tarefa é interrompida e é necessária intervenção manual.

Escalar o tratamento de erros quando os erros da tabela atingirem (por tabela): Marque esta caixa de seleção para escalar o tratamento de erros quando o número de erros de tabela (por tabela) atingir o valor especificado. Os valores válidos são de 1 a 10.000.

Ação de escalonamento: A política de escalonamento para erros de tabela é definida como Parar tarefa e não pode ser alterada.

Conflitos de aplicação

Nenhum registro encontrado para aplicação de DELETE: selecione qual ação será realizada quando houver um conflito com uma operação DELETE.

• Ignorar: a tarefa continua e o erro é ignorado.
• Registrar registro na tabela de exceções: a tarefa continua e o registro é gravado na tabela de exceções.
• Suspender tabela: a tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados.
• Parar tarefa: a tarefa é interrompida e é necessária intervenção manual.

Escalar o tratamento de erros quando conflitos de aplicação atingirem (por tabela): marque esta caixa de seleção para escalar o tratamento de erros quando o número de conflitos de aplicação (por tabela) atingir o valor especificado. Os valores válidos são de 1 a 10.000.

Ação de escalonamento: escolha o que deve acontecer quando o tratamento de erros for escalado:

• Registrar registro na tabela de exceções (padrão): a tarefa continua e o erro é gravado na tabela de exceções.

• Suspender tabela: a tarefa continua, mas os dados da tabela com o registro de erro são movidos para um estado de erro e seus dados não são replicados.

  Nota informativa

  O comportamento difere de acordo com o modo de processamento de alterações:

  • No modo Aplicação transacional, as últimas alterações não serão replicadas

  • No modo Aplicação otimizada em lote, é possível uma situação em que não haverá replicação de dados ou a replicação de dados será parcial.

• Parar tarefa: a tarefa é interrompida e é necessária intervenção manual.

Erros ambientais

• Contagem máxima de repetições: Selecione esta opção e especifique o número máximo de tentativas para repetir uma tarefa quando ocorrer um erro ambiental recuperável. Depois que a tarefa for repetida o número especificado de vezes, a tarefa será interrompida e a intervenção manual será necessária.

  Para nunca repetir uma tarefa, desmarque a caixa de seleção ou especifique "0".

  Para repetir uma tarefa um número infinito de vezes, especifique "-1"

  • Intervalo entre novas tentativas (segundos): Use o contador para selecionar ou digitar o número de segundos que o sistema aguarda entre as tentativas de repetir uma tarefa.

    Os valores válidos são de 0 a 2.000.

• Aumentar o intervalo de repetição para interrupções longas: Marque esta caixa de seleção para aumentar o intervalo de novas tentativas para interrupções longas. Quando esta opção está habilitada, o intervalo entre cada nova tentativa é duplicado, até que o Intervalo máximo de repetição seja atingido (e continue tentando de acordo com o intervalo máximo especificado).
  • Intervalo máximo de repetição (segundos): Use o contador para selecionar ou digitar o número de segundos de espera entre as tentativas de repetir uma tarefa quando a opção Aumentar intervalo de repetição para interrupções longas estiver ativada. Os valores válidos são de 0 a 2.000.

Ajuste do processamento de alterações

Ajuste de descarga da transação

As seguintes opções de ajuste estão disponíveis, independentemente do Modo de processamento de alterações selecionado:

• Descarregar a transação em andamento para o disco se:

  O Qlik Cloud Data Integration geralmente mantém os dados da transação na memória até que sejam totalmente confirmados na origem e/ou destino. No entanto, as transações maiores que a memória alocada ou que não forem confirmadas dentro do limite de tempo especificado serão descarregadas no disco.

  • O tamanho da memória de transação excede (MB): o tamanho máximo que todas as transações podem ocupar na memória antes de serem descarregadas no disco. O valor padrão é 1024.
  • A duração da transação excede (segundos): o tempo máximo que cada transação pode permanecer na memória antes de ser descarregada no disco. A duração é calculada a partir do momento em que o Qlik Cloud Data Integration começou a capturar a transação. O valor padrão é 60.

Ajuste diverso

• Tamanho do cache de instruções (número de instruções): O número máximo de instruções preparadas a serem armazenadas no servidor para execução posterior (ao aplicar alterações no destino). O padrão é 50. O máximo é 200.

• Armazenar dados de recuperação da tarefa no banco de dados de destino: Selecione esta opção para armazenar informações de recuperação específicas da tarefa no banco de dados de destino. Quando esta opção é selecionada, o Gateway Data Movement cria uma tabela nomeada attrep_txn_state no banco de dados de destino. Essa tabela contém dados de transação que podem ser usados para recuperar uma tarefa caso os arquivos na pasta Data Movement gateway do Data Movement gateway estejam corrompidos ou se o dispositivo de armazenamento que contém a pasta Dados falhar.

Aplicação otimizada em lote

As configurações a seguir só estão disponíveis quando o Modo de aplicação está definido como Otimizada em lote.

• Aplicar alterações em lote em intervalos:

• Maior que: o tempo mínimo de espera entre cada aplicação de alterações em lote. O valor padrão é 1.

  Aumentar o valor de Mais que diminui a frequência com que as alterações são aplicadas ao destino enquanto aumenta o tamanho dos lotes. Isso pode melhorar o desempenho ao aplicar alterações em bancos de dados de destino otimizados para processamento de lotes grandes.

• Menor que: o tempo máximo de espera entre cada aplicação de alterações em lote (antes de declarar um tempo limite). Em outras palavras, a latência máxima aceitável. O valor padrão é 30. Este valor determina o tempo máximo de espera antes de aplicar as alterações, após o valor de Mais que ter sido atingido.

• Forçar a aplicação de um lote quando a memória de processamento exceder (MB): a quantidade máxima de memória a ser usada para pré-processamento no modo Aplicação otimizada em lote. O valor padrão é 500.

  Para o tamanho máximo do lote, defina esse valor para a maior quantidade de memória que você puder alocar para o Gateway Data Movement. Isso pode melhorar o desempenho ao aplicar alterações em bancos de dados de destino otimizados para processamento de lotes grandes.

Aplicação transacional

As configurações a seguir só estão disponíveis quando o Modo de aplicação está definido como Transacional.

• Número mínimo de alterações por transação: o número mínimo de alterações a serem incluídas em cada transação. O valor padrão é 1000.

  Nota informativaO Gateway Data Movement aplica as alterações ao destino quando o número de alterações é igual ou superior ao valor de Número mínimo de alterações por transação OU quando o valor de tempo limite do lote é atingido (veja abaixo) - o que ocorrer primeiro. Como a frequência das alterações aplicadas ao destino é controlada por esses dois parâmetros, as alterações nos registros de origem podem não ser refletidas imediatamente nos registros de destino.
• Tempo máximo para transações em lote antes da aplicação (segundos): o tempo máximo para coletar transações em lotes antes de declarar um tempo limite. O valor padrão é 1.

Substituição de caracteres

Você pode substituir ou excluir caracteres de origem no banco de dados de destino e/ou substituir ou excluir caracteres de origem que não são compatíveis com um conjunto de caracteres selecionado.

Substituindo ou excluindo caracteres de origem

Use a tabela Substituir ou excluir caracteres de origem para definir substituições para caracteres de origem específicos. Isso pode ser útil, por exemplo, quando a representação Unicode de um caractere é diferente nas plataformas de origem e de destino. Por exemplo, no Linux, o caractere de menos no conjunto de caracteres Shift_JIS é representado como U+2212, mas no Windows é representado como U+FF0D.

Substituindo ou excluindo caracteres de origem não compatíveis com o conjunto de caracteres selecionado

Use a tabela Caracteres de origem não compatíveis com o conjunto de caracteres para definir um único caractere de substituição para todos os caracteres não compatíveis com o conjunto de caracteres selecionado.

Aplicativo SaaS

Para carga inicial

Ao mover dados de uma origem de aplicativo SaaS, você pode definir como executar o carregamento total inicial:

Ler alterações a cada (minutos)

Defina o intervalo entre a leitura de alterações na origem, em minutos. O intervalo válido é de 1 a 1440.