Opções avançadas de execução

Além das opções padrão de execução, parada e retomada, diversas outras opções para execução de tarefas estão disponíveis. Você pode abrir a caixa de diálogo Opções avançadas de execução executando um dos seguintes procedimentos:

• Selecione Opções avançadas de execução no menu da tarefa de replicação, na exibição do pipeline ou na exibição lado a lado.
• Abra a tarefa de replicação e selecione Opções avançadas de execução no menu no canto superior direito.

Processando alterações

Na caixa de diálogo Opções avançadas de execução, selecione Processar alterações. Estão disponíveis as seguintes opções:

• As tabelas já estão carregadas. Comece a processar alterações em:

  Nota informativaAs alterações de metadados realizadas nas tabelas de origem enquanto uma tarefa está interrompida (por exemplo, DROP COLUMN) não serão capturadas quando a tarefa for retomada de um horário ou posição anterior (SCN/LSN). Nesse caso, os metadados existentes quando a tarefa for retomada serão capturados.

  • Data e hora: Defina a data e a hora de onde deseja começar a capturar as alterações.

    Nota informativa

    • Quando os logs são excluídos do banco de dados (por exemplo, devido a uma política de eliminação), pode não existir um log que corresponda à data e hora especificadas. Nesse caso, a tarefa de dados retomará a tarefa o mais cedo possível, após a data e hora especificadas.
    • Com o endpoint de origem do IBM DB2 para LUW, esta opção não pode ser usada para iniciar tarefas Aplicar alterações a partir de um ponto antes do horário de início original da tarefa Aplicar alterações. Ou, dito de outra forma, ela só pode ser usada para iniciar tarefas a qualquer momento após o horário de início original da tarefa Aplicar alterações.
    • O carimbo de data/hora usa a hora local da máquina do navegador.

  • Posição de alteração de origem (SCN ou LSN): Especifique a posição no log de onde retomar o processamento de alterações. O formato da posição de alteração de origem difere de acordo com sua fonte de dados. Para obter mais informações, consulte Como localizar a posição de alteração de origem.

    Nota informativa

    A opção Posição de alteração de origem é compatível somente com os seguintes endpoints de origem:

    • Oracle
    • Microsoft SQL Server
    • MySQL
    • PostgreSQL
    • IBM DB2 for z/OS
    • IBM DB2 for LUW

Recuperando tarefas

Na caixa de diálogo Opções avançadas de execução, selecione Recuperar. Estão disponíveis as seguintes opções:

• Recuperar usando ponto de verificação armazenado localmente: Use esta opção se a recuperação não for possível usando a opção Tabelas já carregadas. Comece a processar alterações em (devido a arquivos de troca corrompidos, por exemplo). Quando esta opção for selecionada, a tarefa de replicação usará os dados do ponto de verificação armazenados no <Data_Folder_Path>/data/tasks/<task_name>/StateManager para recuperar a tarefa.

  Nota informativa

  Ao usar esta opção, esteja ciente das seguintes limitações e considerações:

  • Suportado apenas no modo de alterações Aplicação transacional e somente com destinos de dados que aceitam transações.

  • Há suporte apenas para as seguintes fontes de dados:
    • Oracle
    • Microsoft SQL Server

    • MySQL

    • PostgreSQL

    • IBM DB2 for z/OS

    • SAP HANA

  • As tarefas só podem ser recuperadas durante a CDC (ou seja, após a conclusão do carregamento total)

• Recuperar usando ponto de verificação armazenado no destino: Recupere uma tarefa usando o valor CHECKPOINT da tabela attrep_txn_state (criada no banco de dados de destino).

  Exemplo de valor de ponto de verificação:

  checkpoint:V1#15#0000038b:000033f1:0004#0#261#0000038b:0000348b:0009#0#273

  Selecione esta opção (em oposição à opção Recuperar usando ponto de verificação armazenado localmente) se os arquivos na pasta de dados estiverem corrompidos ou se o dispositivo de armazenamento que contém a pasta de dados tiver falhado.

  Para obter uma explicação detalhada de como configurar e implementar a recuperação usando a tabela attrep_txn_state, consulte Recuperando-se de perda ou corrupção de pasta de dados.

Como localizar a posição de alteração de origem

A seção a seguir explica como localizar a posição de alteração de origem para cada um dos bancos de dados compatíveis.

MySQL

OPÇÃO 1:

1. Executar:

   SHOW BINARY LOGS;

2. Escolha um arquivo binlog (por exemplo, log.000123).

3. Executar:

   SHOW BINLOG EVENTS IN 'binlog_filename';

   Exemplo:

   SHOW BINLOG EVENTS IN 'log.000123';

4. Localize a posição de uma instrução BEGIN ou DDL (por exemplo, 1777888).

   Nota informativa

   O MySQL não aceita um "início de posição" localizado no meio de uma transação, e é por isso que você deve selecionar BEGIN ou DDL.

5. Defina o parâmetro interno:

   StartFromPosition = binlog_filename:begin_or_ddl_position

   Exemplo:

   StartFromPosition = log.000123:1777888

OPÇÃO 2:

1. Executar:

   SHOW MASTER STATUS;

2. Defina a opção "Iniciar da posição" como:

   firstColumnValue:secondColumnValue

   Exemplo:

   mysql.007472:775

Microsoft SQL Server

Executar:

SELECT MAX([Current LSN]) FROM fn_dblog(null,null);

Exemplo: 00002717:00000e08:0003

Oracle

Executar:

SELECT current_scn FROM V$DATABASE;

Exemplo: 1471212002

PostgreSQL

Observe que o comando difere de acordo com a sua versão do PostgreSQL.

PostgreSQL 10 e posterior

Executar:

SELECT * FROM pg_current_wal_lsn();

IBM DB2 for z/OS

Especifique o LSN, que é o RBA em um ambiente sem compartilhamento de dados, e o LRSN em um ambiente de compartilhamento de dados

IBM DB2 for LUW

1. Execute db2pd para localizar o nome de log correto.

2. Execute db2flsn com o nome de log retornado e use o valor LRI atual.

   Consulte também: Retomando ou iniciando uma tarefa do LRI em um ambiente pureScale

   Para obter mais informações, consulte "Retomando ou iniciando uma tarefa do LRI em um ambiente pureScale" na Ajuda do Replicate.

Recuperando-se de perda ou corrupção de pasta de dados

Durante a operação normal, o estado movendo é armazenado no seguinte local:

<Data_Folder_Path>/data/tasks/<task_name>/StateManager

Isso permite que tarefas que não podem ser retomadas normalmente (devido a arquivos de troca corrompidos, por exemplo) sejam recuperadas usando a opção Recuperar usando ponto de verificação armazenado localmente descrita acima. No entanto, se os arquivos na pasta de dados forem corrompidos ou se o dispositivo de armazenamento que contém a pasta de dados falhar, as tarefas deverão ser recuperadas usando a opção Recuperar usando ponto de verificação armazenado no destino.

Considerações e limitações

Ao usar esta opção, esteja ciente das seguintes considerações e limitações:

• Esta opção só estará disponível se a opção Armazenar dados de recuperação de tarefas no banco de dados de destino tiver sido habilitada na guia Ajuste do processamento de alterações das Configurações da tarefa antes da conclusão da CDC.

• O modo Aplicar alterações deve ser definido como Transacional.

• Apenas os seguintes tipos de fontes de dados são compatíveis:
  • Amazon RDS for MySQL
  • Amazon RDS for PostgreSQL
  • Amazon RDS for SQL
  • AWS Aurora Cloud for PostgreSQL
  • Google Cloud SQL for MySQL
  • Google Cloud SQL for PostgreSQL
  • IBM DB2 for z/OS
  • Microsoft Azure Database for MySQL
  • Instância Gerenciada do Microsoft Azure SQL
  • Microsoft SQL Server
  • MySQL
  • Oracle
  • PostrgreSQL
  • SAP HANA
• O tipo de destino do Microsoft SQL Server é compatível apenas.
• As tarefas só podem ser recuperadas durante a CDC (após a conclusão do carregamento total)

Configurando e iniciando a recuperação de tarefas

Para que a recuperação seja bem-sucedida, os logs de transações do banco de dados de origem deverão estar disponíveis no momento em que a tarefa falhou.

Para configurar uma tarefa para recuperação

1. Certifique-se de habilitar a opção Armazenar dados de recuperação de tarefa no banco de dados de destino na guia Ajuste de processamento de alterações nas Configurações da tarefa. Esta opção pode ser habilitada a qualquer momento durante a CDC, embora deva ser habilitada antes da conclusão da CDC.

2. Execute a tarefa.

Além das tabelas de origem selecionadas, a tarefa gravará os dados do ponto de verificação na tabela attrep_txn_state no banco de dados de destino (e criará automaticamente a tabela se ela ainda não tiver sido criada por outra tarefa).

Para iniciar a recuperação

1. Acesse a tabela attrep_txn_state no banco de dados de destino e localize a tarefa com falha na coluna TASK_NAME . Se houver tarefas com o mesmo nome em execução em vários servidores do Qlik Talend Data Integration, você também precisará localizar o servidor apropriado na coluna SERVER_NAME. Após localizar a tarefa relevante, copie o valor na coluna CHECKPOINT correspondente.
2. Selecione a opção Recuperar usando ponto de verificação armazenado no destino e forneça o valor CHECKPOINT (de preferência colando) conforme descrito acima.
3. Clique em OK para iniciar a recuperação.

Durante a recuperação, a tarefa de replicação não grava nada no banco de dados de destino até identificar o evento de confirmação correspondente ao valor CHECKPOINT. Depois de identificar o evento de confirmação CHECKPOINT, a recuperação é executada e a tarefa volta à operação padrão.