Расширенные параметры запуска

В дополнение к стандартным командам запуска, остановки и возобновления, также доступны другие варианты выполнения задач. Откройте диалоговое окно Расширенные параметры запуска одним из следующих способов:

Выберите Расширенные параметры запуска в меню задачи репликации в виде конвейера или в мозаичном виде.
Откройте задачу репликации и выберите Расширенные параметры запуска в меню вверху справа.

Обработка изменений

В диалоговом окне Расширенные параметры запуска выберите Обработать изменения. Доступны следующие параметры.

Таблицы уже загружены. Начать обработку изменений с:

Примечание к информацииИзменения метаданных, внесенные в исходные таблицы, когда задача была остановлена (например, DROP COLUMN), не будут захватываться при возобновлении задач с более раннего времени или позиции (SCN/LSN). В таком случае будут захватываться метаданные, существующие на момент возобновления задачи.
- Дата и время: задайте дату и время, когда требуется начать захват изменений.
  Примечание к информации
  - Когда журналы удаляются из базы данных (например, из-за политики удаления данных), журнал, соответствующий заданным дате и времени, может отсутствовать. В таком случае задача данных возобновит задачу с самой ранней доступной точки после заданных даты и времени.
  - При использовании исходной конечной точки IBM DB2 for LUW этот параметр нельзя использовать для запуска задач «Применить изменения» из точки до исходного времени начала задачи «Применить изменения». Или, другими словами, его можно использовать только для запуска задач с любого времени после исходного времени запуска задачи «Применить изменения».
  - Метка времени указывается по местному времени компьютера, на котором установлен браузер.
- Исходная позиция изменения (например, SCN или LSN): задайте позицию журнала, откуда требуется возобновить обработку изменений. Формат исходной позиции изменения источника отличается в зависимости от источника данных. Для получения дополнительной информации см. Порядок поиска исходной позиции изменения.
  Примечание к информации
  Параметр Исходная позиция изменения поддерживается только при использовании следующих исходных конечных точек:
  - Oracle
  - Microsoft SQL Server
  - MySQL
  - PostgreSQL
  - IBM DB2 для z/OS
  - IBM DB2 для LUW

Восстановление задач

В диалоговом окне Расширенные параметры запуска выберите Восстановить. Доступны следующие параметры.

Восстановить с использованием локально хранимой контрольной точки: Используйте этот параметр, если невозможно выполнить восстановление с использованием параметра Таблицы уже загружены. Начать обработку изменений с (вследствие повреждения файлов подкачки, например). Когда выбран этот параметр, задача репликации использует для восстановления данные контрольной точки, сохраненные в <Data_Folder_Path>/data/tasks/<task_name>/StateManager.
Примечание к информации
При использовании этого параметра следует иметь в виду следующие ограничения и замечания:
- Поддерживается только в режиме «Применить изменения» Транзакционное и только при использовании целей данных, поддерживающих транзакции.
- Поддерживаются только источники данных, указанные ниже.
  - Oracle
  - Microsoft SQL Server
  - MySQL
  - PostgreSQL
  - IBM DB2 для z/OS
  - SAP HANA
- Задачи могут быть восстановлены только с использованием CDC (то есть после завершения полной загрузки)
Восстановить с использованием контрольной точки, сохраненной в цели: Восстановите задачу, используя значение CHECKPOINT из таблицы attrep_txn_state (созданной в целевой базе данных).

Пример значения контрольной точки:

checkpoint:V1#15#0000038b:000033f1:0004#0#261#0000038b:0000348b:0009#0#273

Выберите этот параметр (в противоположность параметру Восстановить с использованием локально хранимой контрольной точки), если файлы в папке data повреждены или если устройство хранения, содержащее папку data, неисправно.

Для получения подробных инструкций по настройке и реализации восстановления с использованием таблицы attrep_txn_state см. раздел Восстановление после потери или повреждения папки data.

Порядок поиска исходной позиции изменения

В следующем разделе объясняется, как найти исходную позицию изменения для каждой из поддерживаемых баз данных.

MySQL

ВАРИАНТ 1.

Выполните:

SHOW BINARY LOGS;
Выберите файл binlog (например, log.000123).
Выполните:

SHOW BINLOG EVENTS IN 'binlog_filename';

Пример:

SHOW BINLOG EVENTS IN 'log.000123';
Найдите позицию оператора BEGIN или DDL (например, 1777888).

Примечание к информации
MySQL не поддерживает параметр «начать с позиции» в середине транзакции, именно поэтому необходимо выбрать оператор BEGIN или DDL.
Задайте внутренний параметр:

StartFromPosition = binlog_filename:begin_or_ddl_position

Пример:

StartFromPosition = log.000123:1777888

ВАРИАНТ 2.

Выполните:

SHOW MASTER STATUS;
Задайте параметру «Начать с позиции» значение:

firstColumnValue:secondColumnValue

Пример:

mysql.007472:775

Microsoft SQL Server

Выполните:

SELECT MAX([Current LSN]) FROM fn_dblog(null,null);

Пример: 00002717:00000e08:0003

Oracle

Выполните:

SELECT current_scn FROM V$DATABASE;

Пример: 1471212002

PostgreSQL

Обратите внимание, что команда отличается в зависимости от используемой версии PostgreSQL.

PostgreSQL 10 и более поздних версий

Выполните:

SELECT * FROM pg_current_wal_lsn();

IBM DB2 для z/OS

Задайте LSN, который является RBA в среде без совместного использования данных и LRSN в среде с совместным использованием данных

IBM DB2 для LUW

Выполните db2pd, чтобы найти правильное имя журнала.
Выполните db2flsn с возвращенным именем журнала и используйте текущее значение LRI.

См. также: Чтобы возобновить или запустить задачу из LRI в среде pureScale, выполните следующие действия.

Для получения дополнительной информации см. раздел «Возобновление или запуск задачи из LRI в среде pureScale» в справке Replicate.

Восстановление после потери или повреждения папки data

Во время нормальной работы состояние перемещение сохраняется в следующем местоположении:

<Data_Folder_Path>/data/tasks/<task_name>/StateManager

Это позволяет использовать описанный выше параметр Восстановить с использованием локально хранимой контрольной точки для восстановления задач, которые невозможно восстановить в обычном порядке (например, вследствие повреждения файлов подкачки). Однако если файлы в папке data повреждаются или устройство хранения, содержащее папку data, неисправно, задачи необходимо восстанавливать с использованием параметра Восстановить с использованием контрольной точки, сохраненной в цели.

Замечания и ограничения

При использовании этого параметра следует иметь в виду следующие ограничения и замечания:

Этот параметр доступен, только если параметр Сохранять данные для восстановления задачи в целевой базе данных был включен на вкладке Настройка обработки изменений экрана «Параметры задачи» до выполнения CDC.
Для режима «Применить изменения» необходимо задать параметр Транзакционное.
Поддерживаются только типы источников данных, указанные ниже.
- Amazon RDS для MySQL
- Amazon RDS для PostgreSQL
- Amazon RDS for SQL
- AWS Aurora Cloud for PostgreSQL
- Google Cloud SQL для MySQL
- Google Cloud SQL для PostgreSQL
- IBM DB2 для z/OS
- Microsoft Azure Database для MySQL
- Управляемый экземпляр Microsoft Azure SQL
- Microsoft SQL Server
- MySQL
- Oracle
- PostrgreSQL
- SAP HANA
Поддерживается только тип цели Microsoft SQL Server.
Задачи могут быть восстановлены только с использованием CDC (после завершения полной загрузки)

Настройка и запуск восстановления задачи

Чтобы обеспечить успешное восстановление, журналы транзакций должны быть доступны начиная с момента сбоя выполнения задачи.

Порядок настройки задачи для восстановления

Обязательно включите параметр Сохранять данные для восстановления задачи в целевой базе данных на вкладке Настройка обработки изменений экрана «Параметры задачи». Этот параметр можно включить в любое время во время CDC, хотя он должен быть включен до завершения CDC.
Запустите задачу.

В дополнение к выбранным исходным таблицам, задача запишет данные контрольной точки в таблицу attrep_txn_state в целевой базе данных (и автоматически создаст таблицу, если она еще не была создана при выполнении другой задачи).

Порядок запуска восстановления

Откройте таблицу attrep_txn_state в целевой базе данных и найдите невыполненную задачу, в столбце TASK_NAME. Если имеются задачи с одинаковым именем, выполняемые на разных серверах Qlik Talend Data Integration, также необходимо найти соответствующий сервер в столбце SERVER_NAME. После того как релевантная задача найдена, скопируйте значение в соответствующий столбец CHECKPOINT.
Установите флажок Восстановить с использованием контрольной точки, сохраненной в цели, а затем задайте значение CHECKPOINT (желательно путем вставки), как описано выше.
Нажмите кнопку ОК, чтобы запустить восстановление.

Во время восстановления задача репликации не записывает ничего в целевую базу данных, пока не будет идентифицировано событие фиксации, соответствующее значению CHECKPOINT. Когда задача идентифицирует событие фиксации CHECKPOINT, выполняется восстановление, после чего задача возвращается к стандартному режиму работы.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!

Оставьте свой отзыв здесь