Обзор методов обновления цели

На экране Параметры задачи данных можно задать нужный метод обновления: во время первоначальной настройки задачи или позже. После завершения подготовки задачи данных метод обновления изменить невозможно. Доступные методы обновления зависят от типа задачи: промежуточное хранение, репликация или промежуточное хранение в озере данных.

Методы обновления при промежуточном хранении данных

• Захват изменений данных (CDC)

  Выполнение задачи данных начинается с полной загрузки. Затем актуальность целевых данных, помещенных на промежуточное хранение, поддерживается путем инкрементальной загрузки на основе полей даты. Не все источники данных поддерживают CDC.

  Примечание к информацииОперации DELETE (УДАЛИТЬ) не поддерживаются. Это значит, что если строка удалена в источнике, она не будет удалена в данных на промежуточном хранении. Если обработка удалений играет важную роль, используйте режим Перезагрузка и сравнение.

  При работе с Data Movement Gateway и промежуточном хранении данных из приложений SaaS задается интервал чтения изменений из источника, для этого выберите Параметры > Время выполнения. При работе без Data Movement Gateway интервал задается с помощью Планировщика. Для получения дополнительной информации см. раздел Планирование задач CDC при работе без Data Movement Gateway.

• Перезагрузка и сравнение

  Задача данных выполняет только полные загрузки из источника. Это полезно, если источник не поддерживает CDC, к примеру, или если требуется распространить в цель операции DELETE (УДАЛИТЬ), не поддерживаемые CDC). Режим «Перезагрузка и сравнение» может использоваться с любым поддерживаемым источником данных и может планироваться для периодического выполнения.

Методы обновления при репликации в цели ― базы данных или хранилища данных

• Полная загрузка: данные из выбранных исходных таблиц загружаются на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но ее можно выполнить вручную при необходимости.

• Применить изменения: целевые таблицы обновляются изменениями, вносимыми в исходные таблицы.

• Сохранить изменения: изменения исходных таблиц сохраняются в таблицах изменений (по одной на каждую исходную таблицу).

  Для получения дополнительной информации см. раздел Сохранить изменения.

При работе с Data Movement Gateway изменения захватываются из источника практически в режиме реального времени. При работе без Data Movement Gateway (например, при использовании подписки Qlik Talend Cloud Starter или при выборе Нет) изменения захватываются в соответствии с параметрами планировщика. Для получения дополнительной информации см. раздел Планирование задач при работе без Data Movement Gateway.

Методы обновления при репликации в облачное хранилище (озера данных)

• Захват изменений данных (CDC): задачи промежуточного хранения в озере данных начинаются с полной загрузки (во время которой все выбранные таблицы помещаются на промежуточное хранение). После этого актуальность данных промежуточного хранения поддерживается с использованием технологии CDC (Change Data Capture, захват данных изменений).

  Примечание к информацииCDC (Захват изменений данных) для операций DDL не поддерживается.

  При работе с Data Movement Gateway изменения захватываются из источника практически в режиме реального времени. При работе без Data Movement Gatewayизменения захватываются в соответствии с параметрами планировщика. Для получения дополнительной информации см. раздел Планирование задач при работе без Data Movement Gateway.

• Перезагрузить: выполняется полная загрузка данных из выбранных исходных таблиц на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но при необходимости ее можно выполнять вручную или по расписанию на регулярной основе.

Общие сведения о запланированном захвате изменений данных (CDC)

При работе без Data Movement Gateway изменения захватываются в соответствии с запланированным интервалом. Важно знать, как работает планирование. Это лучше всего демонстрирует следующий пример. В следующем примере запланировано выполнение задачи каждые 30 минут начиная с 9:00.

• Выполнение задачи данных начинается с полной загрузки в 9:00.
• Полная загрузка заканчивается в 9:40, поэтому выполнение, запланированное на 9:30, пропускается.
• Следующее выполнение начинается в 10:00, и захватывает все изменения, внесенные до 10:00.
• Выполнение, начатое в 10:00, завершается в 10:15.
• Следующее выполнение начинается в 10:30 и захватывает все изменения, внесенные с 10:00 до 10:30.

Ограничения

Некоторые таблицы, возвращаемые приложением SaaS, не поддерживаются режимом Захват данных изменений (CDC). В таком случае появится предупреждение в разделе Ошибка проверки. Также можно:

• Удалите таблицу из задачи данных.

• Измените метод обновления задачи данных на Перезагрузка и сравнение.