Методы обновления целей

На экране Параметры задачи данных можно задать нужный метод обновления: во время первоначальной настройки задачи или позже. После завершения подготовки задачи данных метод обновления изменить невозможно.

Доступные методы обновления зависят от типа задачи, возможностей и класса коннектора. Доступные типы задач перемещения данных: промежуточное хранение, репликация или промежуточное хранение в озере данных.

Для получения информации о классификации и возможностях коннектора см. справку к коннектору. На класс коннектора указывает значок в верхней части соответствующей страницы справки. Коннекторы без значка относятся к классу Standard.

Для ознакомления с подробным описанием классификации коннекторов см. раздел Классификации коннекторов.

Методы обновления при работе с коннекторами Preview

Коннекторы Preview поддерживаются только в проектах репликации. При работе с коннекторами Preview все данные будут распространяться в цель как изменения (вставки/обновления), включая первоначальную полную загрузку. Следовательно, единственным поддерживаемым методом обновления для коннекторов Preview являются следующий:

• Для задач репликации данных: Поддерживаются только режимы репликации Применить изменения и Сохранить изменения. Все данные будут передаваться в целевые таблицы/таблицы изменений таблицы как изменения (вставки/обновления), включая первоначальную полную загрузку. Обратите внимание, что в некоторых типах таблиц невозможно определить изменения. В таких случаях все данные таблицы будут обработаны с самого начала.
• Для задач промежуточного хранения данных в озере данных: Поддерживается только метод обновления Захват данных изменений (CDC). Все данные будут распространяться в цель как изменения (вставки/обновления), включая первоначальную полную загрузку. Обратите внимание, что в некоторых типах таблиц невозможно определить изменения. В таких случаях все данные таблицы будут обработаны с самого начала.

При работе с коннекторами Preview необходимо планировать частоту захвата изменений из источника. Для получения дополнительных сведений см. следующие темы:

• Для задач репликации данных: Планирование CDC для задач репликации
• Для задач промежуточного хранения данных в озере данных: Планирование CDC для задач промежуточного хранения в озере

Методы обновления при промежуточном хранении данных

• Захват изменений данных (CDC) с помощью таблиц изменений

  Выполнение задачи данных начинается с полной загрузки. Затем актуальность целевых данных, помещенных на промежуточное хранение, поддерживается путем инкрементальной загрузки на основе полей даты. Не все источники данных поддерживают CDC.

  Примечание к информацииОперации DELETE (УДАЛИТЬ) не поддерживаются. Это значит, что если строка удалена в источнике, она не будет удалена в данных на промежуточном хранении. Если обработка удалений играет важную роль, используйте режим Перезагрузка и сравнение.

  При работе с Data Movement gateway и промежуточном хранении данных из приложений SaaS задается интервал чтения изменений из источника, для этого выберите Параметры > Настройка обработки изменений. При работе без Data Movement gateway интервал задается с помощью Планировщика. Для получения дополнительной информации см. раздел Планирование задач CDC при работе без Data Movement gateway.

• Перезагрузка и сравнение

  Задача данных выполняет только полные загрузки из источника. Это полезно, если источник не поддерживает CDC, к примеру, или если требуется распространить в цель операции DELETE (УДАЛИТЬ), не поддерживаемые CDC). Режим «Перезагрузка и сравнение» может использоваться с любым поддерживаемым источником данных и может планироваться для периодического выполнения.

Методы обновления при репликации в цели ― базы данных или хранилища данных

• Полная загрузка: данные из выбранных исходных таблиц загружаются на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но ее можно выполнить вручную при необходимости. Полная загрузка вручную потребуется, например, если нужно реплицировать обновления представлений (которые не захватываются во время CDC) или если выполняется репликация из источника данных, который не поддерживает CDC.

• Применить изменения: целевые таблицы обновляются изменениями, вносимыми в исходные таблицы.

• Сохранить изменения: изменения исходных таблиц сохраняются в таблицах изменений (по одной на каждую исходную таблицу).

  Для получения дополнительной информации см. раздел Сохранить изменения.

При работе с Data Movement gateway изменения захватываются из источника практически в режиме реального времени. При работе без Data Movement gateway (например, при использовании подписки Qlik Talend Cloud Starter или при выборе Нет) изменения захватываются в соответствии с параметрами планировщика. Для получения дополнительной информации см. раздел Параметры задачи репликации данных.

Методы обновления при репликации в облачное хранилище (озера данных)

• Захват данных изменений (CDC) с помощью таблиц изменений задачи промежуточного хранения в озере данных начинаются с полной загрузки (во время которой все выбранные таблицы загружаются в цель). После этого актуальность данных в цели поддерживается с использованием технологии CDC (Change Data Capture, захват данных изменений).

  Примечание к информацииCDC (Захват данных изменений) для операций DDL не поддерживается.

  При работе с Data Movement gateway изменения захватываются из источника практически в режиме реального времени. При работе без Data Movement gatewayизменения захватываются в соответствии с параметрами планировщика. Для получения дополнительной информации см. раздел Настройки для целей типа «облачное хранилище».

• Перезагрузить: выполняется полная загрузка данных из выбранных исходных таблиц на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но при необходимости ее можно выполнять вручную или по расписанию на регулярной основе.

Общие сведения о запланированном захвате изменений данных (CDC)

При работе без Data Movement gateway или при использовании коннекторов Preview изменения захватываются в соответствии с запланированным интервалом. Важно знать, как работает планирование. Это лучше всего демонстрирует следующий пример. В следующем примере запланировано выполнение задачи каждые 30 минут начиная с 9:00.

• Выполнение задачи данных начинается с полной загрузки в 9:00.
• Полная загрузка заканчивается в 9:40, поэтому выполнение, запланированное на 9:30, пропускается.
• Следующее выполнение начинается в 10:00, и захватывает все изменения, внесенные до 10:00.
• Выполнение, начатое в 10:00, завершается в 10:15.
• Следующее выполнение начинается в 10:30 и захватывает все изменения, внесенные с 10:00 до 10:30.

Ограничения

Некоторые таблицы, возвращаемые приложением SaaS, не поддерживаются режимом Захват данных изменений (CDC). В таком случае появится предупреждение в разделе Ошибка проверки. Можно выполнить одно из следующих действий.

• Удалите таблицу из задачи данных.

• Измените метод обновления задачи данных на Перезагрузка и сравнение.