Репликация данных при использовании подписки Standard, Premium или Enterprise

Порядок настройки задачи репликации

1. Выберите Интеграция данных > Проекты и щелкните Создать проект.

2. В диалоговом окне Новый проект выполните следующие действия.

   1. В поле Имя укажите название своего проекта.
   2. Выберите пространство, в котором требуется создать проект.
   3. При необходимости заполните поле Описание.
   4. Выберите Репликация в поле Пример использования.
   5. По выбору можно снять флажок Открыть, если требуется создать пустой проект, не настраивая параметры.

   6. Нажмите кнопку Создать.

      Произойдет одно из следующего:

      • Если флажок Открыть в диалоговом окне Новый проект установлен (по умолчанию), проект будет открыт.
      • Если флажок Открыть в диалоговом окне Новый проект был снят, проект будет добавлен в список проектов. Проект можно открыть позднее, выбрав команду Открыть в меню проекта.

3. После того как откроется проект, щелкните Репликация данных.

   Откроется мастер Репликация данных.

4. На вкладке Общие укажите имя и описание задачи репликации данных. Затем щелкните Далее.

5. На вкладке Выберите подключение к источнику выберите подключение к источнику данных. На сове усмотрение, можно изменить настройки подключения, выбрав команду Изменить в меню столбца Действия.

   Если такого подключения к источнику данных пока нет, его необходимо создать. Для этого нажмите Создать подключение в верхнем правом углу вкладки.

   Список подключений можно отфильтровать, используя фильтры слева. Доступна фильтрация подключений по типу источника, шлюзу, пространству и владельцу. На кнопке Все фильтры над списком подключений отображается количество текущих фильтров. Нажмите эту кнопку, чтобы закрыть или открыть панель Фильтры слева. Текущие активные фильтры также отображаются над списком доступных подключений.

   Также можно сортировать список, выбрав Последние измененные, Последние созданные или В алфавитном порядке в раскрывающемся списке справа. Щелкните стрелку справа от списка, чтобы изменить порядок сортировки.

   Выбрав подключение к источнику данных, можно нажать кнопку Проверка подключения в верхнему правом углу вкладки (рекомендуется), а затем нажмите кнопку Далее.

6. На вкладке Выберите наборы данных укажите таблицы и (или) виды, которые требуется включить в задачу репликации данных. Можно использовать знаки подстановки и создать правила выборки, как описано в Выбор данных в базе данных.

7. На вкладке Выберите целевое подключение выберите цель в списке доступных подключений, затем нажмите кнопку Далее. С точки зрения функциональности эта вкладка полностью соответствует вкладке Выберите подключение к источнику, описанной ранее.

8. На вкладке Параметры можно, на свое усмотрение, изменить следующие настройки, а затем нажать кнопку Далее.

   Режим репликации

   Примечание к информациикогда выполняется репликация из источников приложений SaaS, режим репликации Полная загрузка включается по умолчанию и не может быть отключен.
   • Полная загрузка: данные из выбранных исходных таблиц загружаются на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но ее можно выполнить вручную при необходимости.

   • Применить изменения: целевые таблицы обновляются изменениями, вносимыми в исходные таблицы.

   • Сохранить изменения: изменения исходных таблиц сохраняются в таблицах изменений (по одной на каждую исходную таблицу).

     Для получения дополнительной информации см. раздел Сохранить изменения.

   При работе с Data Movement Gateway изменения захватываются из источника практически в режиме реального времени. При работе без Data Movement Gateway (в параметрах коннектора в поле Шлюз данных выбрано значение Нет) изменения захватываются в соответствии с параметрами планировщика. Интервал захвата изменений по умолчанию составляет шесть часов. Для получения дополнительной информации см. раздел Планирование задач при работе без Data Movement Gateway.

   Режим применения изменений

   Примечание к информацииПри репликации в цели ― хранилища данных нельзя выбрать тот или иной режим Применить изменения. Изменения всегда будут применяться в режиме Пакетная оптимизации, чтобы обеспечить максимальную эффективность.

   Изменения применяются к целевым таблицам с использованием одного из следующих методов:

   • Пакетная оптимизация: это значение по умолчанию. Когда установлен этот флажок, изменения применяются пакетами. Происходит предварительная обработка, чтобы сгруппировать транзакции в пакеты наиболее эффективным способом.
   • Транзакционное: выберите этот параметр, чтобы применить каждую транзакцию отдельно, в том порядке, в котором она была совершена. В этом случае для всех таблиц обеспечивается строгая целостность данных.

   Подключение к промежуточной области:

   При репликации в хранилища данных, перечисленные ниже, необходимо настроить промежуточную область. Перед перемещением данных в хранилище осуществляется их обработка и подготовка в промежуточной области.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Выберите существующую промежуточную область или нажмите Создать, чтобы определить новую промежуточную область, и следуйте инструкциям в разделе Подключение к облачному хранилищу.

   Чтобы изменить параметры подключения, нажмите Изменить. Чтобы проверить подключение (рекомендуется), нажмите Проверка соединения.

   Для получения дополнительной информации о том, какие промежуточные области поддерживаются для тех или иных хранилищ данных, см. столбец Поддерживается как промежуточная область в таблице Сценарии использования и поддерживаемые версии целевых платформ.

   Планировщик репликаций

   Примечание к информацииЭта настройка релевантна только при доступе к источникам данным без Data Movement Gateway. Для получения информации о преимуществах Data Movement Gateway и о сценариях, требующих его использования, см. раздел Qlik Data Gateway — Data Movement.

   • Репликация данных каждые: Можно запланировать, как часто должны захватываться изменения из источника данных, и задать Время начала и Дату начала. Если исходные наборы данных поддерживают CDC (Захват изменений данных), только изменения в исходных данных будут реплицированы в соответствующие целевые таблицы. Если исходные наборы данных не поддерживают CDC (например, «Виды»), изменения будут применены путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если одни исходные наборы данных поддерживают CDC, а другие нет, будут созданы две подзадачи (предположим, для параметра Применить изменения или выбраны параметры репликации Сохранить изменения): один для перезагрузки наборов данных, которые не поддерживают CDC, а другой для захвата изменений наборов данных, не поддерживающих CDC.

     Мастер настройки задачи позволяет запланировать базовый интервал, равный одному часу. После завершения настройки задачи можно изучить различные варианты планирования, как описано в Планирование задач при работе без Data Movement Gateway.

   Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

9. На вкладке Сводка отображается визуальное представление конвейера данных. Если некоторые из выбанных наборов данных не поддерживают CDC, будут отображаться два конвейера: один для задачи CDC и второй для задачи перезагрузки. Выберите нужное действие: Открыть задачу данных <имя> или Ничего не делать, а затем щелкните Создать.

   В зависимости от выбранного варианта, будет открыта задача или список проектов.

10. Если пользователь решил открыть задачу, на вкладке Наборы данных будет отображаться структура и метаданные выбранных исходных таблиц. В их число входят все прямо перечисленные таблицы, а также таблицы, которые отвечают правилам выбора.

    Если требуется добавить больше таблиц из источника данных, нажмите Выбрать источник данных.

11. На свое усмотрение измените параметры задачи, как описано в разделе Параметры задачи репликации данных.

12. Можно выполнять преобразования наборов данных, фильтровать данные или добавлять столбцы.

    Для получения дополнительной информации см. раздел Управление наборами данных.

13. При добавлении преобразований можно подтвердить наборы данных, нажав Проверить наборы данных. Если проверка завершится ошибкой, необходимо устранить обнаруженные ошибки, прежде чем продолжить.

    Для получения дополнительной информации см. раздел Проверка и исправление наборов данных.

14. После изменения нажмите Подготовить, чтобы сохранить в каталоге задачу данных и подготовить ее для выполнения.

15. Завершив подготовку задачи данных, щелкните Запустить.

    Для получения информации о восстановлении задач и других способах выполнения задач см. раздел Расширенные параметры запуска.

16. Теперь должна начаться задача репликации, ход процесса можно увидеть в мониторе. Для получения дополнительной информации см. раздел Мониторинг индивидуальной задачи данных

Настройка приоритета загрузки для наборов данных

В задаче данных можно назначить приоритет загрузки каждому набору данных, чтобы управлять порядком их загрузки. Это может быть полезно, например, если необходимо, чтобы меньшие наборы данных загружались раньше больших.

1. Щелкните Приоритет загрузки.

2. Выберите приоритет загрузки для каждого набора данных.

   По умолчанию задан приоритет загрузки Нормальный. Наборы данных будут загружаться в следующем порядке приоритета:

   • Самый высокий

   • Более высокий

   • Высокий

   • Нормальный

   • Низкий

   • Более низкий

   • Самый низкий

   Наборы данных с одинаковым приоритетом загружаются без соблюдения какого-то особого порядка.

3. Щелкните ОК.

Обновление метаданных

Можно обновить метаданные в задаче в соответствии с изменениями метаданных источника в виде Дизайн задачи. Для приложений SaaS, использующих Metadata Manager, необходимо обновить Metadata Manager, прежде чем обновлять метаданные в задаче данных.

1. Можно либо:

   • Щелкните ..., а затем Обновить метаданные, чтобы обновить метаданные для всех наборов данных в задаче.

   • Щелкните ... для набора данных в списке Наборы данных, а затем Обновить метаданные, чтобы обновить метаданные для одного набора данных.

   Можно просмотреть статус обновления метаданных в области Обновить метаданные в нижней части экрана. Чтобы увидеть время последнего обновления метаданных, наведите указатель мыши на .

2. Подготовьте задачу данных, чтобы применить изменения.

   После того как задача данных подготовлена, а изменения применены, изменения удаляются из области Обновить метаданные.

Необходимо подготовить задачи хранения, которые используют эту задачу для распространения изменений

Если столбец удаляется, добавляется преобразование с нулевыми значениями (Null), чтобы исключить потерю исторических данных при хранении

Ограничения

• Если выполняется переименование столбца, а предшествующий столбец отбрасывается, эта задача преобразуется в переименование отброшенного столбца, если эти столбцы имеют одинаковые тип и длину данных.

  Пример:  

  До: a b c d

  После: a c1 d

  В этом примере столбец b отбрасывался, а c переименован в c1, при этом b и c имеют одинаковые тип и длину данных.

  Это будет идентифицировано как переименование b в c1 и отбрасывание c.

• Переименование последнего столбца не распознается, даже если он отброшен, а предшествующий столбец переименован.

  Пример:  

  До: a b c d

  После: a b c1

  В этом примере столбец d отброшен, а c переименован в c1.

  Это будет идентифицировано как отбрасывание c и d, и добавление c1.

• Предполагается, что новые столбцы добавляются в конце. Если столбцы добавляются в середине с тем же типом данных, что и следующий столбец, эти задачи могут быть интерпретированы как отбрасывание и переименование.

Ограничения и замечания при репликации данных

В отношении преобразований действуют следующие ограничения:

• Преобразования не поддерживаются для столбцов на языках с письмом справа налево.

• Невозможно выполнять преобразования в столбцах, в имени которых есть специальные символы (например, #, \, /, -).

• Единственное поддерживаемое преобразование для типов данных LOB/CLOB ― это отбрасывание столбца в целевой таблице.
• Не поддерживается использование преобразования с целью переименования столбца и последующего добавления нового столбца с тем же именем.

Изменение допустимости нулевых значений не поддерживается в столбцах, которые перемещены путем непосредственного изменения или с использованием правила преобразования. Однако новые столбцы, создаваемые в задаче, допускают нулевые значения по умолчанию.