Репликация данных при использовании подписки Standard, Premium или Enterprise

Порядок настройки задачи репликации

1. Выберите Интеграция данных > Проекты и щелкните Создать проект.

2. В диалоговом окне Новый проект выполните следующие действия.

   1. В поле Имя укажите название своего проекта.
   2. Выберите пространство, в котором требуется создать проект.
   3. При необходимости заполните поле Описание.
   4. Выберите Репликация в поле Пример использования.
   5. По выбору можно снять флажок Открыть, если требуется создать пустой проект, не настраивая параметры.

   6. Нажмите кнопку Создать.

      Произойдет одно из следующего:

      • Если флажок Открыть в диалоговом окне Новый проект установлен (по умолчанию), проект будет открыт.
      • Если флажок Открыть в диалоговом окне Новый проект был снят, проект будет добавлен в список проектов. Проект можно открыть позднее, выбрав команду Открыть в меню проекта.

3. После того как откроется проект, щелкните Репликация данных.

   Откроется мастер Репликация данных.

4. На вкладке Общие укажите имя и описание задачи репликации данных. Затем щелкните Далее.

5. На вкладке Выберите подключение к источнику выберите подключение к источнику данных. На сове усмотрение, можно изменить настройки подключения, выбрав команду Изменить в меню столбца Действия.

   Если такого подключения к источнику данных пока нет, его необходимо создать. Для этого нажмите Создать подключение в верхнем правом углу вкладки.

   Список подключений можно отфильтровать, используя фильтры слева. Доступна фильтрация подключений по типу источника, шлюзу, пространству и владельцу. На кнопке Все фильтры над списком подключений отображается количество текущих фильтров. Нажмите эту кнопку, чтобы закрыть или открыть панель Фильтры слева. Текущие активные фильтры также отображаются над списком доступных подключений.

   Также можно сортировать список, выбрав Последние измененные, Последние созданные или В алфавитном порядке в раскрывающемся списке справа. Щелкните стрелку справа от списка, чтобы изменить порядок сортировки.

   Выбрав подключение к источнику данных, можно нажать кнопку Проверка подключения в верхнему правом углу вкладки (рекомендуется), а затем нажмите кнопку Далее.

6. На вкладке Выберите наборы данных укажите таблицы и (или) виды, которые требуется включить в задачу репликации данных. Можно использовать знаки подстановки и создать правила выборки, как описано в Выбор данных в базе данных.

7. На вкладке Выберите целевое подключение выберите цель в списке доступных подключений, затем нажмите кнопку Далее. С точки зрения функциональности эта вкладка полностью соответствует вкладке Выберите подключение к источнику, описанной ранее.

8. На вкладке Параметры можно, на свое усмотрение, изменить следующие настройки, а затем нажать кнопку Далее.

   Режим репликации

   Примечание к информациикогда выполняется репликация из источников приложений SaaS, режим репликации Полная загрузка включается по умолчанию и не может быть отключен.
   • Полная загрузка: данные из выбранных исходных таблиц загружаются на целевую платформу, при необходимости создаются целевые таблицы. Полная загрузка выполняется автоматически, когда запускается задача, но ее можно выполнить вручную при необходимости.

   • Применить изменения: целевые таблицы обновляются изменениями, вносимыми в исходные таблицы.

   • Сохранить изменения: изменения исходных таблиц сохраняются в таблицах изменений (по одной на каждую исходную таблицу).

     Для получения дополнительной информации см. раздел Сохранить изменения.

   При работе с Data Movement Gateway изменения захватываются из источника практически в режиме реального времени. При работе без Data Movement Gateway (в параметрах коннектора в поле Шлюз данных выбрано значение Нет) изменения захватываются в соответствии с параметрами планировщика. Интервал захвата изменений по умолчанию составляет шесть часов. Для получения дополнительной информации см. раздел Планирование задач при работе без Data Movement Gateway.

   Режим применения изменений

   Примечание к информацииПри репликации в цели ― хранилища данных нельзя выбрать тот или иной режим Применить изменения. Изменения всегда будут применяться в режиме Пакетная оптимизации, чтобы обеспечить максимальную эффективность.

   Изменения применяются к целевым таблицам с использованием одного из следующих методов:

   • Пакетная оптимизация: это значение по умолчанию. Когда установлен этот флажок, изменения применяются пакетами. Происходит предварительная обработка, чтобы сгруппировать транзакции в пакеты наиболее эффективным способом.
   • Транзакционное: выберите этот параметр, чтобы применить каждую транзакцию отдельно, в том порядке, в котором она была совершена. В этом случае для всех таблиц обеспечивается строгая целостность данных.

   Подключение к промежуточной области:

   При репликации в хранилища данных, перечисленные ниже, необходимо настроить промежуточную область. Перед перемещением данных в хранилище осуществляется их обработка и подготовка в промежуточной области.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Выберите существующую промежуточную область или нажмите Создать, чтобы определить новую промежуточную область, и следуйте инструкциям в разделе Подключение к облачному хранилищу.

   Чтобы изменить параметры подключения, нажмите Изменить. Чтобы проверить подключение (рекомендуется), нажмите Проверка соединения.

   Для получения дополнительной информации о том, какие промежуточные области поддерживаются для тех или иных хранилищ данных, см. столбец Поддерживается как промежуточная область в таблице Сценарии использования и поддерживаемые версии целевых платформ.

   Планировщик репликаций

   Примечание к информацииЭта настройка релевантна только при доступе к источникам данным без Data Movement Gateway. Для получения информации о преимуществах Data Movement Gateway и о сценариях, требующих его использования, см. раздел Qlik Data Gateway — Data Movement.

   • Репликация данных каждые: Можно запланировать, как часто должны захватываться изменения из источника данных, и задать Время начала и Дату начала. Если исходные наборы данных поддерживают CDC (Захват изменений данных), только изменения в исходных данных будут реплицированы в соответствующие целевые таблицы. Если исходные наборы данных не поддерживают CDC (например, «Виды»), изменения будут применены путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если одни исходные наборы данных поддерживают CDC, а другие нет, будут созданы две подзадачи (предположим, для параметра Применить изменения или выбраны параметры репликации Сохранить изменения): один для перезагрузки наборов данных, которые не поддерживают CDC, а другой для захвата изменений наборов данных, не поддерживающих CDC.

     Мастер настройки задачи позволяет запланировать базовый интервал, равный одному часу. После завершения настройки задачи можно изучить различные варианты планирования, как описано в Планирование задач при работе без Data Movement Gateway.

   Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

9. На вкладке Сводка отображается визуальное представление конвейера данных. Если некоторые из выбанных наборов данных не поддерживают CDC, будут отображаться два конвейера: один для задачи CDC и второй для задачи перезагрузки. Выберите нужное действие: Открыть задачу данных <имя> или Ничего не делать, а затем щелкните Создать.

   В зависимости от выбранного варианта, будет открыта задача или список проектов.

10. Если пользователь решил открыть задачу, на вкладке Наборы данных будет отображаться структура и метаданные выбранных исходных таблиц. В их число входят все прямо перечисленные таблицы, а также таблицы, которые отвечают правилам выбора.

    Если требуется добавить больше таблиц из источника данных, нажмите Выбрать источник данных.

11. На свое усмотрение измените параметры задачи, как описано в разделе Параметры задачи репликации данных.

12. Можно выполнять преобразования наборов данных, фильтровать данные или добавлять столбцы.

    Для получения дополнительной информации см. раздел Управление наборами данных.

13. При добавлении преобразований можно подтвердить наборы данных, нажав Проверить наборы данных. Если проверка завершится ошибкой, необходимо устранить обнаруженные ошибки, прежде чем продолжить.

    Для получения дополнительной информации см. раздел Проверка и исправление наборов данных.

14. После изменения нажмите Подготовить, чтобы сохранить в каталоге задачу данных и подготовить ее для выполнения.

15. Завершив подготовку задачи данных, щелкните Запустить.

    Для получения информации о восстановлении задач и других способах выполнения задач см. раздел Расширенные параметры запуска.

16. Теперь должна начаться задача репликации, ход процесса можно увидеть в мониторе. Для получения дополнительной информации см. раздел Мониторинг индивидуальной задачи данных

Настройка приоритета загрузки для наборов данных

В задаче данных можно назначить приоритет загрузки каждому набору данных, чтобы управлять порядком их загрузки. Это может быть полезно, например, если необходимо, чтобы меньшие наборы данных загружались раньше больших.

1. Щелкните Приоритет загрузки.

2. Выберите приоритет загрузки для каждого набора данных.

   По умолчанию задан приоритет загрузки Нормальный. Наборы данных будут загружаться в следующем порядке приоритета:

   • Самый высокий

   • Более высокий

   • Высокий

   • Нормальный

   • Низкий

   • Более низкий

   • Самый низкий

   Наборы данных с одинаковым приоритетом загружаются без соблюдения какого-то особого порядка.

3. Щелкните ОК.

Обновление метаданных

Можно обновить метаданные в задаче в соответствии с изменениями метаданных источника в виде Дизайн задачи. Для приложений SaaS, использующих Metadata Manager, необходимо обновить Metadata Manager, прежде чем обновлять метаданные в задаче данных.

1. Можно либо:

   • Щелкните ..., а затем Обновить метаданные, чтобы обновить метаданные для всех наборов данных в задаче.

   • Щелкните ... для набора данных в списке Наборы данных, а затем Обновить метаданные, чтобы обновить метаданные для одного набора данных.

   Можно просмотреть статус обновления метаданных в области Обновить метаданные в нижней части экрана. Чтобы увидеть время последнего обновления метаданных, наведите указатель мыши на .

2. Подготовьте задачу данных, чтобы применить изменения.

   После того как задача данных подготовлена, а изменения применены, изменения удаляются из области Обновить метаданные.

Необходимо подготовить задачи хранения, которые используют эту задачу для распространения изменений

Если столбец удаляется, добавляется преобразование с нулевыми значениями (Null), чтобы исключить потерю исторических данных при хранении

Ограничения при обновлении метаданных

• Если выполняется переименование столбца, а предшествующий столбец отбрасывается, эта задача преобразуется в переименование отброшенного столбца, если эти столбцы имеют одинаковые тип и длину данных.

  Пример:  

  До: a b c d

  После: a c1 d

  В этом примере столбец b отбрасывался, а c переименован в c1, при этом b и c имеют одинаковые тип и длину данных.

  Это будет идентифицировано как переименование b в c1 и отбрасывание c.

• Переименование последнего столбца не распознается, даже если он отброшен, а предшествующий столбец переименован.

  Пример:  

  До: a b c d

  После: a b c1

  В этом примере столбец d отброшен, а c переименован в c1.

  Это будет идентифицировано как отбрасывание c и d, и добавление c1.

• Предполагается, что новые столбцы добавляются в конце. Если столбцы добавляются в середине с тем же типом данных, что и следующий столбец, эти задачи могут быть интерпретированы как отбрасывание и переименование.

Эволюция схемы

Эволюция схем позволяет легко обнаружить структурные изменения в нескольких источниках данных, а затем контролировать применение этих изменений к задаче. Эволюцию схемы можно использовать для обнаружения изменений DDL, которые были внесены в исходную схему данных. Также можно применить некоторые изменения автоматически.

Для каждого типа изменения можно выбрать способ обработки изменений в разделе Эволюции схемы в настройках задачи. Можно применить изменение, проигнорировать его, приостановить работу таблицы или остановить обработку задачи.

Можно задать, какое действие будет использоваться для обработки изменений DDL для каждого типа изменений. Некоторые действия доступны не для всех типов изменений.

• Применить к цели

  Изменения применяются автоматически.

• Игнорировать

  Изменения игнорируются.

• Приостановить таблицу

  Таблица приостанавливается. Для таблицы будет отображаться ошибка в разделе Мониторинг.

• Остановить задачу

  Обработка задачи останавливается. Это удобно, если требуется обрабатывать все изменения схемы вручную. Это также остановит составление графика, то есть запланированные запуски не будут выполняться.

Поддерживаются следующие изменения:

• Добавить столбец

• Переименовать столбец

• Изменить тип данных столбца

• Отбросить таблицу

• Отбросить столбец

• Добавить таблицу, соответствующую шаблону выборки
  

  Если использовалось правило выбора для добавления наборов данных, соответствующих шаблону, будут обнаруживаться и добавляться новые таблицы, соответствующие шаблону.

Для получения дополнительной информации о параметрах задачи см. раздел Эволюция схемы

Также можно получать уведомления об изменениях, которые обрабатываются в рамках эволюции схемы. Для получения дополнительной информации см. раздел Настройка уведомлений об изменениях в работе.

Ограничения для эволюции схемы

При эволюции схемы действуют следующие ограничения.

• Эволюция схемы поддерживается только при использовании CDC в качестве метода обновления.

• Если параметры эволюции схемы изменены, необходимо подготовить задачу заново.

• Если выполняется переименование таблиц, эволюция схемы не поддерживается. В этом случае необходимо обновить метаданные перед подготовкой задачи.

• В процессе разработки задачи необходимо обновить браузер, чтобы получить изменения эволюции схемы. Можно настроить уведомления, чтобы получать оповещения об изменениях.

• В задачах промежуточного хранения отбрасывание столбцов не поддерживается. Отбрасывание и добавление столбца приведет к ошибке таблицы.

• В задачах промежуточного хранения операция DROP TABLE (ОТБРОСИТЬ ТАБЛИЦУ) не приведет к отбрасыванию таблицы. Удаление таблицы и последующее добавление таблицы приводит лишь к тому, что старая таблица усекается, а новая таблица не добавляется.

• Изменение длины столбца возможно не для всех целей в зависимости от поддержки в целевой базе данных.

• Если имя столбца изменено, явные преобразования, определенные с помощью этого столбца, не будут выполняться, так как они основаны на имени столбца.

• Ограничения, действующие при обновлении метаданных, также распространяются и на эволюцию схем.

При захвате изменений DDL действуют следующие ограничения:

• Когда в исходной базе данных происходит быстрая последовательность операций (например, DDL>DML>DDL), Qlik Talend Data Integration может разобрать журнал в неправильном порядке, что приведет к отсутствию данных или непредсказуемому поведению. Чтобы свести к минимуму такую вероятность, лучше всего подождать, пока изменения будут применены к цели, и только после этого выполнять следующую операцию.

  Например, если исходная таблица переименовывается несколько раз подряд в течение короткого интервала времени (и вторая операция переименования возвращает ей исходное имя), во время захвата изменений может появиться сообщение об ошибке, что таблица уже существует в целевой базе данных.

• Если выполняется переименование таблицы, используемой в задаче, а затем эта задача останавливается, Qlik Talend Data Integration не захватит изменения, внесенные в эту таблицу после возобновления задачи.

• Переименование исходной таблицы, пока задача остановлена, не поддерживается.

• Перераспределение столбцов первичного ключа таблицы не поддерживается (и поэтому не записывается в управляющую таблицу DDL History).
• Если тип данных столбца изменен, а затем выполняется переименование этого же столбца, пока задание остановлено, изменение DDL отражается в управляющей таблице DDL History как Drop Column (Отбросить столбец), а затем Add Column (Добавить столбец), когда задача возобновляется. Обратите внимание, что такое же поведение может наблюдаться и в результате длительной задержки.
• Операции CREATE TABLE (СОЗДАТЬ ТАБЛИЦУ), выполненные в источнике, пока задача остановлена, будут применены к цели при возобновлении задачи, но не будут записаны как DDL в управляющей таблице DDL History.

• Операции, связанные с изменением метаданных (такие как ALTER TABLE (ИЗМЕНИТЬ ТАБЛИЦУ), реорганизация, перестройка кластеризованного индекса и т. д.), могут вызывать непредсказуемое поведение, если они были выполнены:

  • Во время полной загрузки

    -ИЛИ-

  • Между меткой времени Начать обработку изменений с и текущим временем (т. е. моментом, когда пользователь нажимает кнопку OK в диалоговом окне Расширенные параметры запуска).

    Пример:

    ЕСЛИ:

    Указанное время Начать обработку изменений с ― 10:00.

    И:

    Столбец с именем Age (Возраст) добавляется в таблицу Employees (Сотрудники) в 10:10 утра.

    И:

    Пользователь нажимает кнопку OK в диалоговом окне Расширенные параметры запуска в 10:15 утра.

    ТО:

    Изменения, которые произошли между 10:00 и 10:10, могут привести к ошибкам CDC.

  Примечание к информации

  В любом из вышеперечисленных случаев необходимо перезагрузить затронутые таблицы, чтобы данные были правильно перенесены (перенесено) в цель.

• Оператор DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> не реплицирует значение по умолчанию в цель, и новый/измененный столбец получает значение NULL. Обратите внимание, что это может произойти, даже если DDL, добавивший/изменивший столбец, был выполнен в прошлом. Если новый/измененный столбец допускает нулевые значения, конечная точка источника обновляет все строки таблицы, прежде чем регистрировать сам DDL. В результате Qlik Talend Data Integration захватывает изменения, но не обновляет цель. Поскольку новый/измененный столбец получает значение NULL, то если целевая таблица не имеет столбца первичного ключа/уникального индекса, при последующих обновлениях будет появляться сообщение «Затронуто строк: 0».

• Изменения в столбцах с точными данными TIMESTAMP (МЕТКА ВРЕМЕНИ) и DATE (ДАТА) не будут захватываться.

Работа с изменениями, которые не применяются автоматически

Здесь описано, как обрабатывать изменения, которые невозможно применить к цели, т. е. предпринимается действие «Игнорировать», «Приостановить» или «Остановить задачу».

Ограничения и замечания при репликации данных

В отношении преобразований действуют следующие ограничения:

• Преобразования не поддерживаются для столбцов на языках с письмом справа налево.

• Невозможно выполнять преобразования в столбцах, в имени которых есть специальные символы (например, #, \, /, -).

• Единственное поддерживаемое преобразование для типов данных LOB/CLOB ― это отбрасывание столбца в целевой таблице.
• Не поддерживается использование преобразования с целью переименования столбца и последующего добавления нового столбца с тем же именем.

Изменение допустимости нулевых значений не поддерживается в столбцах, которые перемещены путем непосредственного изменения или с использованием правила преобразования. Однако новые столбцы, создаваемые в задаче, допускают нулевые значения по умолчанию.