Экспорт и импорт конвейеров данных

Проект конвейера данных можно сохранить в файл, содержащий все необходимое для восстановления проекта данных. Файл можно импортировать в тот же или другой клиент. Например, эту функцию можно использовать для переноса проектов из одного клиента в другой или для создания резервных копий проектов. Можно также обновить проект из файла экспорта.

Экспорт проекта данных

Для экспорта проекта необходима хотя бы одна из следующих ролей в пространстве, где находится проект:

• Может изменять

• Может просматривать

• Может эксплуатировать

Чтобы экспортировать проект:

1. В Интеграция данных > Проекты конвейеров щелкните рядом с проектом и выберите Экспорт.

   Вы также можете открыть проект, щелкните вверху справа и выберите Экспортировать.

2. Выберите формат экспорта:

   • Минимизированный (по умолчанию) — экспортирует только необходимые и измененные настройки. Рекомендуется для контроля версий и рабочих процессов с приоритетом кода.

   • Полный — экспортирует все настройки, включая значения по умолчанию. Используйте это, чтобы просмотреть полную конфигурацию или при поиске и устранении неполадок.

   • Устаревший — экспортирует в старом формате JSON. Используйте это только для интеграции с системами, которые не могут обрабатывать YAML.

Проект экспортируется в файл ZIP с именем, которое включает название проекта, платформу данных и метку времени.

Импорт проектов

В этом разделе рассматривается импорт проектов. Можно импортировать проект облачного хранилища данных или проект Qlik Cloud (через Amazon S3).

Можно перейти на другую платформу данных, однако имеются следующие ограничения:

• Нельзя перейти с облачного хранилища данных на Qlik Cloud (и наоборот).

• Нельзя выбрать другую платформу для проекта Snowflake, в котором промежуточное хранение выполняется в облачном хранилище файлов, (и наоборот).

Перед импортом проекта

Прежде чем начать импортировать проект, примите во внимание указанное ниже.

• Если выполняется импорт в новое пространство или клиент, необходимо создать все требуемые новые подключения.

• Если проект использует подключения к приложениям SaaS, которые пока не существуют, необходимо создать подключения и сгенерировать метаданные, прежде чем начинать импорт.

• Если выполняется импорт межпроектного конвейера, необходимо сначала импортировать вышестоящие проекты.

Импорт проекта из облачного хранилища данных

Можно импортировать экспортированный проект из облачного хранилища данных в тот же клиент, из которого он был экспортирован, или в другой клиент. При импорте проекта в клиент, который не является клиентом первоначального проекта данных, необходимо определить новые подключения для этого проекта, промежуточной области и для всех источников данных.

Если проект использует задачи из других проектов, необходимо сопоставить проекты и задачи, если только имена пространств и проектов не совпадают.

1. Выберите Интеграция данных > Проекты конвейеров и щелкните Создать и выберите Импортировать проект.

2. Добавьте файл экспорта. Можно перетащить его в диалоговое окно или указать путь к файлу в режиме обзора.

   Нажмите Далее.

3. Настройте Свойства проекта для нового проекта.

   В поле Пространство необходимо выбрать, в какое пространство требуется добавить проект.

   В поле Платформа данных можно изменить платформу данных проекта, а также подключение к платформе данных.

   Изменять Подключение необходимо, если проект импортирован из другого клиента или если на предыдущем шаге изменена платформа данных.

   Можно изменить подключение к промежуточной области. Это необходимо, если проект импортирован из другого клиента или, в некоторых случаях, если на предыдущем шаге изменена платформа данных.

   Нажмите Далее.

4. Настройте Параметры проекта по умолчанию для нового проекта.

   В поле Префикс для всех схем можно добавлять префикс в схемы данных, создаваемые в проекте. Это полезно, когда импортированный проект находится в том же облачном хранилище данных, что экспортированный проект.

   В поле Имя базы данных также можно задать имя по умолчанию. Для проектов Snowflake можно задать Имя хранилища данных по умолчанию, а для проектов Databricks — Имя каталога по умолчанию. Можно использовать имя проекта по умолчанию для всех типов задач либо устанавливать имя по умолчанию или пользовательское имя для каждого типа задач.

   Нажмите Далее.

5. Настройте Подключения и параметры задачи.

   Можно заменить импортированные подключения к источнику или межпроектные источники подключением, использующим тот же коннектор. Например, если импортированное подключение к источнику — MySQL, то заменяющее подключение также должно быть MySQL Это необходимо, если проект импортирован из другого источника.

   В Дополнительных параметрах задачи можно также изменить параметры задачи, которые вы хотите переопределить в исходном проекте.

6. По завершении нажмите кнопку Импортировать.

Проект добавляется на главную страницу Интеграция данных.

Импорт проекта при использовании Qlik Cloud качестве платформы данных

Можно импортировать экспортированный проект Qlik Cloud (через Amazon S3) в тот же клиент, из которого он был экспортирован, или в другой клиент. При импорте проекта в клиент, который не является клиентом первоначального проекта данных, необходимо определить новые подключения для этого проекта, промежуточной области и для всех источников данных.

Невозможно изменить платформу данных с Qlik Cloud на облачное хранилище данных, такое как Snowflake.

1. Выберите Интеграция данных > Проекты конвейеров и щелкните Создать и выберите Импортировать проект.

2. Добавьте файл экспорта. Можно перетащить его в диалоговое окно или указать путь к файлу в режиме обзора.

   Нажмите Далее.

3. Имя

   Измените имя проекта. Имя по умолчанию имеет следующий формат: исходное имя проекта с префиксом Imported_.

4. Пространство
   Выберите, в какое пространство требуется добавить проект.

5. Описание
   Добавьте или отредактируйте описание проекта.

6. Сохранять файлы QVD в:

   Выберите, где необходимо создать файлы QVD.

   • Хранилище, управляемое Qlik

   • Хранилище, управляемое клиентом

     Хранилище Amazon S3, управляемое вами.

7. Подключение к данным

   Если выбран вариант Хранилище, управляемое клиентом, то можно изменить подключение для области хранилища Amazon S3.

   Это необходимо, если проект импортирован из другого источника.

8. Подключение к промежуточной области:

   Можно изменить подключение к Amazon S3 промежуточной области.

   Это необходимо, если проект импортирован из другого клиента или, в некоторых случаях, если на предыдущем шаге изменена платформа данных.

9. Нажмите Далее.

10. Задать подключения для задач, добавленных в оригинальной версии
    Вы можете заменить импортированные исходные подключения подключением, использующим тот же коннектор. Например, если импортированное подключение к источнику — MySQL, то заменяющее подключение также должно быть MySQL

    Это необходимо, если проект импортирован из другого источника.

11. В Дополнительных параметрах задачи можно изменить параметры задачи, которые вы хотите переопределить в исходном проекте.

12. По завершении нажмите кнопку Импортировать.

Проект добавляется на главную страницу Интеграция данных.

Обновление проекта

Можно обновить проект из файла экспорта. При этом будут заменены все задачи в конвейере данных, но подключения и параметры останутся прежними. Задачи данных, не включенные в импортированный проект, будут удалены.

Например, можно импортировать проект, экспортированный из пространства данных для разработки, в проект в пространстве рабочих данных, чтобы обновить рабочий проект.

Прежде чем приступать к обновлению проекта, выполните следующие действия.

• Если требуется сохранить резервную копию проекта перед обновлением, экспортируйте его: щелкните , затем нажмите кнопку Экспорт.

• Необходимо остановить все задачи, которые будут удалены из конвейера данных, прежде чем обновлять проект.

• Если проект использует подключения к приложениям SaaS, которые пока не существуют, необходимо создать подключения и сгенерировать метаданные, прежде чем начинать импорт.

• Убедитесь, что импортируемый проект использует ту же облачную платформу данных, например Snowflake.

Чтобы обновить проект, выполните следующие действия.

1. Откройте проект, который требуется обновить.

2. Щелкните , затем нажмите кнопку Импорт.

3. Выберите или перетащите файл, который требуется импортировать.

4. Внесите необходимые изменения для сопоставления отличающихся подключений между обновляемым проектом и импортированным проектом.

   Например, импортированный проект может использовать исходное подключение под именем SQL1, а данный проект использует похожее подключение под именем SQL2. В этом случае необходимо сопоставить импортированное подключение с SQL2 в разделе Задать подключения для задач, добавленных в оригинальной версии.

   Примечание к информацииПри выборе подключения для сопоставления можно создать новое подключение к базе данных, но нельзя создать подключение к приложению SaaS.

   Когда будете готовы, нажмите Импорт.

Теперь проект обновлен в соответствии с импортированным файлом. Может потребоваться проверить и синхронизировать задачи данных, обновленные посредством импорта.

Оптимальные методы работы

Вот несколько общих рекомендаций при импорте и экспорте проектов.

• Избегайте добавления одного и того же набора данных в два проекта и импорта одного проекта в другой. Это может привести к трудноразрешимым конфликтам и повторному созданию наборов данных:

  Примечание к информацииКогда набор данных добавляется к задаче, он получает внутренний идентификатор. Внутренние идентификаторы используются для обеспечения беспрепятственного переименования и других операций с метаданными в конвейере. При создании того же набора данных в отдельном проекте или ветви внутренний идентификатор будет отличаться, что приведет к конфликтам при импорте проекта в другой проект. Это может привести к тому, что процесс подготовки удалит и повторно создаст набор данных, даже если он имеет то же имя.

Ограничения

• Уведомления не добавляются при экспорте конвейера. Необходимо настроить новые уведомления в импортированном конвейере.

• Сохраненные скрипты рабочей среды SQL не включаются при экспорте проекта.

  Если вы импортируете проект как новый проект, сохраненные скрипты SQL Workbench пусты.

  Если вы импортируете для обновления существующего проекта, существующие сохраненные скрипты SQL Workbench не изменяются.

• ZIP-файл для импорта должен содержать файлы проекта непосредственно, а не во вложенной подпапке.

  При создании ZIP-файла в macOS, если вы нажмете на папку и выберете ее заархивировать, ZIP-файл будет содержать вложенную подпапку с файлами, что означает, что ZIP-файл не может быть импортирован.

• Следующий сценарий может создать конфликты, которые трудно разрешить:

  1. Внесите изменения в один и тот же набор данных в двух проектах.

  2. Экспортируйте проект 1.

  3. Импортируйте проект 1 в проект 2.

• Не разрабатывайте конвейеры, создающие циклы или взаимные зависимости между проектами. Экспорт и импорт таких проектов не поддерживается.

• При импорте старого проекта (до появления поддержки JSON) с зарегистрированными данными и задачами хранения поля JSON в источнике были сопоставлены с BLOB. Собственный тип по-прежнему сохранялся в зарегистрированных данных, например, Variant в Snowflake. При импорте после добавления поддержки JSON логический тип может измениться на JSON.