Создание конвейера данных в проекте данных

Создайте конвейер данных, чтобы выполнить интеграцию всех ваших данных в проекте данных с помощью задач данных. При подключении данные перемещаются в проект из локальных или облачных источников данных и хранятся в виде готовых к использованию наборов данных. Можно также преобразовывать данные и создавать киоски данных, чтобы эффективно использовать созданные и преобразованные наборы данных. Конвейер данных может быть простым и линейным, или это может быть сложный конвейер, использующий несколько источников данных и генерирующий множество выходных данных.

Это основные задачи, которые доступны для выполнения в проекте данных. Их можно комбинировать по своему усмотрению.

1. Подключение данных.

   Эта задача включает в себя промежуточное хранение данных в промежуточной области, а затем хранение наборов данных в облачном хранилище данных. Задачи промежуточного хранения и хранения данных создаются за один шаг. При необходимости можно также создать отдельные задачи для промежуточного хранения и хранения.

   Подключение данных

2. Преобразование подключенных данных.

   Создавайте многократно используемые преобразования на уровне строк на основе правил и пользовательского SQL. При этом создается задача данных для преобразования.

   Преобразование данных

3. Создание киоска данных для эффективного использования наборов данных. Эта задача предполагает создание задачи данных для киоска данных.

   Создание киосков данных и управление ими

Проект данных связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных. Поддерживаются следующие платформы.

• Google BigQuery

• Snowflake

• Microsoft Azure Synapse Analytics

• Databricks

• Qlik Cloud

  Для использования этой платформы требуется размещение данных на промежуточное хранение в блоке Amazon S3. Создавайте таблицы QVD в управляемом хранилище Qlik Cloud или в хранилище Amazon S3, управляемом вами.

Для получения дополнительной информации о подключении к платформам данных см. раздел Подключение к облачным платформам данных в проектах данных

Все наборы данных создаются в том же пространстве, что и проект данных, к которому они относятся.

Пример создания проекта данных

В следующем примере выполняется подключение данных, преобразование данных и создание киоска данных. Таким образом создается простой линейный конвейер данных, который можно расширить, подключив больше источников данных, создав больше преобразований и добавив созданные наборы данных в киоск данных.

1. Создание нового проекта данных.

   Нажмите Добавить и выберите Создать проект данных на главной странице Интеграция данных Qlik Cloud.

   1. Введите имя и описание проекта данных и выберите пространство, в котором он будет создан. Все наборы данных создаются в пространстве проекта данных, к которому они относятся.

   2. Выберите, какая платформа данных будет использоваться в проекте данных.

   3. Выберите подключение данных к облачному хранилищу данных, которое будет использоваться в проекте. Оно будет использоваться для промежуточного хранения файлов данных, а также для хранения наборов данных и видов. Если подключение данных еще не подготовлено, создайте его, нажав Добавить подключение.

      Если в качестве платформы данных выбрана Google BigQuery, Databricks, или Microsoft Azure Synapse Analytics, также необходимо будет подключиться к промежуточной области.

   4. Если в качестве платформы данных выбрана Qlik Cloud,

      хранить данные можно в управляемом хранилище Qlik или в блоке Amazon S3, управляемом вами. При использовании управляемого вами блока Amazon S3, необходимо выбрать подключение данных к этому блоку.

      В обоих случаях также необходимо выбрать подключение данных к промежуточной области Amazon S3. При использовании блока, заданного в предыдущем шаге, убедитесь, что для промежуточного хранения используется другая папка в этом блоке.

   5. Нажмите кнопку «Создать».

      Проект данных создан, и теперь можно создавать конвейер данных, добавляя в него наборы данных.

2. Подключение данных.

   Нажмите кнопку «Добавить» и выберите Подключить данные.

   Для получения дополнительной информации см. раздел Подключение данных.

   Это создаст задачу промежуточного хранения данных и задачу хранения данных. Чтобы начать репликацию данных, необходимо:

   • подготовить и запустить задачу промежуточного хранения данных.

     Для получения дополнительной информации см. раздел Промежуточное хранение данных, полученных из источников данных.

   • подготовить и запустить задачу хранения данных.

     Для получения дополнительной информации см. раздел Создание и хранение наборов данных.

3. Преобразование данных

   После создания задачи хранения данных вернитесь в проект данных. Теперь можно выполнять преобразования созданных наборов данных.
   

   Нажмите ... в задаче хранения данных и выберите Преобразование данных, чтобы создать задачу преобразования данных на основе этой задачи хранения данных. Для получения дополнительной информации о преобразованиях см. раздел Преобразование данных.

4. Создание киоска данных

   На основе задачи хранения данных или задачи преобразования данных можно создать киоск данных.

   Нажмите ... в задаче данных и выберите Создать киоск данных, чтобы создать задачу данных «киоск данных». Для получения дополнительной информации о создании киоска данных см. раздел

   Создание киосков данных и управление ими

Сохраненные и преобразованные наборы данных, а также киоски данных будут доступны для использования, например, в аналитическом приложении, после их первой полной загрузки. Для получения дополнительной информации о создании аналитических приложений см. раздел Создание аналитического приложения с использованием наборов данных, созданных с помощью Интеграция данных Qlik Cloud.

Конвейер данных также можно расширить, подключив дополнительные источники данных и объединив их в процессе преобразования или в киоске данных.

Экспорт и импорт проектов данных

Можно экспортировать проект данных в файл JSON, содержащий все, что необходимо для воссоздания этого проекта данных. Экспортированный файл JSON можно импортировать в тот же или в другой клиент. Например, эту функцию можно использовать для переноса проектов данных из одного клиента в другой или для создания резервных копий проектов данных.

Для получения дополнительной информации см. раздел Экспорт и импорт проектов данных.

Параметры проекта данных

Задайте общие свойства для проекта данных и всех содержащихся в нем задач данных.

• Щелкните Параметры.

Для получения дополнительной информации см. раздел Параметры проекта данных.