Создание конвейера данных

Создайте конвейер данных, чтобы выполнить интеграцию всех ваших данных в проекте данных с помощью задач данных. При подключении данные перемещаются в проект из локальных или облачных источников данных и хранятся в виде готовых к использованию наборов данных. Можно также преобразовывать данные и создавать киоски данных, чтобы эффективно использовать созданные и преобразованные наборы данных. Конвейер данных может быть простым и линейным, или это может быть сложный конвейер, использующий несколько источников данных и генерирующий множество выходных данных.

Все наборы данных создаются в том же пространстве, что и проект данных, к которому они относятся.

Также можно просмотреть происхождение для отслеживания данных и преобразования данных в обратном порядке вплоть для первоначального источника и выполнить анализ воздействия, который представляет прямое нисходящее представление зависимостей задач данных, наборов данных или полей. Для получения дополнительной информации см. раздел Работа с происхождением и анализом воздействия в Интеграция данных.

Целевые платформы данных

Проект данных связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных.

Для получения дополнительной информации о поддерживаемых платформах данных см. раздел Подключение к целям.

Ознакомительный видеоролик о проектах данных

Пример создания проекта данных

В следующем примере выполняется подключение данных, преобразование данных и создание киоска данных. Таким образом создается простой линейный конвейер данных, который можно расширить, подключив больше источников данных, создав больше преобразований и добавив созданные наборы данных в киоск данных.

1. Создание нового проекта данных.

   Нажмите Добавить и выберите Создать проект данных на главной странице Интеграция данных Qlik Cloud.

   1. Введите имя и описание проекта данных и выберите пространство, в котором он будет создан. Все наборы данных создаются в пространстве проекта данных, к которому они относятся.

   2. Выберите Конвейер данных в поле Пример использования.

   3. Выберите, какая платформа данных будет использоваться в проекте данных.

   4. Выберите подключение данных к облачному хранилищу данных, которое будет использоваться в проекте. Оно будет использоваться для промежуточного хранения файлов данных, а также для хранения наборов данных и видов. Если подключение данных еще не подготовлено, создайте его, нажав Добавить подключение.

      Если в качестве платформы данных выбрана Google BigQuery, Databricks или Microsoft Azure Synapse Analytics, также необходимо подключиться к промежуточной области.

   5. Если в качестве платформы данных выбрана Qlik Cloud,

      хранить данные можно в управляемом хранилище Qlik или в блоке Amazon S3, управляемом вами. При использовании управляемого вами блока Amazon S3, необходимо выбрать подключение данных к этому блоку.

      В обоих случаях также необходимо выбрать подключение данных к промежуточной области Amazon S3. При использовании блока, заданного в предыдущем шаге, убедитесь, что для промежуточного хранения используется другая папка в этом блоке.

   6. Нажмите кнопку «Создать».

      Проект данных создан, и теперь можно создавать конвейер данных, добавляя в него наборы данных.

2. Подключение данных.

   Нажмите кнопку «Добавить» и выберите Подключить данные.

   Для получения дополнительной информации см. раздел Подключение данных.

   Это создаст задачу промежуточного хранения данных и задачу хранения данных. Чтобы начать репликацию данных, необходимо:

   • подготовить и запустить задачу промежуточного хранения данных.

     Для получения дополнительной информации см. раздел Промежуточное хранение данных, полученных из источников данных.

   • подготовить и запустить задачу хранения данных.

     Для получения дополнительной информации см. раздел Хранение наборов данных.

3. Преобразование данных

   После создания задачи хранения данных вернитесь в проект данных. Теперь можно выполнять преобразования созданных наборов данных.
   

   Нажмите ... в задаче хранения данных и выберите Преобразование данных, чтобы создать задачу преобразования данных на основе этой задачи хранения данных. Для получения дополнительной информации о преобразованиях см. раздел Преобразование данных.

4. Создание киоска данных

   На основе задачи хранения данных или задачи преобразования данных можно создать киоск данных.

   Нажмите ... в задаче данных и выберите Создать киоск данных, чтобы создать задачу данных «киоск данных». Для получения дополнительной информации о создании киоска данных см. раздел

   Создание киосков данных и управление ими

Сохраненные и преобразованные наборы данных, а также киоски данных будут доступны для использования, например, в аналитическом приложении, после их первой полной загрузки. Для получения дополнительной информации о создании аналитических приложений см. раздел Создание аналитического приложения с использованием наборов данных, созданных с помощью Интеграция данных Qlik Cloud.

Конвейер данных также можно расширить, подключив дополнительные источники данных и объединив их в процессе преобразования или в киоске данных.

Операции в проекте данных

Все операции, доступные для задачи данных, можно выполнять как операции проекта данных. Это позволяет удобно организовать операции в конвейере данных.

• Включение и отключение графиков

• Выполнение проектных операций

• Запуск и остановка выполнения задач данных

• Удаление задач данных

Нажмите Операции, чтобы просмотреть состояние выполняемой операции или последней выполненной операции.

Выполняемую операцию можно остановить, нажав кнопку Остановить операцию. При этом выполняемые задачи данных не будут остановлены, но будут отменены все задачи, которые еще не запущены.

Включение и отключение графиков

Графиками выполнения задач данных можно управлять на уровне проекта.

• Нажмите ... и выберите График.

  Можно включить или отключить график для всех или только для выбранных задач данных. Отображаются только задачи данных, для выполнения которых установлен график.

  Примечание к информацииЭта функция недоступна для проектов данных, где в качестве платформы данных используется Qlik Cloud.

Для получения дополнительной информации о планировании отдельных задач данных см. разделы:

• Планирование задачи промежуточного хранения данных с режимом Перезагрузка и сравнение

• Планирование задачи хранения

• Планирование задачи преобразования

• Планирование задачи киоска данных

Выполнение проектных операций

Проектные операции можно выполнять для всех или только для выбранных задач данных в проекте данных. Это упрощает управление задачами данных в проекте данных, вместо того чтобы выполнять проектные операции отдельно для каждой задачи данных.

• Проверить

  Нажмите Проверить, чтобы проверить все или выбранные задачи данных. Задачи данных, которые были изменены с момента последней операции проверки, выбираются заранее.

  Задачи данных проверяются в порядке, в котором они расположены в конвейере.

• Подготовить

  Нажмите Подготовить, чтобы подготовить все или выбранные задачи данных. Задачи данных, которые были изменены с момента последней операции подготовки, выбираются заранее.

  Можно выбрать воссоздание наборов данных, для которых требуется изменение структуры, не поддерживаемое платформой данных. Это может привести к потере данных.

• Воссоздать

  Нажмите ... и выберите Воссоздать, чтобы воссоздать наборы данных из источника для всех или выбранных задач данных.

Выполнение задач данных

Можно запустить выполнение всех или только выбранных задач данных в проекте данных, вместо того чтобы запускать их по отдельности. Например, можно запустить выполнение всех задач по графику, основанному на времени. Эта операция запустит выполнение последующих задач по графику, основанному на событиях.

• Запустить

  Нажмите Запустить, чтобы запустить выполнение всех или выбранных задач данных. Эта операция запускает выполнение всех выбранных задач данных и завершает его, как только они начнут выполняться.

  Задачи для запуска можно выбрать из всех задач, готовых к выполнению. Задачи, выполняемые по графику, основанному на времени, и задачи CDC выбираются заранее. Задачи, выполняемые по графику, основанному на событиях, не выбираются заранее, так как они будут запущены после получения данных для обработки.

  Если в проекте данных в качестве платформы данных используется Qlik Cloud, все задачи промежуточного хранения данных и задачи хранения данных выбираются заранее.

  Примечание к информацииВсе задачи данных выполняются параллельно. Это означает, что проверка зависимостей может помешать выполнению некоторых задач.

• Остановить

  Нажмите Остановить, чтобы остановить выполнение всех или выбранных задач данных.

  Задачи для остановки можно выбрать из выполняемых задач.

Удаление задач данных

• Нажмите «Удалить», чтобы удалить все или выбранные задачи данных в проекте данных.

Изменение вида проекта данных

Существует два различных вида проекта данных. Для переключения между видами нажмите Вид конвейера.

• Вид конвейера отображает поток данных задач данных.

  Можно выбрать, какой объем информации должен отображаться для задач данных, нажав Слои. Включите или выключите отображение следующей информации:

  • Состояние

  • Актуальность данных

  • График

• В виде карты отображается карточка с информацией о задаче данных.

  Можно применить фильтр по типу ресурса и владельцу.

Экспорт и импорт проектов данных

Можно экспортировать проект данных в файл JSON, содержащий все, что необходимо для воссоздания этого проекта данных. Экспортированный файл JSON можно импортировать в тот же или в другой клиент. Например, эту функцию можно использовать для переноса проектов данных из одного клиента в другой или для создания резервных копий проектов данных.

Для получения дополнительной информации см. раздел Экспорт и импорт конвейеров данных.

Параметры проекта данных

Задайте общие свойства для проекта данных и всех содержащихся в нем задач данных.

• Нажмите Параметры.

Для получения дополнительной информации см. раздел Параметры проекта данных.