Разработка проекта интеграции данных
Qlik Talend Data Integration предлагает возможность создавать конвейеры данных для выполнения различных задач по интеграции данных в соответствии с вашими требованиями к архитектуре данных и аналитике.
Поток интеграции данных можно создать в проекте, используя задачи данных. Проект связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных. Проект сохранен в пространстве данных. Необходимо также создать подключения к источникам и целям данных.
Создайте пространство
Работа в пространствах в Интеграции данных
Создайте пространство данных, которое будет использоваться для создания и хранения проекта. Внутри пространства можно также создавать новые подключения с помощью коннекторов и управлять доступом к шлюзам движения данных.
Создайте подключения к источникам и целям
Настройка подключений к источникам данных
Создайте подключения к источникам данных.
Настройка подключений к целям
Создайте подключения к целевой платформе.
Qlik Data Gateway — Data Movement
Настройте Qlik Data Gateway — Data Movement для упрощения безопасного перемещения данных из корпоративных источников данных и приложений SaaS в поддерживаемые цели.
Создайте проект
При создании проекта необходимо выбрать вариант использования.
Создание проекта конвейера данных
Проекты конвейеров данных позволяют поставлять данные в платформу данных из многочисленных поддерживаемых источников. На платформе данные можно обработать с помощью преобразований ELT (pushdown), чтобы поддержать архитектуры озер данных и хранилищ данных. Конвейеры поддерживают CDC на основе журналов и инкрементные источники данных, но также предоставляют ряд возможностей для интеграции данных в основные платформы хранилищ.
Используйте проект данных в следующих ситуациях:
-
В процессах ввода требуется поддержка данных со структурой типа 1 и типа 2.
-
Необходимо преобразовать и изменить форму данных так, чтобы получить готовые выходные данные или звездообразную схему для аналитических процессов.
-
Необходимо создать озеро данных на основе Iceberg.
-
Требуются сложные конвейеры, которые управляются из множества проектов в рамках организационных или функциональных границ.
Создание проекта репликации
Проекты Replicate поддерживают прямую репликацию из большого количества поддерживаемых источников в озера данных или на любые поддерживаемые целевые платформы. Данные применяются непосредственно к целевым структурам, но сложные преобразования или изменение формы данных не поддерживаются. Конвейеры репликации поддерживаются многими целевыми технологиями, предлагающими сценарии репликации.
Используйте проект репликации в следующих ситуациях:
-
Необходима репликация данных на целевую платформу, однако сложные преобразования данных не требуются.
-
Можно выполнить репликацию данных на цель, если целевая платформа не поддерживается конвейерами данных.
Управление версиями проекта конвейера
Управление проектами с помощью контроля версий
Используйте контроль версий для управления разработкой проекта данных и отслеживания изменений.