Проектирование проекта конвейера
Qlik Talend Data Integration предлагает возможность создавать конвейеры данных для выполнения различных задач по интеграции данных в соответствии с вашими требованиями к архитектуре данных и аналитике.
Вы создаете поток интеграции данных в проекте конвейера, используя задачи данных. Проект связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных. Проект сохранен в пространстве данных. Необходимо также создать подключения к источникам и целям данных.
Создайте пространство
Работа в пространствах в Интеграции данных
Создайте пространство данных, которое будет использоваться для создания и хранения проекта. Внутри пространства вы также можете создавать новые подключения с использованием коннекторов и управлять доступом к шлюзам передачи данных Data Movement gateways.
Создайте подключения к источникам и целям
Настройка подключений к источникам данных
Создайте подключения к источникам данных.
Настройка подключений к целям
Создайте подключения к целевой платформе.
Шлюз данных Qlik — движение данных
Настройте Шлюз данных Qlik — движение данных для упрощения безопасного перемещения данных из корпоративных источников данных и приложений SaaS в поддерживаемые цели.
Создать проект конвейера
При создании проекта конвейера необходимо выбрать вариант использования.
Создание и управление проектами конвейера данных
Проекты конвейеров данных позволяют поставлять данные в платформу данных из многочисленных поддерживаемых источников. На платформе данные можно обработать с помощью преобразований ELT (pushdown), чтобы поддержать архитектуры озер данных и хранилищ данных. Конвейеры поддерживают CDC на основе журналов и инкрементные источники данных, но также предоставляют ряд возможностей для интеграции данных в основные платформы хранилищ.
Используйте проект данных в следующих ситуациях:
-
В процессах ввода требуется поддержка данных со структурой типа 1 и типа 2.
-
Необходимо преобразовать и изменить форму данных так, чтобы получить готовые выходные данные или звездообразную схему для аналитических процессов.
-
Необходимо создать озеро данных на основе Iceberg.
-
Создайте Открытое озеро данных Qlik на основе Apache Iceberg и зеркально отобразите таблицы в ваше облачное хранилище данных.
-
Требуются сложные конвейеры, которые управляются из множества проектов в рамках организационных или функциональных границ.
Создание проекта репликации
Проекты Replicate поддерживают прямую репликацию из большого количества поддерживаемых источников в озера данных или на любые поддерживаемые целевые платформы. Данные применяются непосредственно к целевым структурам, но сложные преобразования или изменение формы данных не поддерживаются. Конвейеры репликации поддерживаются многими целевыми технологиями, предлагающими сценарии репликации.
Используйте проект репликации в следующих ситуациях:
-
Необходима репликация данных на целевую платформу, однако сложные преобразования данных не требуются.
-
Можно выполнить репликацию данных на цель, если целевая платформа не поддерживается конвейерами данных.
Scheduling tasks
В некоторых случаях вам может потребоваться запланировать задачу для распространения изменений из источника данных на целевую платформу.
Для получения информации о сценариях использования, требующих планирования, а также инструкций по настройке интервалов планирования, см. Scheduling tasks.
Управление версиями проекта конвейера
Управление проектами конвейера с контролем версий
Используйте контроль версий для управления разработкой проекта данных и отслеживания изменений.
Определяйте конвейеры в коде
Декларативные конвейеры
Экспортируйте конвейер в виде файлов конфигурации YAML, редактируйте их в своей IDE и разверните их с помощью API импорта или системы контроля версий. Управление средами и продвижение конвейеров с использованием ветвления Git.