# Проектирование проекта конвейера

Qlik Talend Data Integration предлагает возможность создавать конвейеры данных для выполнения различных задач по интеграции данных в соответствии с вашими требованиями к архитектуре данных и аналитике.

Вы создаете поток интеграции данных в проекте конвейера, используя задачи данных. Проект связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных. Проект сохранен в пространстве данных. Необходимо также создать подключения к источникам и целям данных.

## Создайте пространство

the data pipeline project icon

## Работа в пространствах в Интеграции данных

Создайте пространство данных, которое будет использоваться для создания и хранения проекта. Внутри пространства вы также можете создавать новые подключения с использованием коннекторов и управлять доступом к шлюзам передачи данных Data Movement gateways.

## Создайте подключения к источникам и целям

the data pipeline project icon

## Настройка подключений к источникам данных

Создайте подключения к источникам данных.

the data pipeline project icon

## Настройка подключений к целям

Создайте подключения к целевой платформе.

the data pipeline project icon

## Шлюз данных Qlik — движение данных

Настройте Шлюз данных Qlik — движение данных для упрощения безопасного перемещения данных из корпоративных источников данных и приложений SaaS в поддерживаемые цели.

## Создать проект конвейера

При создании проекта конвейера необходимо выбрать вариант использования.

![data pipeline project](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_pipeline.svg)

### Создание проектов конвейеров данных и управление ими

Проекты конвейеров данных позволяют поставлять данные в платформу данных из многочисленных поддерживаемых источников. На платформе данные можно обработать с помощью преобразований ELT (pushdown), чтобы поддержать архитектуры озер данных и хранилищ данных. Конвейеры поддерживают CDC на основе журналов и инкрементные источники данных, но также предоставляют ряд возможностей для интеграции данных в основные платформы хранилищ.

Используйте проект данных в следующих ситуациях:

* В процессах ввода требуется поддержка данных со структурой типа 1 и типа 2.

* Необходимо преобразовать и изменить форму данных так, чтобы получить готовые выходные данные или звездообразную схему для аналитических процессов.

* Необходимо создать озеро данных на основе Iceberg.

* Создайте Открытое озеро данных Qlik на основе Apache Iceberg и зеркально отобразите таблицы в ваше облачное хранилище данных.

* Требуются сложные конвейеры, которые управляются из множества проектов в рамках организационных или функциональных границ.

![replication project](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_replicate.svg)

### Создание проекта репликации

Проекты Replicate поддерживают прямую репликацию из большого количества поддерживаемых источников в озера данных или на любые поддерживаемые целевые платформы. Данные применяются непосредственно к целевым структурам, но сложные преобразования или изменение формы данных не поддерживаются. Конвейеры репликации поддерживаются многими целевыми технологиями, предлагающими сценарии репликации.

Используйте проект репликации в следующих ситуациях:

* Необходима репликация данных на целевую платформу, однако сложные преобразования данных не требуются.

* Можно выполнить репликацию данных на цель, если целевая платформа не поддерживается конвейерами данных.

![replication project](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/schedule.svg)

### Scheduling tasks

В некоторых случаях вам может потребоваться запланировать задачу для распространения изменений из источника данных на целевую платформу.

Для получения информации о сценариях использования, требующих планирования, а также инструкций по настройке интервалов планирования, см. [Scheduling tasks](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Deploying/Scheduling-tasks.htm).

## Управление версиями проекта конвейера

![data pipeline project](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/governance.png)

## Управление проектами конвейера с контролем версий

Используйте контроль версий для управления разработкой проекта данных и отслеживания изменений.

## Определяйте конвейеры в коде

![declarative pipeline management](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/governance.png)

## Декларативные конвейеры

Экспортируйте конвейер в виде файлов конфигурации YAML, редактируйте их в своей IDE и разверните их с помощью API импорта или системы контроля версий. Управление средами и продвижение конвейеров с использованием ветвления Git.