# 设计您的管道项目 Qlik Talend Data Integration 提供创建数据管道以执行各种数据集成任务的能力，以支持您的数据架构和分析需求。 您可以使用数据任务在管道项目中创建数据集成流。项目与用作所有输出目标的数据平台相关联。项目存储在数据空间中。您还必须创建与源和目标的连接。 ## 创建空间 the data pipeline project icon ## 在 Data Integration 的空间中工作 创建一个用于创建和存储项目的数据空间。在空间内，您还可以使用连接器创建新连接，并管理对 Data Movement gateways 的访问。 ## 创建与源和目标的连接 the data pipeline project icon ## 设置与数据源的连接 创建与数据源的连接。 the data pipeline project icon ## 建立与目标的连接 创建与目标平台的连接。 the data pipeline project icon ## Qlik Data Gateway - Data Movement 设置 Qlik Data Gateway - Data Movement 以促进从企业数据源和 SaaS 应用程序到受支持目标的安全数据移动。 ## 创建管道项目 创建管道项目时，必须选择用例。 ![data pipeline project](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_pipeline.svg) ### 创建和管理数据管道项目 数据管道项目支持从大量受支持的源向数据平台摄取数据，然后您可以在数据平台上使用 ELT（下推）转换来转换数据，以支持数据湖空间和数据仓库架构。管道支持基于日志的 CDC 和增量数据源，但为主要数据仓库平台的数据摄取提供了一系列选项。 当您需要以下操作时，请使用数据管道项目： * 在您的摄取过程中支持类型 1 和类型 2 数据结构。 * 转换和重塑数据，使其适合分析工作负载的输出或星型模式。 * 以 Iceberg 为基础构建湖空间。 * 基于 Apache Iceberg 创建 Qlik Open Lakehouse，并将表格镜像到您的云数据仓库。 * 创建跨项目管理的复杂管道，以实现组织或职能边界。 ![replication project](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_replicate.svg) ### 创建复制项目 Replication 项目支持从大量受支持的数据源直接复制到数据湖或任何受支持的目标平台。数据直接应用于您的目标结构，但不支持复杂的数据转换或重塑。Replication 管道支持更多的复制场景目标技术。 想复制时就使用复制项目来： * 将数据复制到您的目标，不需要对这些数据进行复杂的转换。 * 将数据复制到数据管道不支持的目标。 ![replication project](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/schedule.svg) ### Scheduling tasks 在某些情况下，您可能需要计划您的任务，以传播从数据源到目标平台的更改。 有关需要调度的用例以及设置调度间隔的说明的信息，请参阅[Scheduling tasks](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Deploying/Scheduling-tasks.htm)。 ## 管理管道项目的版本 ![data pipeline project](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/governance.png) ## 使用版本控制管理您的管道项目 使用版本控制来管理数据项目的开发，并跟踪更改。 ## 在代码中定义管道 ![declarative pipeline management](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Resources/Images/QlikIcons/governance.png) ## 声明式流水线 导出管道作为 YAML 配置文件，在您的 IDE 中编辑它们，并通过导入 API 或版本控制来部署它们。管理环境并使用 Git 分支推进管道。