设计数据集成项目
Qlik Talend Data Integration 提供创建数据管道以执行各种数据集成任务的能力,以支持您的数据架构和分析需求。
您可以使用数据任务在项目中创建数据集成流。项目与用作所有输出目标的数据平台相关联。项目存储在数据空间中。您还必须创建与源和目标的连接。
创建空间

在 Data Integration 的空间中工作
创建一个用于创建和存储项目的数据空间。在空间内,您还可以使用连接器创建新的连接,并管理对 Data Movement gateway 的访问。
创建与源和目标的连接

设置与数据源的连接
创建与数据源的连接。

建立与目标的连接
创建与目标平台的连接。

Qlik Data Gateway - Data Movement
设置 Qlik Data Gateway - Data Movement 以促进从企业数据源和 SaaS 应用程序到受支持目标的安全数据移动。
创建项目
创建项目时,必须选择用例。
创建数据管道项目
数据管道项目支持从大量受支持的源向数据平台摄取数据,然后您可以在数据平台上使用 ELT(下推)转换来转换数据,以支持数据湖空间和数据仓库架构。管道支持基于日志的 CDC 和增量数据源,但为主要数据仓库平台的数据摄取提供了一系列选项。
当您需要以下操作时,请使用数据管道项目:
-
在您的摄取过程中支持类型 1 和类型 2 数据结构。
-
转换和重塑数据,使其适合分析工作负载的输出或星型模式。
-
以 Iceberg 为基础构建湖空间。
-
创建跨项目管理的复杂管道,以实现组织或职能边界。
创建复制项目
Replication 项目支持从大量受支持的数据源直接复制到数据湖或任何受支持的目标平台。数据直接应用于您的目标结构,但不支持复杂的数据转换或重塑。Replication 管道支持更多的复制场景目标技术。
想复制时就使用复制项目来:
-
将数据复制到您的目标,不需要对这些数据进行复杂的转换。
-
将数据复制到数据管道不支持的目标。
管理管道项目的版本

使用版本控制管理项目
使用版本控制来管理数据项目的开发,并跟踪更改。