Qlik Talend Data Integration 简介

您可以将数据交付到 Qlik Cloud 或云数据仓库，例如 Snowflake、Google Cloud BigQuery 和带有 Qlik Talend Data Integration 的 Azure Synapse Analytics。数据源可以是本地的，也可以是云中的。使用 CDC（更改数据捕获）或批处理技术（例如计划的重新加载），数据可以保持最新，无需手动干预。您可以创建数据管道，执行适合用途的转换并创建数据集市。

您可以通过从启动程序菜单 () 中选择数据集成来访问 Qlik Talend Data Integration 主页。

有关 Qlik Talend Data Integration 的体系结构的更多信息，请参阅云数据仓库中的数据集架构。

订阅选项

Qlik Talend Cloud 订阅是基于容量模型的，其中用移动数据量作为主要的值计量因素。

Qlik Talend Cloud 有四个级别的订阅选项可供选择：初级版、标准版、高级版和企业版。更高版本提供更高级的数据源和转换。这包括托管在 Qlik Cloud 和 Talend Cloud 上的功能。所有订阅都包括 Qlik Cloud Analytics Standard。

有关订阅选项的详细信息，请参阅 Qlik Talend Cloud 订阅选项。

数据空间

数据空间是 Qlik Cloud 租户的托管理区域，用于创建和存储项目。在空间内，您还可以使用连接器创建新的连接，并管理对 Data Movement gateway 的访问。所有数据资产都将在它们所属的项目的空间中创建。

有关更多信息，请参阅在 Qlik Talend Data Integration 中的空间中工作。

项目

项目是使用数据任务创建数据集成流程的地方。项目与用作所有输出目标的数据平台相关联。您可以根据以下任一用例创建项目：

• 数据管道

  创建一个简单的线性管道，也可以创建一条消耗多个数据源并生成多个输出的复杂管道。

  创建数据管道

• 复制

  将数据从受支持的数据源复制到任何受支持的目标。或让数据登陆到数据湖。

  创建数据复制任务

数据任务

数据任务是项目中的主要工作单元。可以在项目中创建以下类型的数据任务。您可以通过单击顶部栏中的创建，然后单击适当的任务来创建新的数据任务。

数据管道项目中的数据任务

• 登陆

  将数据从数据源复制到登陆区域。数据源可以是本地的，也可以是云中的。登陆区域可以是云目标或 Amazon S3 数据存储段（仅在创建 QVD 数据集时）。

  您可以通过使用 CDC 或执行计划定期重新加载的满载来保持数据最新，而无需手动干预。

  从数据源登陆数据

• 湖登陆

  将数据登陆到 Lakehouse，在那里数据被登陆到 Snowflake 管理的云文件存储。您可以将 Iceberg 表与 Snowflake Open Catalog 同步，以实现与 Apache Spark 等其他工具的互操作性。

  将数据登陆到 Lakehouse。

• 注册数据

  注册数据平台上已存在的数据。这使您可以使用由 Qlik Talend Data Integration 之外的其他工具（例如 Qlik Replicate）引入的数据。

  注册数据平台上已存在的数据

• 存储

  从登陆数据任务复制的数据创建云数据仓库货 Qlik Cloud 中准备好供使用的数据集。数据集可以通过登陆数据保持最新，无需人工干预。

  存储数据集

• 转换

  作为数据管道的一部分，基于规则和自定义 SQL 创建可重用的数据转换。您可以执行行级转换并创建数据集，这些数据集可以具体化为表，也可以创建为动态执行转换的视图。

  转换数据

• 数据集市

  创建数据集市以利用您的存储数据任务或转换数据任务。您可以根据业务需要创建任意数量的数据集市。理想情况下，您的数据集市应该包含收集的汇总数据的存储库，以便对组织内的特定部门或单位进行分析。

  创建和管理数据集市

复制项目中的数据任务

• 复制

  将数据从受支持的数据源复制到任何受支持的目标。

  创建数据复制任务

• 湖登陆

  将数据登陆到数据湖。

  使用标准、高级或企业订阅将在数据湖中登陆数据

监视数据任务

您可以使用监视器视图监视数据任务的状态和进度。监视器视图允许您基于筛选器查看租户中所有数据任务的状态，或数据任务的子集。您可以创建多个视图来监视数据管道的不同方面。有关更多信息，请参阅监控和操作您的数据任务。

数据产品

从数据项目或手动上传中注册并添加到目录中的数据集，然后可以用数据产品的形式进行分组和打包。例如，您可以按业务领域对数据集进行分组，并将其发布在数据市场上，供分析使用者在应用程序中使用。有关更多信息，请参阅Working with data products。

连接

连接用于让数据任务访问数据源、外部存储和目标平台，以进行数据交付和下推转换。

管理您的连接

单击左侧的连接以查看您的所有连接。

• 您可编辑自己拥有的连接。

  信息注释您还可以编辑您作为所有者或具有“可以管理”角色的数据空间中的所有连接。

  单击 ... 然后单击编辑。

• 您可以测试连接。

  单击 ... 然后单击测试连接。

• 您可以删除连接。

  单击 ... 然后单击删除。

创建连接

有几种创建连接的方法：

• 单击数据任务设置向导中的新建，从中可以选择连接。

• 单击新建，然后在连接视图中选择连接。

您可按以下项筛选连接器：

• 分类

  数据仓库、云存储、数据库和应用程序。

• 类型

  源或目标。

也可以从最近使用的连接器中进行选择。

您需要选择数据源类型，然后输入地址和身份验证信息。

另请参阅：

• Qlik Data Gateway - Data Movement。
• 设置与数据源的连接