# 引入数据集成

您可以将数据交付到 Qlik Cloud 或云数据仓库，例如 Snowflake、Google Cloud BigQuery 和带有 Qlik Talend Data Integration 的 Azure Synapse Analytics。数据源可以是本地的，也可以是云中的。使用 CDC（更改数据捕获）或批处理技术（例如计划的重新加载），数据可以保持最新，无需手动干预。您可以创建数据管道，执行适合用途的转换并创建数据集市。

您可以通过从启动程序菜单 (the 数据集成 icon) 中选择来访问 Qlik Talend Data Integration 主页。

信息注释具有嵌入式分析用户角色的用户无法访问 Qlik Talend Data Integration。

有关 Qlik Talend Data Integration 的体系结构的更多信息，请参阅[云数据仓库中的数据集架构](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/dataset-tables.htm)。

## 订阅选项

Qlik Talend Cloud 订阅是基于[容量模型](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-qlik-cloud.htm)的，其中用[移动数据量](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-value-meters.htm#Data2)作为主要的值计量因素。

Qlik Talend Cloud 有四个级别的订阅选项可供选择：初级版、标准版、高级版和企业版。更高版本提供更高级的数据源和转换。这包括托管在 Qlik Cloud 和 Talend Cloud 上的功能。所有订阅都包括 [Qlik Cloud Analytics Standard](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-analytics.htm#_bm2)。

有关订阅选项的详细信息，请参阅 [Qlik Talend Cloud 预订选项](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-QTC.htm)。

## 数据空间

数据空间是 Qlik Cloud 租户的托管理区域，用于创建和存储项目。在空间内，您还可以使用连接器创建新连接，并管理对 Data Movement gateways 的访问。所有数据资产都将在它们所属的项目的空间中创建。

有关更多信息，请参阅[在 Data Integration 的空间中工作](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataSpaces/working-spaces.htm)。

## 项目

项目是使用数据任务创建数据集成流程的地方。项目与用作所有输出目标的数据平台相关联。您可以根据以下任一用例创建项目：

* 数据管道

  创建一个简单的线性管道，也可以创建一条消耗多个数据源并生成多个输出的复杂管道。

  [创建和管理数据管道项目](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm)

* Qlik Open Lakehouse

  创建一个简单的线性管道，也可以创建一条消耗多个数据源的复杂管道，这些数据源将数据存储在 Apache Iceberg 中。

  [创建 Qlik Open Lakehouse 项目](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/creating-project.htm)

* 复制

  将数据从受支持的数据源复制到任何受支持的目标。或让数据登陆到数据湖。

  [创建复制项目](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/data-replication-task.htm)

信息注释无法在空间之间移动项目。

## 数据任务

数据任务是项目中的主要工作单元。可以在项目中创建以下类型的数据任务。您可以通过单击顶部栏中的创建，然后单击适当的任务来创建新的数据任务。

### 数据管道项目中的数据任务

提示注释 此外，您还可以通过一个任务登陆数据执行登陆和存储。这将创建登陆任务和存储任务。

#### 数据仓库项目中的数据任务

* 登陆

  将数据从数据源复制到登陆区域。数据源可以是本地的，也可以是云中的。登陆区域可以是云目标或 Amazon S3 数据存储段（仅在创建 QVD 数据集时）。

  您可以通过使用 CDC 或执行计划定期重新加载的满载来保持数据最新，而无需手动干预。

  [从数据源登陆数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm)

* 湖登陆

  将数据登陆到 Lakehouse，在那里数据被登陆到 Snowflake 管理的云文件存储。您可以将 Iceberg 表与 Snowflake Open Catalog 同步，以实现与 Apache Spark 等其他工具的互操作性。

  [将数据登陆到 Lakehouse](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Lake-landing.htm)。

* 注册数据

  注册数据平台上已存在的数据。这使您可以使用由 Qlik Talend Data Integration 之外的其他工具（例如 Qlik Replicate）引入的数据。

  [注册数据平台上已存在的数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Onboarding/Registering-data.htm)

* 存储

  从登陆数据任务复制的数据创建云数据仓库货 Qlik Cloud 中准备好供使用的数据集。数据集可以通过登陆数据保持最新，无需人工干预。

  [存储数据集](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/generating-datasets.htm)

* 转换

  作为数据管道的一部分，基于规则和自定义 SQL 创建可重用的数据转换。您可以执行行级转换并创建数据集，这些数据集可以具体化为表，也可以创建为动态执行转换的视图。

  [转换数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Transformations.htm)

* 数据集市

  创建数据集市以利用您的存储数据任务或转换数据任务。您可以根据业务需要创建任意数量的数据集市。理想情况下，您的数据集市应该包含收集的汇总数据的存储库，以便对组织内的特定部门或单位进行分析。

  [Creating and managing data marts](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataMarts/DataMarts.htm)

* 知识集市

  创建知识集市可以让您将结构化数据嵌入并存储在矢量数据库中。这样就可以利用语义搜索特性检索增强的上下文，将其作为检索增强生成 (RAG) 应用程序的上下文。

  [创建知识集市](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/KnowledgeMart/Creating-knowledge-marts.htm)

#### Qlik Open Lakehouse 项目中的数据任务

* 湖登陆

  将数据登陆到数据湖。

  [登陆数据到 Qlik Open Lakehouse](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data.htm)

* 存储

  以冰山格式存储数据，实现高效的存储和高性能查询。自动压缩和文件清理有利于优化存储和降低成本。

  [存储数据集](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/storing-data.htm)

* 镜像

  将表镜像到云数据仓库，而不复制数据。用户可直接从您的数据仓库查询引擎查询数据。在管道中添加镜像数据任务，或使用 Qlik Open Lakehouse 项目作为数据源执行数据转换。

  [将数据镜像到云数据仓库](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/mirroring-data.htm)

### 复制项目中的数据任务

* 复制

  将数据从受支持的数据源复制到任何受支持的目标。

  [创建复制项目](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/data-replication-task.htm)

* 湖登陆

  将数据登陆到数据湖。

  [使用标准、高级或企业订阅将在数据湖中登陆数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)

## 监视数据任务

您可以使用监视器视图监视数据任务的状态和进度。监视器视图允许您基于筛选器查看租户中所有数据任务的状态，或数据任务的子集。您可以创建多个视图来监视数据管道的不同方面。有关更多信息，请参阅[监控和运行您的数据任务](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Monitoring-your-data-tasks.htm)。

## 数据产品

从数据项目或手动上传中注册并添加到目录中的数据集，然后可以用数据产品的形式进行分组和打包。例如，您可以按业务领域对数据集进行分组，并将其发布在数据市场上，供分析使用者在应用程序中使用。有关更多信息，请参阅[Working with data products](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataProducts/Data-products.htm)。

## 数据管理

通过数据管理，您可整理和验证数据。您可使用现有语义类型来确保数据格式一致。您可创建一次冲刺，这是所需数据管理任务的主要工作内容。该冲刺包含有关数据及数据架构的信息，并定义用户角色。在冲刺期间，所有已解决的记录都存储在您自己的云数据仓库中，而不是在 Qlik Talend Cloud 中。

[使用数据管理验证和更正您的数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataStewardship/Governing-data-stewardship.htm)

## 连接

连接用于让数据任务访问数据源、外部存储和目标平台，以进行数据交付和下推转换。

### 管理您的连接

单击左侧的连接以查看您的所有连接。

* 您可编辑自己拥有的连接。

  信息注释您还可以编辑您作为所有者或具有“可以管理”角色的数据空间中的所有连接。

  单击 ... 然后单击编辑。

* 您可以测试连接。

  单击 ... 然后单击测试连接。

* 您可以删除连接。

  单击 ... 然后单击删除。

### 创建连接

有几种创建连接的方法：

* 单击数据任务设置向导中的新建，从中可以选择连接。

* 单击新建，然后在连接视图中选择连接。

您可按以下项筛选连接器：

* 分类

  数据仓库、云存储、数据库和应用程序。

* 类型

  源或目标。

也可以从最近使用的连接器中进行选择。

您需要选择数据源类型，然后输入地址和身份验证信息。

另请参阅：

* [Qlik Data Gateway - Data Movement](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm)。
* [设置空间与连接](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Settingup-spaces-connections.htm)