Qlik Talend Data Integration 简介
您可以将数据交付到 Qlik Cloud 或云数据仓库,例如 Snowflake、Google Cloud BigQuery 和带有 Qlik Talend Data Integration 的 Azure Synapse Analytics。数据源可以是本地的,也可以是云中的。使用 CDC(更改数据捕获)或批处理技术(例如计划的重新加载),数据可以保持最新,无需手动干预。您可以创建数据管道,执行适合用途的转换并创建数据集市。
您可以通过从启动程序菜单 () 中选择数据集成来访问 Qlik Talend Data Integration 主页。
有关 Qlik Talend Data Integration 的体系结构的更多信息,请参阅云数据仓库中的数据集架构。
订阅选项
Qlik Talend Cloud 订阅是基于容量模型的,其中用移动数据量作为主要的值计量因素。
Qlik Talend Cloud 有四个级别的订阅选项可供选择:初级版、标准版、高级版和企业版。更高版本提供更高级的数据源和转换。这包括托管在 Qlik Cloud 和 Talend Cloud 上的功能。所有订阅都包括 Qlik Cloud Analytics Standard。
有关订阅选项的详细信息,请参阅 Qlik Talend Cloud 订阅选项。
数据空间
数据空间是 Qlik Cloud 租户的托管理区域,用于创建和存储项目。在空间内,您还可以使用连接器创建新的连接,并管理对数据移动网关的访问。所有数据资产都将在它们所属的项目的空间中创建。
有关更多信息,请参阅在 Qlik Talend Data Integration 中的空间中工作。
项目
项目是使用数据任务创建数据集成流程的地方。项目与用作所有输出目标的数据平台相关联。您可以根据以下任一用例创建项目:
数据任务
数据任务是项目中的主要工作单元。可以在项目中创建以下类型的数据任务。您可以通过单击顶部栏中的新增,然后单击适当的任务来创建新的数据任务。
数据管道项目中的数据任务
-
登陆
将数据从数据源复制到登陆区域。数据源可以是本地的,也可以是云中的。登陆区域可以是云目标或 Amazon S3 数据存储段(仅在创建 QVD 数据集时)。
您可以通过使用 CDC 或执行计划定期重新加载的满载来保持数据最新,而无需手动干预。
-
注册数据
注册数据平台上已存在的数据。这使您可以使用由 Qlik Talend Data Integration 之外的其他工具(例如 Qlik Replicate)引入的数据。
-
存储
从登陆数据任务复制的数据创建云数据仓库货 Qlik Cloud 中准备好供使用的数据集。数据集可以通过登陆数据保持最新,无需人工干预。
-
转换
作为数据管道的一部分,基于规则和自定义 SQL 创建可重用的数据转换。您可以执行行级转换并创建数据集,这些数据集可以具体化为表,也可以创建为动态执行转换的视图。
-
数据集市
创建数据集市以利用您的存储数据任务或转换数据任务。您可以根据业务需要创建任意数量的数据集市。理想情况下,您的数据集市应该包含收集的汇总数据的存储库,以便对组织内的特定部门或单位进行分析。
复制项目中的数据任务
-
复制
将数据从受支持的数据源复制到任何受支持的目标。
-
湖登陆
将数据登陆到数据湖。
监视数据任务
您可以使用监视器视图监视数据任务的状态和进度。监视器视图允许您基于筛选器查看租户中所有数据任务的状态,或数据任务的子集。您可以创建多个视图来监视数据管道的不同方面。有关更多信息,请参阅监控和操作您的数据任务。
数据产品
从数据项目或手动上传中注册并添加到目录中的数据集,然后可以用数据产品的形式进行分组和打包。例如,您可以按业务领域对数据集进行分组,并将其发布在数据市场上,供分析消费者在应用程序中使用。有关更多信息,请参阅Working with data products。
连接
连接用于让数据任务访问数据源、外部存储和目标平台,以进行数据交付和下推转换。
管理您的连接
单击左侧的连接以查看您的所有连接。
您可编辑自己拥有的连接。
信息注释您还可以编辑您作为所有者或具有“可以管理”角色的数据空间中的所有连接。单击 ... 然后单击编辑。
您可以测试连接。
单击 ... 然后单击测试连接。
您可以删除连接。
单击 ... 然后单击删除。
创建连接
有几种创建连接的方法:
单击左侧的连接,然后单击创建连接。
单击数据任务设置向导中的新建,从中可以选择连接。
在连接视图中单击创建连接。
您可按以下项筛选连接器:
分类
数据仓库、云存储、数据库和应用程序。
类型
源或目标。
也可以从最近使用的连接器中进行选择。
您需要选择数据源类型,然后输入地址和身份验证信息。
另请参阅: