基于连接的数据集的数据质量
上次更新日期:2026-11-03为了从基于连接的数据集的语义类型发现和数据质量读数中受益,您需要在数据产品的上下文中为数据连接设置一个重要的先决条件。
- Qlik Talend Cloud Enterprise
- Qlik Talend Cloud Premium
- Qlik Cloud Analytics Premium
- Qlik Cloud Analytics 企业版
- Qlik Sense Enterprise SaaS
支持的文件、连接和数据库
支持以下文件类型:
- Excel 文件:XLS/XLSX
- 带分隔符的文本文件:CSV/TXT
- JSON 文件:JSON
- XML 文件:XML
- Qlik 数据文件:QVD (QlikView Data)/QVX (QlikView Exchange)
- Parquet 文件:PARQUET
- KML 文件:KML(地理数据)
当您从云存储添加数据集时,文件不能超过 1 GB。此云存储限制与下文所述的数据质量计算限制是分开的。
截至目前,支持的质量计算类型为 CSV、TXT、Parquet、QVD、XLS 和 XLSX,在以下限制范围内:
- CSV/TXT 最大 1 GB
- Parquet 最大 1 GB
- QVD 高达 100 GB
- XLS/XLSX 最大 100 MB
对于 Parquet 文件,数据质量仅支持扁平模式。不支持嵌套字段 (LIST, MAP, STRUCT)。
超出这些限制的基于文件的数据集不支持数据质量。如果您的 Excel 文件包含多张工作表,则仅在第一张工作表上进行质量计算。
-
Snowflake 和 Databricks 数据集的上拉和下推模式都支持数据质量。
-
基于以下连接的数据集在上拉模式下支持数据质量:
-
Amazon Athena
-
Amazon Redshift
- Amazon S3 V2
-
Apache Hive
-
Apache Phoenix
-
Apache Spark
-
Azure SQL 数据库
- Azure Storage
-
Azure Synapse Analytics
-
Cassandra
-
Cloudera Impala
-
Couchbase
-
DynamoDB
- Dropbox
-
Google BigQuery
- Google Cloud Storage
- Google Drive
-
Marketo
-
Microsoft SQL Server
-
MongoDB
-
MySQL Entreprise Edition
- Office 365 SharePoint
- OneDrive
-
oracle
-
PostgreSQL
-
Presto
-
SAP Hana
- SFTP
-
Snowflake
-
从表创建数据集
创建数据集时,从数据源中选择一个数据库,然后选择该数据库中的表。将为您选择的每个表创建一个数据集。
- 在目录中,单击新建 > 数据集。
- 选择一个连接,然后单击下一步。
- 从下拉列表中选择数据库和模式。
- 选择表并单击下一步。
- 选择空间,然后点击 创建数据集。您将被重定向到 目录,并可以在列表中看到新的数据集。
您现在可以计算数据质量并将数据集添加到数据产品中。有关详细信息,请参阅配置数据质量计算。
从文件创建数据集
- 在目录中,单击新建 > 数据集。
- 选择一个连接,然后单击下一步。
- 选择文件,然后单击下一步。
- 选择空间,然后点击 创建数据集。您将被重定向到 目录,并可以在列表中看到新的数据集。
您现在可以计算数据质量并将数据集添加到数据产品中。有关详细信息,请参阅配置数据质量计算。
创建基于连接的数据集
您可以从 目录 创建基于连接的数据集,但也可以使用管道项目。
从管道项目创建数据集可让您使用数据任务在项目中执行所有数据集成。有关详细信息,请参阅创建数据管道项目。
从目录创建数据集
当您不需要使用管道项目时,您可以创建数据集来计算数据质量,并通过数据产品使用这些数据集。
- 在 Qlik Talend Data Integration > 目录中,单击 新建 > 数据集。
- 选择一个连接,然后单击下一步。
- 选择数据集并单击下一步。
当数据集不在列表中时,意味着它不属于受支持的格式之一:
- Excel 文件:
.xls,.xlsx - 分隔文本文件:
.csv,.txt - Excel 文件:
.xls,.xlsx - JSON 文件:
.json - XML 文件:
.xml - Qlik 个数据文件:
.qvd (QlikView Data)、.qvx (QlikView Exchange) - Parquet 文件:
.parquet - KML 文件:
.kml (Geographic data)
对于质量计算,大小限制适用于基于文件的数据集:CSV、TXT 和 Parquet 最大 1 GB,QVD 最大 100 GB,XLS/XLSX 最大 100 MB。
- Excel 文件:
- 选择空间,然后点击 创建数据集。您将被重定向到 目录,并可以在列表中看到新的数据集。
您现在可以计算数据质量并将数据集添加到数据产品中。有关详细信息,请参阅配置数据质量计算。
从管道项目创建数据集
-
在 Qlik Talend Data Integration > 连接中单击创建连接。
-
使用具有足够权限和对要导入的表的访问权限的用户的凭据配置对数据库的访问权限。
-
在Qlik Cloud 分析 中单击创建,然后单击数据连接。
-
配置对于和以前相同的数据库的访问权限,最好使用同一用户的凭据,或者至少对表具有读取权限的凭据。
-
(仅适用于 Snowflake)在角色字段中,您必须输入一个与 Snowflake 数据库中创建的现有角色相对应的角色,并且该角色对这些对象具有以下权限。
-
使用库
-
使用数据库
-
使用模式
-
在模式上创建表格
-
在模式上创建功能
-
在模式上创建视图
-
在表格上选择
-
-
(仅限 Databricks)在 Databricks 中,您必须在数据库上定义以下权限:
-
创建表格
-
创建卷
-
MODIFY
-
读取卷
-
SELECT
-
使用模式
-
写入量
-
-
返回 Qlik Talend Data Integration 主页,点击新建,然后点击流水线项目。
-
使用步骤 2 中的连接作为项目的源,并开始构建管道。有关详细信息,请参阅 创建和管理数据管道项目。
-
在流程中的任何一点,选择一个数据任务,转到设置,然后转到目录选项卡,您可以在其中选中发布到目录复选框。
这意味着,当管道项目准备和运行时,此版本的数据集将发布到目录中。也可以在项目级别选中此选项。
-
运行您的数据项目。
运行管道项目后,新数据集将添加到目录中,您将能够访问质量指标及其内容的更多详细信息。此配置还可以将数据集用作分析应用程序的源。
在构建数据产品之前,您可以根据需要添加尽可能多的数据集。由于可以从 Qlik Talend Data Integration 应用中心和 Qlik Cloud 分析 服务应用中心访问目录,您可以在首选位置打开数据集,并将根据上下文使用正确的连接。
上拉/下推中的质量计算
使用数据集概述上的计算或刷新按钮会触发对 1000 行样本的质量计算。
默认情况下,此操作在上拉模式下进行。对于 Snowflake 和 Databricks 数据集,此操作可以在数据库侧的上拉模式(默认)或下推模式下进行。
计算数据质量后,检索并显示最多 1,000 行(默认)的预览,具有最新语义类型、有效性和完整性统计信息。然后将此示例存储在 MongoDB 上。若要配置数据集预览大小(100 或 1,000 行),租户管理员必须转到管理活动中心中的 设置 页面,有关更多信息,请参阅 配置数据集预览大小。
对于在下推模式下计算的 Databricks 数据集,如果计算出的样本返回的行数少于请求的行数,则预览包含的行数有时可能会少于配置的预览大小。Databricks 随机采样使用 TABLESAMPLE,它会返回近似的行数。由于预览是计算样本的子集,因此不能超过该样本返回的行数。
有关更多信息,请参阅 相应的 Databricks 文档。
Databricks 上下推模式的数据质量先决条件
要在 Databricks 上以下推模式计算数据质量,Qlik 需要将某些质量参考数据(例如语义类型)同步到您的 Databricks 实例。它还利用了 Databricks 的一些高级功能。
要使此功能正常运行,您的 Databricks 实例必须满足以下先决条件:
-
Unity Catalog 必须启用。
-
与 Databricks 连接关联的用户必须具有创建表、创建架构、创建卷以及写入卷的权限。
Qlik 将在您的连接中指定的数据库中创建一个名为 qlik_internal 的模式。此架构不会被 Qlik 自动移除。如果您停止使用 SaaS 云基础架构,您将需要手动将其删除。
-
排序规则必须启用。
关于限制,请注意字符串列中的日期识别仅限于 ISO-8601 格式。