基於連線的資料集的資料品質
上次更新:2026-11-18為了從基於連線之資料集的語意類型探索和資料品質讀數中受益,您需要在資料產品脈絡下透過資料連線設定重要先決條件。
- Qlik Talend Cloud 企業版
- Qlik Talend Cloud 進階版
- Qlik Cloud 分析進階版
- Qlik Cloud Analytics 企業
- Qlik Sense Enterprise SaaS
支援的檔案、連線與資料庫
支援下列檔案類型:
- Excel 檔案:XLS/XLSX
- 分隔文字檔:CSV/TXT
- JSON 檔案:JSON
- XML 檔案:XML
- Qlik 資料檔案:QVD (QlikView Data)/QVX (QlikView Exchange)
- Parquet 檔案:PARQUET
- KML 檔案:KML(地理資料)
當您從雲端儲存空間新增資料集時,檔案大小不得超過 1 GB。此雲端儲存空間限制與下文所述的資料品質運算限制是分開的。
截至目前,品質計算支援的類型是 CSV、TXT、Parquet、QVD、XLS 和 XLSX,並受限於以下限制:
- CSV/TXT 最大 1 GB
- Parquet 最大 1 GB
- QVD 最高可達 100 GB
- XLS/XLSX 上限 100 MB
對於 Parquet 檔案,資料品質僅支援扁平結構描述。不支援巢狀欄位 (LIST, MAP, STRUCT)。
超過這些限制的檔案型資料集不支援資料品質。如果您的 Excel 檔案包含多個工作表,則品質計算只會在第一個工作表上進行。
-
Snowflake 和 Databricks 資料集的上拉和下推模式均支援資料品質。
-
基於以下連線的資料集在上拉模式支援資料品質:
-
Amazon Athena
-
Amazon Redshift
- Amazon S3 V2
-
Apache Hive
-
Apache Phoenix
-
Apache Spark
-
Azure SQL 資料庫
- Azure Storage
-
Azure Synapse Analytics
-
Cassandra
-
Cloudera Impala
-
Couchbase
-
DynamoDB
- Dropbox
-
Google BigQuery
- Google Cloud Storage
- Google Drive
-
Marketo
-
Microsoft SQL Server
-
MongoDB
-
MySQL 企業版
- Office 365 Sharepoint
- OneDrive
-
Oracle
-
PostgreSQL
-
Presto
-
SAP Hana
- SFTP
-
Snowflake
-
從資料表建立資料集
建立資料集時,請從資料來源選取資料庫,然後選取該資料庫中的表格。會為您選取的每個表格建立資料集。
- 在 目錄 中,按一下 建立新項目 > 資料集。
- 選取連線並按一下下一步。
- 從下拉式清單中選取資料庫與結構描述。
- 選取資料表並按一下 下一步。
- 選取空間,然後按一下 建立資料集。您將被重新導向至 目錄,並在清單中看到新的資料集。
您現在可以計算資料品質,並將資料集新增至資料產品。如需詳細資訊,請參閱 設定資料品質運算。
從檔案建立資料集
- 在 目錄 中,按一下 建立新項目 > 資料集。
- 選取連線並按一下下一步。
- 選取檔案並按一下下一步。
- 選取空間,然後按一下 建立資料集。您將被重新導向至 目錄,並在清單中看到新的資料集。
您現在可以計算資料品質,並將資料集新增至資料產品。如需詳細資訊,請參閱 設定資料品質運算。
建立基於連線的資料集
您可以從 目錄 建立基於連線的資料集,但也可以使用管道專案。
從管道專案建立資料集,可讓您在專案中使用資料任務進行所有資料整合。如需詳細資訊,請參閱 建立資料管道專案。
從目錄建立資料集
當您不需要使用管道專案時,您可以建立資料集來計算資料品質,並透過資料產品取用這些資料集。
- 在 Qlik Talend Data Integration > 目錄 中,按一下 建立新項目 > 資料集。
- 選取連線並按一下下一步。
- 選取資料集並按一下 下一步。
當資料集未列在清單中時,表示其並非支援的格式之一:
- Excel 檔案:
.xls,.xlsx - 分隔文字檔:
.csv,.txt - Excel 檔案:
.xls,.xlsx - JSON 檔案:
.json - XML 檔案:
.xml - Qlik 資料檔案:
.qvd (QlikView Data)、.qvx (QlikView Exchange) - Parquet 檔案:
.parquet - KML 檔案:
.kml (Geographic data)
針對品質計算,檔案型資料集有大小限制:CSV、TXT 和 Parquet 上限為 1 GB,QVD 上限為 100 GB,而 XLS/XLSX 上限為 100 MB。
- Excel 檔案:
- 選取空間,然後按一下 建立資料集。您將被重新導向至 目錄,並在清單中看到新的資料集。
您現在可以計算資料品質,並將資料集新增至資料產品。如需詳細資訊,請參閱 設定資料品質運算。
從管道專案建立資料集
-
在 Qlik Talend Data Integration > 連線中,按一下建立連線。
-
使用具有充足權限且能存取您要匯入之表格的使用者之認證設定資料庫的存取權限。
-
在 Qlik Cloud 分析 中按一下建立,然後按一下資料連線。
-
理想上可使用相同使用者的認證,或至少有表格讀取權限的認證,設定與之前相同的資料庫的存取權限。
-
(僅適用 Snowflake) 在角色欄位中,您必須輸入對應至 Snowflake 資料庫中建立的現有角色,以及對這些物件具有下列權限的角色。
-
倉庫使用
-
資料庫使用
-
架構使用
-
在架構上建立表格
-
在架構上建立函數
-
在架構上建立檢視
-
表格選取
-
-
(僅限 Databricks)在 Databricks 中,您必須在資料庫上定義下列權限:
-
建立表格
-
建立磁碟區
-
MODIFY
-
讀取量
-
SELECT
-
使用架構
-
寫入量
-
-
回到 Qlik Talend Data Integration 首頁,按一下 建立新項目,然後按一下 管線專案。
-
從步驟 2 使用連線作為專案來源,並開始建置管道。如需詳細資訊,請參閱 建立與管理資料管道專案。
-
在管道中的任何點,選取資料任務,前往設定,然後選取目錄索引標籤,您可在此選取發佈至目錄核取方塊。
這表示,準備並執行管道專案時,此資料集版本將會發佈至目錄。也可以在專案層級選取此選項。
-
執行資料專案。
執行管道專案後,新的資料集會新增至目錄,而您將能夠存取品質指標和更多關於內容的詳細資訊。此設定也可以使用資料集作為分析應用程式的來源。
您可以在建置資料產品之前,在必要時新增為許多資料集。由於可從 Qlik Talend Data Integration 中心與 Qlik Cloud 分析 服務中心存取目錄,因此您可以在偏好的位置開啟資料集,系統也會根據情境使用正確的連線。
上拉/下推的品質運算
使用資料集概述的運算或重新整理按鈕觸發 1,000 列樣本的品質計算。
此操作預設發生於上拉模式。對於 Snowflake 和 Databricks 資料集,此操作可以在資料庫端以上拉模式 (預設) 或下推模式進行。
計算資料品質後,會擷取並顯示最多 1,000 列 (預設) 的預覽,其中有最新語意類型、有效性和完整性統計資料。然後此樣本會儲存在 MongoDB。若要設定資料集預覽大小 (100 或 1,000 列),租用戶管理員必須前往管理活動中心的 設定 頁面,如需詳細資訊,請參閱 設定資料集預覽大小。
對於在下推模式下計算的 Databricks 資料集,如果計算出的樣本傳回的資料列數少於所要求的數量,預覽有時包含的資料列數可能會少於已設定的預覽大小。Databricks 隨機抽樣使用 TABLESAMPLE,這會傳回近似的資料列數。由於預覽是計算所得樣本的子集,因此無法超過該樣本傳回的資料列數。
如需詳細資訊,請參閱 對應的 Databricks 文件。
Databricks 上下推模式的資料品質先決條件
若要在 Databricks 上以下推模式計算資料品質,Qlik 需要將特定的品質參考資料 (例如語意類型) 同步至您的 Databricks 執行個體。它也利用了 Databricks 的一些進階功能。
為了讓此功能,特性正常運作,您的 Databricks 執行個體必須符合下列先決條件:
-
Unity Catalog 必須啟用。
-
與 Databricks 連線相關聯的使用者必須具備建立資料表、建立結構描述、建立磁碟區以及寫入磁碟區的權限。
Qlik 將會在您連線中指定的資料庫中建立名為 qlik_internal 的結構描述。此結構描述不會由 Qlik 自動移除。如果您停止使用 SaaS 雲端基礎結構,將需要手動將其刪除。
-
定序必須啟用。
關於限制事項,請注意字串欄位中的日期辨識僅限於 ISO-8601 格式。