Snowflake 資料集的資料品質
為了從 Snowflake 資料集的語意類型探索和資料品質讀數中受益,您需要在資料產品脈絡下透過資料連線設定重要先決條件。
Snowflake 連線設定
為了讓您從 Snowflake 建立資料集,並且之後能在資料集概述和資料產品概述中存取結構描述和品質,您需要在 Qlik Talend Data Integration 中心和 Qlik 分析服務中心內設定相同的連線。
假設您想要帶來儲存於 Snowflake 資料庫的資料,請新增至目錄作為資料集,並在將用於分析應用程式的資料產品中分組。
-
在 Qlik Talend Data Integration 中,按一下新增,然後按一下資料連線。
-
使用具有寫入權限且能存取您要匯入之表格的使用者之認證設定 Snowflake 資料庫的存取權限。
-
在 Qlik 分析服務中,按一下新增,然後按一下資料連線。
-
理想上可使用相同使用者的認證,或至少有表格讀取權限的認證,設定與之前相同的 Snowflake 資料庫的存取權限。
-
在角色欄位中,您必須輸入對應至 Snowflake 資料庫中建立的現有角色,以及對這些物件具有下列權限的角色。
-
倉庫使用
-
資料庫使用
-
架構使用
-
在架構上建立表格
-
在架構上建立函數
-
在架構上建立檢視
-
表格選取
-
-
回到 Qlik Talend Data Integration 首頁,按一下新增,然後按一下建立資料專案。
-
從步驟 2 使用 Snowflake 連線作為專案來源,並開始建置管道。如需更多資訊,請參閱建立資料管道。
-
在管道中的任何點,選取資料任務,前往設定,然後選取目錄索引標籤,您可在此選取發佈至目錄核取方塊。
這表示,準備並執行資料專案時,此資料集版本將會發佈至目錄。也可以在專案層級選取此選項。
-
執行資料專案。
執行資料專案後,新的資料集會新增至目錄,而您將能夠存取品質指標和更多關於內容的詳細資訊。此設定也可以使用 Snowflake 資料集作為分析應用程式的來源。
您可以在建置資料產品之前,在必要時新增為許多資料集。由於可從 Qlik Talend Data Integration 中心和 Qlik 分析服務中心存取目錄,您可以在偏好的位置中開啟資料集,將會根據內容使用合適的連線。
下推的品質運算
使用資料集概述的運算或重新整理按鈕觸發資料庫 1,000 列樣本的品質計算。此操作發生於下推,在 Snowflake 側。
然後 100 列樣本會傳回 Qlik Cloud,您可在此顯示為預覽,其中有最新語意類型,以及有效性和完整性統計資料。然後此樣本會儲存在 MongoDB。
以下圖表摘要資料品質處理操作。