儲存資料集
您可以使用儲存空間資料任務儲存資料集。儲存空間資料任務透過登陸資料任務,取用登陸到雲端登陸區域的資料。例如,您可以在分析應用程式中使用表格。
-
登陸資料任務的狀態至少為準備好進行準備時,您可設計儲存空間資料任務,
-
登陸資料任務的狀態至少為準備好執行時,您可準備儲存空間資料任務,
儲存空間資料任務將會使用與取用的登陸資料任務相同的操作模式 (完整載入或完整載入 & CDC)。兩個操作模式之間有不同的設定屬性,監控和控制選項之間也是如此。若您使用僅限完整載入的雲端目標登陸資料任務,儲存空間資料任務將會對登陸表格建立檢視,而非產生實際表格。
建立儲存空間資料任務
您可用三種方式建立儲存空間資料任務:
-
按一下登陸資料任務上的 ...,選取 儲存資料以基於此登陸資料資產建立儲存區資料任務。
-
按一下新增,然後按一下儲存資料。此情形下,您需要指定要用的登陸資料任務。
-
當您上線資料時,會建立儲存空間資料任務。它會連線到在上線資料時也會建立的登陸資料任務。
如需詳細資訊,請參閱上線資料。
當您已建立儲存空間資料任務時:
-
按一下 ...,選取開啟,以開啟儲存空間資料任務。
即開啟儲存空間資料任務,您可基於取自登陸資料資產的表格,預覽輸出資料集。 -
對所包含的資料集作出所有必要變更,例如轉換、篩選資料,或新增欄。
如需詳細資訊,請參閱管理資料集。
-
您已新增所需的轉換之後,可按一下驗證資料集以驗證資料集。如果驗證後發現錯誤,請先修正錯誤再繼續進行。
如需詳細資訊,請參閱驗證和調整資料集。
-
建立資料模型
按一下模型以設定所包含的資料集之間的關係。
如需詳細資訊,請參閱 建立資料模型。
-
按一下準備以準備資料任務和所需全部成品。這需花一些時間。
您可以在畫面下方的準備進度之下追蹤進度。
-
當狀態顯示準備好執行時,您即可執行資料任務。
按一下執行。
這時資料任務會開始建立存放資料用的資料集。
保留歷史資料
您可以保留 2 型歷史變更資料,讓您輕鬆重新建立在特定時間點的資料。這會產生一個完整的歷史資料儲存區 (HDS)。
-
支援類型 2 緩慢變更維度。
-
合併已變更的記錄時,這會建立新記錄以儲存已變更的資料,並讓舊的記錄保持不變。
-
新的 HDS 記錄會自動加上時間戳記,讓您建立趨勢分析和其他時間導向的分析資料超市。
您可以按一下以下內容,以啟用歷史資料:
-
上線資料時,在設定中以目前資料和先前資料的歷史記錄複寫
-
儲存區域任務的設定對話方塊中的保留歷史變更記錄並變更記錄封存。
HDS 資料儲存在內部資料結構描述的 Prior 表格中。您可以在外部資料結構描述使用歷史檢視和即時歷史檢視以檢視歷史資料。
-
歷史記錄檢視會合併來自 Current 表格和 Prior 表格的資料。此檢視包括已合併的所有變更。
-
即時歷史記錄檢視會合併來自 Current 表格、Prior 表格和 Changes 表格的資料。此檢視也包括尚未合併的所有變更。
如需詳細資訊,請參閱雲端資料倉庫中的資料集架構。
排程儲存任務
您可以排程定期更新儲存任務。
-
若輸入登陸資料任務使用完整載入和 CDC,您只能設定基於時間的排程。
-
若輸入登陸資料任務使用完整載入,您可以設定基於時間的排程,或設定為在輸入登陸資料任務完成執行後執行任務。
資訊備註透過使用完整載入的輸入登陸資料任務執行基於時間的排程時,請考慮到當登陸任務仍在執行時,登陸中的每個已完成表格都可用。這可讓您共同執行登陸和儲存,改善總載入時間。
按一下資料任務上的 ... 並選取排程以建立排程。預設排程設定繼承自資料專案中的設定。如需關於預設設定的詳細資訊,請參閱 儲存區域預設值。您一律需要將排程設定為開啟以啟用排程。
基於時間的排程
無論登陸類型是什麼,您都可以使用基於時間的排程來執行儲存資料任務。
-
在執行資料任務中選取在特定時間。
您可以設定每小時、每日、每週或每月排程。
基於事件的排程
-
在執行資料任務中選取成功完成任何輸入資料任務時。
儲存任務將會在每次輸入登陸資料任務成功完成後執行。
監控儲存任務
您可以按一下監控,監控儲存任務的狀態和進度。
如需詳細資訊,請參閱監控個別資料任務。
疑難排解儲存資料任務
儲存資料任務中的一個或多個表格發生問題時,您可能需要載入或重新建立資料。有幾個選項可用來執行此操作。請以下列順序考慮要使用哪個選項:
-
您可以載入登陸中的資料集。載入登陸中的資料集會在儲存中觸發比較流程,並校正資料,同時保留類型 2 歷史記錄。也應在以下情況考慮此選項:
-
完整載入在很久以前執行,會有大量變更。
-
若已刪除完整載入和已處理的變更表格記錄,作為維護登陸區域的一部分。
-
-
您可以在儲存資料任務載入資料。
若啟用歷史資料,儲存中的載入可能會造成歷史資料損失。若這發生問題,請考慮改從來源載入登陸。
-
您可以重新建立表格。可從來源重新建立資料集。
-
按一下 ...,然後按一下重新建立表格。重新建立表格時,下游任務的反應方式,如同截斷並載入來源資料集發生的動作。
-
載入資料
您可以執行手動表格載入。若一個或多個表格有問題,這很實用。
-
開啟資料任務並選取監控索引標籤。
-
選取您要載入的表格。
-
按一下載入表格。
載入將會發生在下次執行任務時,並透過以下方式執行:
-
截斷表格。
-
將登陸資料載入到表格。
-
載入從載入時間起累積的變更。
一般而言,這是在登陸中載入資料集的最佳做法。這在下列情況尤其如此:
-
若啟用歷史資料,儲存中的載入可能會造成歷史資料損失。載入登陸中的資料集會在儲存中觸發比較流程,並校正保留類型 2 歷史記錄的資料。
-
若完整載入在很久以前執行,會有大量變更。
-
若已刪除完整載入和已處理的變更表格記錄,作為維護登陸區域的一部分。
將會載入下游任務以套用變更,並避免提早進行。若透過截斷並載入的方式執行載入,也會截斷並載入所有下游專案,以便載入。
對下游的影響取決於執行的載入操作類型,以及直接下游資料集的類型。標準處理表示資料集將會使用對特定資料集設定的方法,反映並處理資料。
-
在下游轉換任務中:
會透過截斷並載入的方法載入資料集轉換。
與完整載入比較並套用變更,以載入 SQL 轉換和轉換流程。
-
立即在儲存任務之後的資料超市任務會透過截斷並載入的方式載入。
您可以按一下取消載入,為等待載入的表格取消載入。這不會影響已載入的表格,且將會完成目前正在執行的載入。
儲存空間的設定
若資料平台為雲端資料倉庫,您可以設定儲存區域資料任務的屬性。若您使用 Qlik Cloud 作為資料平台,請參閱 資料專案的儲存空間設定,以 Qlik Cloud 作為資料平台。
按一下設定。
一般設定
資料庫
要在資料來源中使用的資料庫。
任務結構描述
您可以變更儲存資料任務結構描述的名稱。預設名稱是儲存任務的名稱。
內部架構
您可變更內部儲存空間資料資產架構的名稱。預設名稱是附加 _internal 的儲存任務名稱。
- 用於所有表格和檢視的前置詞
您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。
資訊備註若您想要在數個資料任務中使用一個資料庫結構描述,則必須使用唯一前置詞。 歷程記錄
您可以保留歷史變更資料,讓您輕鬆重新建立在特定時間點的資料。您可以使用歷史記錄檢視和即時歷史記錄檢視以查看歷史資料。選取保留歷史記錄和變更記錄封存以啟用歷史變更資料。
比較儲存與登陸時,您可選擇如何管理不存在於登陸中的記錄。
標記為已刪除
這會對不存在於登陸中的記錄執行軟體式刪除。
繼續
這會保留不存在於登陸中的所有記錄。
資訊備註儲存空間資料任務中的資料集必須設定有主要金鑰。否則,每回重新載入登陸資料時,就會對儲存空間資料任務執行初始載入。
檢視的設定
即時檢視
使用即時檢視以最低的延遲讀取表格。
如需關於即時檢視的詳細資訊,請參閱 使用即時檢視。
資訊備註即時檢視的效率低於標準檢視,而且需要更多資源,因為需要重新計算已套用的資料。
執行時間設定
平行執行
您可用 1 到 5 的數字設定完整載入連線的最大數目。
倉庫
雲端資料倉庫的名稱。此設定僅適用於 Snowflake。
目錄設定
發佈至目錄
選取此選項以將此資料版本發佈至目錄作為資料集。將會在下次您準備此任務時更新目錄內容。
如需更多關於目錄的資訊,請參閱 使用目錄工具理解資料。
資料專案的儲存空間設定,以 Qlik Cloud 作為資料平台
若資料平台 Qlik Cloud 為資料平台,您可以設定要在儲存空間中使用哪個資料夾。
按一下設定。
選取要在儲存空間中使用哪一個資料夾。
在您準備好時按一下確定。
操作儲存空間資料任務
您可以從任務功能表在儲存空間資料任務執行下列操作。
開啟
這會開啟儲存空間資料任務。您可以檢視表格結構和關於資料任務的詳細資訊,並監控完整載入和變更批次的狀態。
編輯
您可以編輯任務的名稱和說明並新增標記。
刪除
您可以刪除資料任務。
準備
可準備要執行的任務。這包括:
驗證設計有效。
建立或改變實體表格和檢視以符合設計。
產生資料任務的 SQL 代碼
建立或改變任務輸出資料集的目錄項目。
您可以在畫面下方的準備進度之下追蹤進度。
驗證資料集
可驗證所有包含在資料任務中的資料集。
拓展驗證和調整以查看所有驗證錯誤和設計變更。
重新建立表格
可從來源重新建立資料集。重新建立表格時,下游任務的反應方式,如同截斷並載入來源資料集發生的動作。如需詳細資訊,請參閱 疑難排解儲存資料任務。
停止
您可以停止資料任務的操作。資料任務將不會繼續更新表格。
資訊備註此選項在資料任務執行中時可供使用。繼續
您可以從停止的地方繼續操作資料任務。
資訊備註此選項在資料任務停止時可供使用。轉換資料
依據規則和自訂 SQL 建立可重複使用的低層級轉換。這會建立轉換資料任務。
建立資料超市
利用資料任務建立資料超市。這會建立資料超市資料任務。
限制
如果資料任務中含有資料集,並且您在連線中變更任何參數,例如使用者名稱、資料庫或架構,即認定資料存在於新位置。如並非此情形,有兩種作法:
將來源中的資料移到新位置。
使用相同設定建立新的資料任務。
無法透過 Qlik Cloud (QVD) 在專案的儲存任務中變更主要金鑰作為目標。在登陸任務中更新主要金鑰,重新建立登陸任務,然後重新建立儲存任務。