註冊已存在於資料平台的資料

您可以註冊已存在於資料平台的資料，以策劃並轉換資料，以及建立資料超市。這可讓您使用以 Qlik Talend Data Integration 以外工具上線的資料，例如 Qlik Replicate 或 Stitch。

註冊資料時，會建立兩個資料任務。

• 已註冊的資料

  註冊資料涉及建立檢視畫面，以讓資料準備好用於建立資料集。

• 儲存

  這涉及根據註冊的資料產生並儲存資料集。

  儲存資料集

待您註冊資料後，能以數種方式使用所產生的資料集。

• 您可以在分析應用程式中使用資料集。

• 您可以建立轉換。

• 您可以建立資料超市。

註冊資料

您可以註冊已存在於專案中定義之雲端資料倉庫的資料。產生的資料集將會儲存在相同的雲端資料倉庫中。

如需關於專案的詳細資訊，請參閱建立資料管道。

1. 按一下新增，然後按一下專案中的註冊資料。

2. 為資料任務新增名稱和描述。

   按一下下一步。

3. 選取要註冊的資料。

   選取要納入的資料

   按一下下一步。

   隨即顯示設定。

4. 在更新方法中選取如何更新資料。

   若資料由 Qlik Replicate 或 Stitch 複寫，則選取使用高浮水印增量。

   • 使用使用高浮水印增量以使用高浮水印模式，透過增量方式處理資料變更。若資料由 Qlik Replicate (並啟用了完整載入和儲存變更) 或 Stitch 複寫，則建議使用此方法。

     如需詳細資訊，請參閱更新方法。

   • 若資料僅載入一次，或者若使用完整載入更新，則使用與目前儲存比較。

5. 預覽摘要中所建立的兩個資料任務，亦可視需要重新命名。

   提示備註這些名稱會在為儲存空間資料任務中的資料庫架構命名時用到。因為一個架構只能與一項任務有關，所以請考慮使用獨一無二的名稱，以免與使用相同資料平台的其他專案中的資料任務有所衝突。

6. 選取您是否想要開啟已註冊的資料任務，或要返回專案。

   準備就緒後，按一下完成。

現在已建立兩個資料任務。如要開始複寫資料，您需要：

• 準備已註冊的資料任務。

  在資料任務中按一下準備。

  若已建立成品，則資料任務狀態為已註冊。

• 準備和執行儲存空間資料任務。

  如需詳細資訊，請參閱 儲存資料集

選取要納入的資料

選取要納入的資料時，您可以選取特定表格或檢視，或使用選取規則以納入或排除表格群組。

可使用 % 作為萬用字元，為架構和表格定義選取標準。

• %.% 可定義所有架構中的所有表格。

• Public.% 可定義架構 Public 中的所有表格。

選取標準可依照您的選取項目提供預覽。

您現在可以：

• 建立規則，以基於選取標準納入或排除表格群組。

  按一下從選取標準新增規則以建立規則，再選取納入或排除。

  您可在選取規則之下看見此規則。

• 選取一或多個資料集，按一下新增所選的資料集。

  您可在明確選取的資料集之下看見新增的資料集。

選取規則僅套用到目前的表格和檢視組，不會套用到日後新增的表格和檢視。

正在重新整理中繼資料

您可以在任務的設計檢視中重新整理任務中的中繼資料，以符合來源中繼資料中的變更。對於使用 Metadata Manager 的 SaaS 應用程式，必須先重新整理 Metadata Manager，才能重新整理資料任務中的中繼資料。

1. 您可以進行以下任一項：

   • 按一下 ...，然後按一下重新整理中繼資料，以對任務中的所有資料集重新整理中繼資料。

   • 在資料集中的資料集按一下 ...，然後按一下重新整理中繼資料，以對單一資料集重新整理中繼資料。

   您可以在畫面下方部分的重新整理中繼資料之下檢視中繼資料重新整理狀態。您可以將游標暫留在 上方，以查看上次重新整理中繼資料的時間。

2. 準備資料任務以套用變更。

   準備資料任務並套用變更後，會從重新整理中繼資料移除變更。

您必須準備取用此任務的儲存任務以散佈變更。

若移除欄，會新增具有 Null 值的轉換，以確保儲存不會失去歷史資料。

限制

• 若有相同的資料類型和資料長度，則在此之前於相同時段以捨棄的欄重新命名，將會轉譯為捨棄的欄重新命名。

  範例：  

  之前：a b c d

  之後：a c1 d

  在此範例中，捨棄了 b，而 c 重新命名為 c1，且 b 和 c 有相同的資料類型和資料長度。

  這將會識別為從 b 重新命名為 c1 並捨棄 c。

• 不會辨識最後一欄重新命名，即使已捨棄最後一欄並重新命名前一欄，也是如此。

  範例：  

  之前：a b c d

  之後：a b c1

  在此範例中，捨棄了 d 且 c 重新命名為 c1。

  這將會識別為捨棄 c 和 d，並新增 c1。

• 會假設新的欄在末尾新增。若在中間新增資料類型與下一欄相同的欄，可能會解譯為捨棄並重新命名。

已註冊的資料設定

您可為已註冊的資料任務設定屬性。

• 按一下設定。

一般設定

• 資料庫

  在目標使用的資料庫。

• 任務結構描述

  您可以變更資料任務結構描述的名稱。

• 用於所有表格和檢視的前置詞

  您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。

  資訊備註若您想要在數個資料任務中使用一個資料庫結構描述，則必須使用唯一前置詞。

更新方法

變更偵測

• 若資料僅載入一次，或者若使用完整載入更新，則使用與目前儲存比較。

• 使用使用高浮水印增量以使用高浮水印方法，透過增量方式處理資料變更。

  此選項要求所有表格都定義了主要金鑰。您可以為遺失主要金鑰的表格在資料集檢視中手動定義主要金鑰。

增量載入設定

選取使用高浮水印增量時，可以使用這些設定。

• 若使用完整載入和儲存變更透過 Qlik Replicate 任務複製資料，則將增量載入設定設定為Qlik Replicate設定。

• 若資料由 Stitch 資料管道複寫，且您的來源表格已定義主要金鑰，請將增量載入設定設定為Stitch 預設設定。

• 否則，請將增量載入設定設定為自訂並自行定義設定。

目錄設定

• 發佈至目錄

  選取此選項以將此資料版本發佈至目錄作為資料集。將會在下次您準備此任務時更新目錄內容。

如需更多關於目錄的資訊，請參閱 使用目錄工具理解資料。

建議 Qlik Replicate 設定

註冊使用儲存變更的 Qlik Replicate 任務複寫的資料時，建議使用這些 Qlik Replicate 任務設定。

• 應使用選項完整載入和儲存變更設定 Qlik Replicate 任務。

• 在儲存變更設定 > 變更表格中，確認納入下列變更表格欄，並使用預設名稱：

  • [header__]change_seq

  • [header__]change_oper

  • [header__] timestamp

• 在儲存變更設定 > 變更表格中，將更新時設定為僅儲存之後影像。

  這會減少每次更新的空間，因為不包括之前影像。若您沒有計畫使用之前影像，請使用此選項。

• 在儲存變更設定 > 變更表格中，將後置詞設定為預設值 __ct。

• 請勿套用下列全域轉換：

  • 重新命名變更表格

  • 重新命名變更表格架構

• 若可以更新來源表格中的主要金鑰，請在變更處理微調中更新主要金鑰欄選項時啟用刪除和插入。

  舊記錄的歷史記錄將不會保留在新的記錄中。

  資訊備註從 Qlik Replicate November 2022 開始支援此選項。

操作已註冊的資料任務

您可以從任務功能表在已註冊的資料任務執行下列操作。

• 開啟

  這會開啟資料任務。您可以檢視表格結構和關於資料任務的詳細資訊。

• 編輯

  您可以編輯任務的名稱和說明並新增標記。

• 刪除

  您可以刪除資料任務。

  不會刪除來源資料。

• 同步資料集

  如此可將無法自動調整的設計變更加以同步處理。

• 重新建立表格

  可從來源重新建立資料集。

• 儲存資料

  您可以建立從此登陸資料任務使用資料的儲存資料任務。

設定「開始日期」欄時的歷史記錄考慮事項

若在下游任務中啟用歷史資料，且您使用「開始日期」欄，則不支援日期回溯。這表示，若變更批次包含不存在於儲存空間中的舊版記錄，則變更批次也必須包括所有新版記錄。若沒有包括新版，將會被刪除。

在這些範例中，儲存空間從開始包括這些記錄：

範例 1:  

若您插入下列變更批次：

儲存空間中的結果如預期：

範例 2:  

但是，若您在變更批次中插入下列舊版記錄：

這會造成新版記錄在儲存空間中遭到移除：

範例 3:  

若要維持歷史記錄，變更批次必須包括新版記錄：

這也能確保儲存空間中保留歷史記錄：

考慮事項

• 請勿在 Stitch 複寫中使用歷史記錄選項。使用在 Qlik Talend Data Integration 中保留歷史資料的選項。

資料容量考慮事項

• 若已註冊的表格沒有主要金鑰，每次執行將會執行完整載入。這將會計入每月註冊的資料容量配額。這是因為儲存空間需要比較所有記錄以尋找變更。

• 會在儲存空間中計入已註冊資料的資料容量。這表示，刪除已註冊的資料會轉譯為插入或更新儲存空間 (軟刪除) 並計入資料容量中。

• 若來自已註冊資料的表格用於兩個儲存資料任務，則軟刪除、插入和更新將會計入資料容量兩次。