跳到主要內容 跳至補充內容

轉換資料

您可建立能重複使用並且以規則為基礎的的資料轉換,做為資料管道的一部份。可在資料上線之中執行轉換,也可建立能重複使用的轉換資料任務。您可以執行列層級轉換並建立具體化為表格,或在執行中進行轉換建立為檢視的資料集。

資訊備註進階轉換可用於 Qlik Talend Cloud 進階版Qlik Talend Cloud 企業版 訂閱。
  • 您可以執行明確的資料集轉換,或建立轉換多個資料集的全域規則。也可篩選資料集,建立以列組成的子集。

  • 您可以新增 SQL 轉換。SQL 轉換可讓您在管道中輸入 SQL SELECT 查詢,以定義複雜或簡單的轉換。

  • 您可以使用來源、處理器和目標新增視覺轉換流程,以定義複雜或簡單的轉換。

資訊備註資料任務可在擁有者的脈絡下操作。如需有關所需角色和權限的詳細資訊,請參閱 資料空間角色和權限

建立轉換資料任務

建立轉換資料任務最簡單的方式是在儲存空間資料任務上按一下 ...,選取轉換資料

也可在專案中按一下新增,選取轉換資料。此情況下,您需要定義所要使用的來源資料任務。

  1. 轉換中定義來源資料和目標。

    您可以:

    • 選取來源資料集,按一下新增至目標以加入至目標

      然後您可以執行基本資料集轉換,例如在資料集中篩選資料或新增欄。

      如需詳細資訊,請參閱管理資料集

    • 選取來源資料集並按一下新增 SQL 轉換

      SQL 轉換可讓您在管道中輸入 SQL SELECT 查詢,以定義複雜或簡單的轉換。

      如需詳細資訊,請參閱 新增 SQL 轉換

    • 選取來源資料集並按一下新增轉換流程

      流程設計工具可讓您使用來源、處理器和目標建立轉換流程,以定義複雜或簡單的轉換

      如需詳細資訊,請參閱新增轉換流程

    提示備註您也可以按一下選取來源資料,從其他儲存空間資料任務新增更多資料集。
  2. 您已新增所需的轉換之後,按一下驗證資料集以驗證資料集。如果驗證後發現錯誤,請先修正錯誤再繼續進行。

    如需詳細資訊,請參閱驗證和調整資料集

  3. 建立資料模型

    按一下模型以設定所包含的資料集之間的關係。

    如需詳細資訊,請參閱 建立資料模型

  4. 按一下準備以準備資料任務和所需全部成品。這需花一些時間。

    您可以在畫面下方的準備進度之下追蹤進度。

  5. 當狀態顯示已準備好時,您即可執行資料任務。

    按一下 ... 再按執行

這時資料任務會開始建立轉換資料用的資料集。

資訊備註若您已經開始產生資料集,即無法變更要包含的資料集。

排程轉換任務

您可以排程定期更新轉換任務。您可以設定基於時間的排程,或設定為在輸入資料任務完成執行後執行任務。

按一下資料任務上的 ... 並選取排程以建立排程。預設排程設定繼承自專案中的設定。如需關於預設設定的詳細資訊,請參閱 賺換預設值

您一律需要將排程設定為開啟以啟用排程。

資訊備註若任務中的所有資料集都是非具體化,則在透過檢視即時執行轉換時,沒有任何內容可執行。您仍然可以為非具體化轉換任務建立排程,以在滿足排程條件時執行。任務將會立即完成,這可以觸發下游任務,例如資料超市。這可讓您建置基於事件的管道排程,這包括非具體化轉換,且不會中斷管道流程。

基於時間的排程

無論不同的輸入來源於何時更新,您都可以使用基於時間的排程以執行任務。

  • 執行資料任務中選取在特定時間

您可以設定每小時、每日、每週或每月排程。

基於事件的排程

您可以使用基於事件的排程,以在輸入資料任務完成執行後執行任務。

  • 執行資料任務中選取在特定事件

您可以選取想要在任何輸入任務成功完成後執行任務,或是在任何輸入任務選項成功完成後執行任務。

資訊備註若任何輸入任務或下游任務在觸發排程時執行,則任務不會執行。會略過任務,直到下次排程執行為止。

監控轉換任務

您可以按一下監控,監控轉換任務的狀態和進度。

如需詳細資訊,請參閱監控個別資料任務

載入資料

若資料具體化為實體表格,您可以執行手動表格載入。若一個或多個表格有問題,這很實用。

資訊備註若資料集沒有具體化,您必須在上游資料任務中載入來源資料集,以重新整理資料。
  1. 開啟資料任務並選取監控索引標籤。

  2. 選取您要載入的表格。

  3. 按一下載入表格

載入將會發生在下次執行任務時。載入流程根據每個資料集的歷史記錄設定和轉換類型,會有不同的運作方式。這表示,資料任務中的資料集之間可能會有不同的載入流程。

  • 會透過截斷並載入的方法載入資料集轉換。

  • 可以截斷並載入,或比較並套用,以載入 SQL 轉換和轉換流程。比較並套用是最佳做法。

您可以按一下取消載入,為等待載入的表格取消載入。這不會影響已載入的表格,且將會完成目前正在執行的載入。

將會載入下游任務以套用變更,並避免提早進行。

載入轉換資料任務後的下游影響

轉換載入下游影響

對下游的影響取決於執行的載入操作類型,以及直接下游資料集的類型。標準處理表示資料集將會使用對特定資料集設定的方法,反映並處理資料。

範例: 透過截斷並載入來載入資料集

  • 若下一個資料集使用資料集轉換,將會在下次執行時透過截斷並載入來載入。

  • 若下一個資料集是 SQL 轉換或轉換流程,將會使用比較並套用來載入。

載入不含歷史記錄的資料集

在此情況下,沒有要考慮的歷史記錄。若要降低對目標的處理程度,載入可透過以下方式執行:

  1. 截斷表格。

  2. 從上游資料任務載入目前資料。

將會載入下游任務以套用變更。

載入啟用歷史記錄的資料集

載入透過以下方式執行:

  1. 截斷目前表格、之前表格和變更表格。

  2. 從上游資料任務載入資料,包括之前表格。

根據 SQL 轉換或轉換流程載入資料集

  • 截斷並載入

    資訊備註此選項可能會造成歷史記錄損失。
    1. 截斷目前表格和變更表格。

    2. 執行查詢並載入到目前表格。

  • 載入並比較

    1. 執行查詢並與目前表格比較。

    2. 新增變更。

資訊備註由於上游任務重新載入而重新載入基於 SQL 轉換或轉換流程的資料集時,始終會透過比較和套用以重新載入。如果要截斷並且重新載入,則必須對這些資料表發出特定的重新載入。在此情況下,您必須同時考慮對於下游資料表的影響。

轉換的設定

您可為轉換資料任務設定屬性。

  • 按一下設定

警告備註如果已經執行任務,變更至非執行時間的設定需要您重新建立資料集。

一般設定

  • 資料庫

    要在資料來源中使用的資料庫。

  • 資料任務結構描述

    您可以變更儲存資料任務結構描述的名稱。預設名稱是 store

  • 內部架構

    您可變更內部儲存空間架構的名稱。預設名稱是 store__internal

  • 用於所有表格和檢視的前置詞

    您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。

    資訊備註若您想要在數個資料任務中使用一個資料庫結構描述,則必須使用唯一前置詞。
  • 具體化

    您可選擇僅建立即時執行轉換 (非具體化) 的檢視,或同時建立表格和檢視 (具體化)。

  • 歷程記錄

    您可以保留歷史變更資料,讓您輕鬆重新建立在特定時間點的資料。您可以使用歷史記錄檢視和即時歷史記錄檢視以查看歷史資料。

執行時間設定

  • 平行執行

    您可用 1 到 5 的數字設定完整載入連線的最大數目。

  • 倉庫

    雲端資料倉庫的名稱。

目錄設定

  • 發佈至目錄

    選取此選項以將此資料版本發佈至目錄作為資料集。將會在下次您準備此任務時更新目錄內容。

如需更多關於目錄的資訊,請參閱 使用目錄工具理解資料

限制

  • 選取非具體化選項時,無法變更轉換資料任務中的資料類型。

  • 基於 SQL 的非具體化資料集僅提供完整結果集,不支援增量篩選。基於 SQL 的非具體化資料集也僅提供目前的資料,不保留歷史記錄。

瞭解更多資訊

此頁面是否對您有幫助?

若您發現此頁面或其內容有任何問題——錯字、遺漏步驟或技術錯誤——請告知我們可以如何改善!