跳到主要內容 跳至補充內容

目標更新方法概述

您可以在初始任務設定期間或在之後,於資料任務設定中設定要使用哪個更新方法。資料任務準備後,就無法變更更新方法。可用的更新方法取決於任務類型:登陸、複寫或在資料湖中登陸資料。

登陸資料時的更新方法

  • 變更資料擷取 (CDC)

    資料任務以完整載入開始。之後會根據日期欄位使用增量載入,將目標資料保持為最新狀態。CDC 不一定受到所有資料來源的支援。

    資訊備註不支援 DELETE 操作。這表示,若在來源中刪除列,不會在登陸資料中刪除。若刪除處理很重要,請改用載入並比較

    使用 資料移動閘道 並從 SaaS 應用程式登陸資料時,您可在設定 > 執行階段設定從來源讀取變更之間的間隔。若不使用 資料移動閘道,您可使用排程器設定間隔。如需詳細資訊,請參閱 在不使用 資料移動閘道 時排程 CDC 任務

  • 載入並比較

    資料任務會從來源執行僅限完整載入。例如,如果來源不支援 CDC,或者若您希望 DELETE 操作 (不受 CDC 的支援) 散佈到目標,這很實用。載入並比較可搭配任何支援的資料來源使用,也可以排程定期發生

複寫至資料庫或資料倉庫目標時的更新方法

  • 完整載入:將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但如有需要,也可以手動執行。
  • 套用變更:以對來源表格所做的任何變更更新目標表格。

  • 儲存變更:在變更表格 (每個來源表格一個)中將變更儲存至來源表格。

    如需詳細資訊,請參閱 儲存變更

使用 資料移動閘道 時,會幾乎即時地從來源擷取變更。在沒有 資料移動閘道 的情況下工作時 (例如透過 Qlik Talend Cloud 啟動器 訂閱或選取時),會根據排程器設定擷取變更。如需詳細資訊,請參閱 在不使用 資料移動閘道 時排程任務

複寫至雲端儲存 (資料湖) 時的更新方法

  • 變更資料擷取 (CDC):資料湖登陸任務以完整載入開始 (在此期間,會登陸所有選取的表格)。然後登陸資料會使用 CDC (變更資料擷取) 技術保持最新狀態。

    資訊備註不支援 DDL 操作的 CDC (變更資料擷取)。

    使用 資料移動閘道 時,會幾乎即時地從來源擷取變更。在沒有 資料移動閘道 的情況下工作時,會根據排程器設定擷取變更。如需詳細資訊,請參閱 在不使用 資料移動閘道 時排程任務

  • 載入:執行完整載入以將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但也可以根據需要手動執行或安排定期進行。
資訊備註

根據訂閱層級,設定複寫至雲端儲存的程序會不同。

理解排程變更資料擷取 (CDC)

在沒有 資料移動閘道 的情況下工作時,會根據排程的間隔擷取變更。重要的是,應注意排程如何運作,這以範例方式最能呈現。在下列範例中,任務已排程每 30 分鐘執行一次,在 9:00 開始。

  • 任務以完整載入在 9:00 開始。
  • 完整載入於 9:40 結束,表示將會略過 9:30 的執行。
  • 下次執行於 10:00 開始,並會擷取 10:00 前所做的任何變更。
  • 10:00 執行於 10:15 結束。
  • 下次執行於 10:30 開始,並擷取 10:00 和 10:30 之間發生的任何變更。
資訊備註根據系統上的載入、同時執行的任務數量,以及有多少 Pod 可用,下次排程的執行個體可能不會準確地在排程時間開始。

限制

SaaS 應用程式傳回的某些表格不受變更資料擷取 (CDC) 支援。在此情況下,您將會在驗證錯誤中看見警告訊息。您可以:

  • 從資料任務刪除表格。

  • 將資料任務的更新方法變更為載入並比較

此頁面是否對您有幫助?

若您發現此頁面或其內容有任何問題——錯字、遺漏步驟或技術錯誤——請告知我們可以如何改善!