雲端儲存目標的設定
您可以根據需求變更預設資料湖登陸設定。
一般
更新方法
您可以透過兩種不同的模式登陸資料。資料湖登陸任務準備後,就無法變更模式。
-
變更資料擷取 (CDC) 使用變更表格: 資料湖登陸任務以完整載入開始 (在此期間,所有選取的表格會登陸到目標)。然後目標資料會使用 CDC (變更資料擷取) 技術保持最新狀態。
資訊備註不支援 DDL 操作的 CDC (變更資料擷取)。使用 資料移動閘道 時,除了使用 SaaS 應用程式來源之外,變更會幾乎即時地從來源擷取。在沒有 資料移動閘道 或使用 SaaS 應用程式來源的情況下工作時,會根據排程器設定擷取變更。如需詳細資訊,請參閱 Scheduling tasks。
-
重新載入: 執行完整載入以將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但也可以根據需要手動執行或安排定期進行。
資訊備註使用 SaaS 應用程式連接器時,此設定不適用。
要使用的資料夾
根據您希望將檔案寫入哪個值區資料夾,選取下列其中一項:
-
預設資料夾
預設資料夾格式為 <your-project-name>/<your-task-name>
-
根資料夾
檔案將寫入根值區資料夾。
-
資料夾
指定資料夾名稱。如果資料夾不存在,將在資料任務期間建立該資料夾。
資訊備註 資料夾名稱不能包含特殊字元 (例如 @、#、! 等)。
資料上傳
檔案屬性
格式
您可以選擇以 CSV、JSON 或 Parquet 格式建立目標檔案。
在 JSON 檔案中,會透過單一行呈現每個記錄,如以下範例所示:
{ "book_id": 123, "title": "Alice in Wonderland", "price": 6.99, "is_hardcover": false }
{ "book_id": 456, "title": "Winnie the Pooh", "price": 6.49, "is_hardcover": true }
{ "book_id": 789, "title": "The Cat in the Hat", "price": 7.23, "is_hardcover": true }
另請參閱:內容類型和內容編碼屬性
- 若您選擇 JSON 或 Parquet 格式,將會隱藏下列欄位,因為這只與 CSV 格式相關:欄位分隔符號、記錄分隔符號、Null 值、引號字元、引號逸出字元和新增中繼資料標頭。
- 下列欄位只與 Parquet 格式相關:Parquet 版本、Parquet 時間戳記單位和 Parquet LOB 大小上限 (KB)。
如需關於使用 Parquet 格式和限制時的資料類型對應的資訊,請參閱 Mapping from Qlik Cloud data types to Parquet
欄位分隔符號
將會用來在目標檔案中分隔欄位 (欄) 的分隔符號。預設為逗號。
使用逗號作為分隔符號的範例:
"mike","male"
分隔符號可以是標準字元或十六進位值。請注意,「0x」前置詞必須用來表示十六進位分隔符號 (例如 0x01 = SOH0x01 = SOH)。在欄位分隔符號、記錄分隔符號和 Null 值欄位中,分隔符號可以包含串連的十六進位值 (例如 0x0102 = SOHSTX),其中在引號字元和引號逸出字元欄位中,只能是單一十六進位值。
不支援十六進位數字 0x00 (亦即僅支援 0x01-0xFF)。
Null 值
將會用來在目標檔案中指示 Null 值的字串。
範例 (其中 \n 是記錄分隔符號,而 @ 是 Null 值):
記錄分隔符號
將會用來在目標檔案中分隔記錄 (列) 的分隔符號。預設為新行 (\n)。
範例:
引號字元
將會在文字欄的開頭和結尾使用的字元。預設為雙引號字元 (")。若以雙引號括起包含欄分隔符號的欄,則會將欄分隔符號字元解譯為實際資料,而不是解譯為欄分隔符號。
範例 (其中 @ 是引號字元):
引號逸出字元
用來在實際資料中逸出引號字元的字元。預設為雙引號字元 (")。
範例 (其中 " 是引號字元,而 \ 是逸出字元):
Parquet 版本
根據目標平台支援哪個版本,選取要使用哪個版本。請注意,Parquet 版本 1.0 僅支援 MICRO 時間戳記單位,而 Parquet 版本 2.6 支援 MICRO 和 NANO 時間戳記單位。
Parquet 時間戳記單位
若 Parquet 版本設定為 2.6,選擇 MICRO 或 NANO。若 Parquet 版本設定為 1.0,只會支援 MICRO。
Parquet 最大 LOB 大小 (KB)
預設的最大 LOB 大小為 64 KB,而您可以在欄位中輸入的最大值為 10,000 KB。處理 LOB 欄需要更大的資源,這反過來會影響效能。增加此值的唯一方式是複寫大於 64 KB 的 LOB 資料,且您需要所有 LOB 資料都複寫至目標。
檔案大小上限
檔案在關閉之前可達到的大小上限 (可選擇壓縮檔案)。
檔案在關閉之前可達到的大小上限。較小的檔案可能上傳得更快 (取決於網路),並且可在結合平行執行選項使用時改善效能。不過,以小檔案叢集資料庫通常被視為不良做法。
使用以下內容壓縮檔案
選擇壓縮選項之一以壓縮目標檔案,或選擇無 (預設) 保持不壓縮。請注意,可用的壓縮選項透過所選的檔案格式來判定。
新增中繼資料標頭
您可以選擇將標頭列新增至資料檔案。標頭列可以包含來源欄名稱和/或中繼 (亦即Qlik Talend Data Integration) 資料類型。
選取具有欄名稱和具有資料類型時含標頭列的目標檔案範例:
Position:DECIMAL(38,0),Color:VARCHAR(10)
1,"BLUE"
2,"BROWN"
3,"RED"
...
變更處理
此區段描述變更處理中的條件式設定。
在下列情況套用/儲存變更
中繼資料檔案
若選取在目標資料夾中建立中繼資料檔案選項,則對於每個資料檔案,將會在指定的目標資料夾之下建立具有 .dfm 副檔名的相符中繼資料檔案。中繼資料檔案提供關於任務/資料的其他資訊,例如來源連接器類型、來源表格名稱、資料檔案中的記錄數量等。
如需中繼資料檔案的完整描述以及可能的使用情況,請參閱 中繼資料檔案描述
中繼資料
LOB 欄
納入 LOB 欄並將欄大小限制為 (KB)
您可選擇在任務中納入 LOB 欄,以及設定最大 LOB 大小。將會截斷大於最大大小的 LOB。
JSON 欄對應
將相容的來源 JSON 欄對應至目標的 JSON 欄
-
若您使用 資料移動閘道 存取資料來源,則需要版本 2024.11.70 或更高版本。
選取此選項時,來源上的 JSON 欄位將自動對應至目標上的 JSON 欄位。
此選項的狀態和可見性由下列因素決定:
-
新任務: 如果來源和目標都支援 JSON 資料類型,此選項將預設啟用。
-
現有任務: 此選項預設為停用,即使來源和目標都支援 JSON 資料類型。這是為了保留與下游程序(例如轉換)的向下相容性,這些程序預期目標資料為字串格式(這是舊版行為)。您可以停用該選項,也可以編輯下游流程,使之相容於 JSON 格式,然後啟用此選項。
-
新增和現有任務: 如果只有來源支援 JSON 資料類型,此選項將不可見。如果稍後階段將 JSON 支援新增至目標,該選項將會顯示但保持停用。這是為了保留與下游程序(例如轉換)的向下相容性,這些程序預期目標資料為字串格式(這是舊版行為)。
控制表格
選取您要在目標平台建立下列哪些控制表格:
- 複寫狀態: 提供關於目前登陸任務的詳細資訊,包括任務狀態、任務取用的記憶體量、尚未套用至資料平台的變更數量,以及目前讀取資料的資料來源中的位置。
- 暫停表格: 提供暫停表格清單,以及暫停的原因。
- 登陸歷史記錄: 提供關於任務歷史記錄的資訊,包括登陸任務期間處理的記錄數目和記錄量、CDC 任務結束時的延遲等。
- 變更資料分割: 提供由於 變更資料分割 而在目標資料庫建立的分割記錄。您可以使用此資訊識別需要進一步處理的分割資料。
如需每個控制表格的詳細描述,請參閱 控制表格
完整載入
效能微調
- 要平行載入的表格數量上限:輸入一次載入到目標中的表格數量上限。預設值為 5。
-
交易一致性逾時 (秒):輸入在開始完整載入操作之前,應等待開放的交易關閉的秒數。預設值為 600 (10 分鐘)。將會在達到逾時值之後開始完整載入,即使有仍然開放的交易也是如此。
資訊備註若要複寫完整載入開始時開放但僅在達到逾時值之後認可的交易,您需要載入目標表格。 - 完整載入期間的認可率:可以一起傳輸的事件數量上限。預設值為 10000。
完整載入完成之後
建立主要金鑰或唯一:若您想要在完整載入完成之前,對資料平台延遲主要金鑰或唯一索引建立,請選取此選項。
用於初始載入
| 使用快取的資料 |
此選項可讓您使用透過所選的完整資料掃描產生中繼資料時讀取的快取資料。 這會對 API 使用和配額產生較少的負荷,因為已從來源讀取資料。可以透過變更資料擷取 (CDC) 選取自初始資料掃描以來的任何變更。 |
| 從來源載入資料 |
此選項從資料來源執行新的載入。如有以下情況,此選項很實用:
|
儲存變更
當您選取變更資料擷取 (CDC) 更新方法時,來源資料的更新將會儲存在目標平台上的變更表格中。變更表格會擷取來源中的所有插入、更新和刪除作業,允許下游應用程式增量處理變更。
此區段說明如何配置變更表格選項:DDL 處理、更新影像儲存體,以及表格建立行為。
只有在更新方法為變更資料擷取 (CDC) 時,儲存變更處理才能使用。
對這些設定的任何變更只會在下次執行完整載入時生效。如果您在任務停止時修改這些設定,您必須重新載入目標表格才能套用變更。
如需關於變更表格的深入資訊,請參閱 使用變更表格。
基本設定
DDL 選項
DDL (資料定義語言) 選項決定如何在變更表格中處理來自來源的綱目變更。
-
套用至變更表格:當您選取此選項時,系統會自動將來源表格的 DDL 變更 (例如新增或移除欄) 套用至對應的變更表格。當您的下游應用程式需要變更表格來反映來源的所有結構描述變更時,請使用此選項。
-
忽略:系統會忽略對來源的所有 DDL 變更。變更表格結構保持不變。當來源中的 DDL 變更不應影響已儲存的變更,或您的目標系統需要固定的表格綱要時,請使用此選項。
進階設定
更新時
更新時設定控制當來源記錄更新時擷取哪些資料。
儲存之前和之後影像:系統會擷取原始資料 (更新前) 和修改後的資料 (更新後)。此選項需要更多儲存空間,但提供完整的稽核資訊,讓下游系統能夠比較舊值與新值,或執行複雜的變更分析。當您的應用程式需要完整的變更內容時,請使用此功能。
當此選項停用時,系統只會擷取修改後的資料 (更新後),而非原始值。此選項會減少目標端的儲存需求。當您只需要已變更記錄的目前狀態,而不需要歷史的變更前值時,請使用此功能。
變更表格建立
覆寫預設的變更表格尾碼和標頭欄位前置詞
- 尾碼: 為所有變更表格指定要作為尾碼使用的字串。預設值為 __ct。變更表格名稱是附加尾碼的目標表格名稱。例如,使用預設值時,變更表格的名稱將會是 HR__ct。
- 標頭欄前置詞: 為所有變更表格標頭欄指定要作為前置詞使用的字串。預設值是 header__。例如,使用預設值時,標頭欄 stream_position 將會稱為 header__stream_position。
決定完整載入開始時,如何處理現有變更表格
當完整載入開始時,這些設定會決定如何處理目標上現有的變更表格。選取最符合您資料復原和儲存需求的選項:
-
捨棄並建立:系統會完全移除現有的變更表格,並建立一個新的空白表格。所有先前儲存的變更都已刪除。當您想要在每個完整載入週期中全新開始時,請使用此選項。
-
在現有變更表格中刪除舊的變更並儲存新的變更:系統會清除現有變更表格中的所有資料,而不影響其結構或中繼資料。新的變更儲存在相同的表格中。當您想要保留表格結構但清除先前的變更時,請使用此功能。
-
在現有變更表格中保留舊的變更並儲存新的變更:系統會保留變更表格中所有現有的資料和中繼資料。新的變更會新增至現有資料。當您需要累積跨越多個完整載入週期的所有變更時,請使用此選項。
變更資料分割
在標準登陸任務中 (不含變更資料分割),變更會登陸至目標,沒有特定順序。變更資料分割能夠以一致的方式處理來自許多表格的變更資料。您可以定義分割持續時間以及分割基準時間,藉此確保分割資料的整體一致性 (亦即沒有部分交易、沒有不具訂單列的訂單標頭等)。
關於分割的資訊記錄在目標資料庫的 attrep_cdc_partitions 控制表格中。此資訊可用來識別需要進一步處理的分割資料。
了解分割如何根據來源類型運作
-
來自資料庫來源:
在標準登陸任務中 (不含變更資料分割),變更會登陸至目標,沒有特定順序。變更資料分割能夠以一致的方式處理來自許多表格的變更資料。您可以定義分割持續時間以及分割基準時間,藉此確保分割資料的整體一致性 (亦即沒有部分交易、沒有不具訂單列的訂單標頭等)。
-
排定的 CDC:當排定的任務執行個體執行時,會建立分割區。因此,舉例來說,如果某個任務排定每天午夜執行,且 分割頻率 設定為 4 小時,則建立的分割區數量將代表過去 24 小時內發生提交的時間。如果提交發生在 01:00-03:00 和 16:15-18:00,且 分割基準時間 設定為 0:00,則會建立兩個分割:0:00-04:00 和 16:00-20:00。
-
持續 CDC: 如果「分割間隔」設定為 4 小時,Replicate 會每 4 小時建立一個分割區,其中包含該期間發生的所有提交。如果在 4 小時內沒有任何提交,則該期間不會建立任何分割區。
-
-
從 SaaS 應用程式來源:
從 SaaS 應用程式來源擷取資料的任務總是按排程執行。分割區是根據資料擷取時間,因為提交的概念不存在於 SaaS 應用程式來源。資料擷取在排程的任務實例執行時開始。因此,舉例來說,如果某個任務排定每天午夜執行,且 每次分割 設定為 4 小時,則建立的分割區數量將代表資料擷取持續時間。如果資料擷取時間少於兩小時,將會建立單一分割區。但是如果擷取需要六小時 (例如),將會建立兩個分割區。
分割選項
-
分割間隔 - 指定每次分割的長度 (單位為小時和分鐘)。
資訊備註建議指定超過一小時的分割長度。雖然指定不到一小時的分割長度可能會改善延遲,但在目標上建立許多分割也可能會影響 (目標) 效能 (尤其是在具有大量變更的系統中)。
若您從建立上一個分割的時間之前繼續任務,資料湖登陸任務將會寫入到已關閉的分割。
- 分割基準時間 - 在 24 小時期間建立分割,這以 UTC 時間根據來源資料庫指定的「分割基準時間」來計算 (使用 UTC 時間)。例如,分割間隔 8 小時搭配「分割基準時間」02:00 將會建立下列分割:02:00-10:00、10:00-18:00、18:00-02:00 - 但不一定是該順序。例如,若任務在 01:00 建立,則首次分割的時間範圍將會是 18:00-02:00。此外,若任務在分割中間建立 (例如在 04:00),其變更資料也會插入 02:00-10:00 分割中 (即使在 04:00 之前沒有擷取任何變更)。
表格標頭欄
您無法在任務執行時新增或移除欄。若要修改您的欄位選取,請停止任務,更新您的偏好設定,然後重新載入目標表格。
變更表格包含具有可設定前置詞的系統中繼資料欄。依預設,這些欄會以header__為前置詞 (例如,header__stream_position、header__operation)。這些欄位提供關於每個變更記錄的資訊,例如操作類型 (插入、更新、刪除) 以及變更發生的順序。
您可以從變更表格中排除特定的標頭欄,如果您不需要該中繼資料。這可減少在目標平台上的儲存需求。
啟用 變更資料分割 後,系統會自動將名為 partition_name 的額外系統欄新增至變更表格,並在 UI 中自動選取。由於此欄為分割區追蹤所需,無法排除。
處理時發生錯誤
資料錯誤
僅變更資料擷取 (CDC) 更新方法支援資料錯誤處理。
資料截斷錯誤
對於資料截斷錯誤:選取當截斷發生於一個或多個特定記錄時,您想要發生的事項。您可以從清單中選取下列內容之一:
- 忽略:任務會繼續並忽略錯誤。
- 暫停表格:任務會繼續,但具有錯誤記錄之表格中的資料會移至錯誤狀態,並且不會複寫其資料
- 停止任務:任務會停止,需要手動干預。
其他資料錯誤
對於其他資料錯誤:選取當錯誤發生於一個或多個特定記錄時,您想要發生的事項。您可以從清單中選取下列內容之一:
- 忽略:任務會繼續並忽略錯誤。
- 暫停表格:任務會繼續,但具有錯誤記錄之表格中的資料會移至錯誤狀態,並且不會複寫其資料
- 停止任務:任務會停止,需要手動干預。
呈報資料錯誤處理
在達到其他資料錯誤 (每個表格) 時呈報錯誤處理:選取此核取方塊,以在非截斷資料錯誤數量 (每個表格) 達到指定量時呈報錯誤處理。有效值為 1-10,000。
呈報動作:選擇呈報錯誤處理時應發生什麼事。請注意,可用動作取決於從上述對於其他資料錯誤下拉式清單中選取的動作。
-
暫停表格 (預設):任務會繼續,但具有錯誤記錄之表格中的資料會移至錯誤狀態,並且不會landed其資料。
- 停止任務:任務會停止,需要手動干預。
表格錯誤
遇到表格錯誤時:從下拉式清單選取下列內容之一:
- 暫停表格 (預設):任務會繼續,但具有錯誤記錄之表格中的資料會移至錯誤狀態,並且不會複寫其資料
- 停止任務:任務會停止,需要手動干預。
在表格錯誤達到時呈報錯誤處理 (每個表格):選取此核取方塊,以在表格錯誤數量 (每個表格) 達到指定量時呈報錯誤處理。有效值為 1-10,000。
呈報動作:表格錯誤的呈報政策設定為停止任務且無法變更。
環境
-
重試計數上限:選取此選項,然後指定在可修復的環境錯誤發生時重試任務的嘗試次數上限。在重試任務達到指定次數之後,任務會停止,需要手動干預。
若絕對不要重試任務,清除核取方塊或指定「0」。
若要重試任務無限次數,指定「-1」
-
重試嘗試之間的間隔 (秒):使用計數器以選取或輸入系統在每次嘗試重試任務之間等待的秒數。
有效值為 0-2,000。
-
- 對長時間中斷增加重試間隔:選取此核取方塊以對長時間中斷增加重試間隔。若啟用此選項, 會加倍每次重試嘗試之間的間隔,直到達到重試間隔上限為止 (並根據指定的間隔上限繼續重試)。
- 重試間隔上限 (秒):在啟用對長時間中斷增加重試間隔選項時,使用計數器以選取或輸入每次嘗試重試任務之間等待的秒數。有效值為 0-2,000。
變更處理微調
交易卸載微調
-
對磁碟的卸載交易進行中,條件是:
通常會將交易資料保留在記憶體中,直到對來源或目標完全認可為止。不過,大於配置記憶體或未在指定期限內認可的交易將會卸載到磁碟。
- 所有交易記憶體總大小超過 (MB):在卸載到磁碟之前,所有交易可以在記憶體中占用的大小上限。預設值為 1024。
- 交易期間超過 (秒):在卸載到磁碟之前,每筆交易可以在記憶體中停留的時間上限。持續時間是從 Qlik Talend Data Integration 開始擷取交易的時間計算。預設值為 60。
批次微調
-
每個交易的變更數量下限:要在每個交易中納入的變更數量下限。預設值為 1000。
資訊備註若變更數量等於或大於每個交易的變更數量下限值,或者若達到套用之前的批次交易時間上限 (秒) 值 (以先發生者為主), 會將變更套用至目標。因為套用至目標的變更頻率由這兩個參數控制,對來源記錄的變更可能不會立即反映在目標記錄中。
- 套用之前的批次交易時間上限 (秒):宣告逾時之前批次收集交易的時間上限。預設值為 1。
間隔
-
讀取變更間隔 (分鐘)
設定從來源讀取變更之間的間隔,單位為分鐘。有效範圍為 1 至 1440。
資訊備註此選項僅適用於使用以下方式的任務:
- 資料移動閘道
- 變更資料擷取 (CDC) 更新方法
查看變更
-
根據差異擷取間隔:選取此選項時,資料任務會根據差異擷取間隔檢查變更。
資訊備註每個「回合」結束後,間隔就會開始。一個回合可定義為資料任務從來源表格讀取變更並將其傳送至目標所需的時間 (作為單一交易)。回合的長度會根據表格和變更的數量而異。因此,如果您指定 10 分鐘的間隔,而一個回合需要 4 分鐘,則檢查變更之間的實際時間將為 14 分鐘。-
差異擷取間隔: 從您的系統中擷取差異的頻率。預設為每 60 秒一次。
-
-
依排程:選取此選項時,資料任務將擷取差異一次,然後停止。然後將依排程繼續執行。
資訊備註此選項僅在 CDC 週期之間的間隔為 24 小時或更長時間時才相關。如需排程資訊:
-
複寫專案中的「在資料湖中登陸資料」任務,請參閱 排程湖登陸任務的 CDC
-
雜項微調
- 陳述式快取大小 (陳述式數量): 要儲存在伺服器以供之後執行的所準備之陳述式數量上限 (將變更套用至目標時)。預設為 50。上限為 200。
-
更新主索引鍵欄位時的 DELETE 和 INSERT: 此選項需要在來源資料庫中開啟完全補充記錄。
資訊備註此設定不適用於使用 SaaS 應用程式連接器 的任務,除非是精簡版連接器。
自動結構描述演進
選取如何處理結構描述中以下類型的 DDL 變更。變更結構描述演進設定後,您必須重新準備任務。下表描述了哪些動作可用於支援的 DDL 變更。
| DDL 變更 | 套用至目標 | 忽略 | 暫停表格 | 停止任務 |
|---|---|---|---|---|
| 新增欄 | 是 | 是 | 是 | 是 |
| 重新命名欄 | 否 | 否 | 是 | 是 |
| 重新命名表格 | 否 | 否 | 是 | 是 |
| 變更欄資料類型 | 否 | 是 | 是 | 是 |
| 建立表格
如果您使用選取規則新增與模式相符的資料集,則會偵測到並新增符合該模式的新表格。 |
是 | 是 | 否 | 否 |
字元替代
您可以替代或刪除目標資料庫中的來源字元,以及/或您可以替代或刪除所選字元集合不支援的來源字元。
-
必須指定所有字元作為 Unicode 字碼指標。
- 也會在控制表格執行字元替代。
-
將會透過表格儲存格右上方的紅色三角形指示無效的值。將滑鼠游標暫留在三角形上方,將會顯示錯誤訊息。
-
將會在字元替代完成之後,執行為任務定義的任何表格層級或全域轉換。
-
會在替代或刪除所選字元集合不支援的來源字元表格中定義的替代動作之前,執行替代或刪除來源字元表格中定義的替代動作。
- 字元替代不支援 LOB 資料類型。
替代或刪除來源字元
使用替代或刪除來源字元表格,以定義更換特定來源字元。例如,若 Unicode 字元表示法在來源和目標平台不同,這可能會很實用。例如,在 Linux,Shift_JIS 字元集合中的減號字元以 U+2212 表示,但在 Windows 則以 U+FF0D 表示。
| 至 | 進行此 |
|---|---|
|
定義替代動作。 |
|
|
編輯指定的來源或目標字元 |
按一下列末尾的 |
|
從表格中刪除項目 |
按一下列末尾的 |
替代或刪除所選字元集合不支援的來源字元
使用字元集合不支援的來源字元表格,為所選字元集合不支援的所有字元定義單一替換字元。
| 至 | 進行此 |
|---|---|
|
定義或編輯替代動作。 |
|
|
停用替代動作。 |
從字元集合下拉式清單中選取空白項目。 |
平行載入資料集區段
在完整載入期間,您可以將資料集分成多個平行載入的區段,以加速大型資料集的載入。表格可以按照資料範圍、所有分割、所有子分割或特定分割進行分割。
如需詳細資訊,請參閱平行複寫資料集區段。
更多選項
不會在 UI 中暴露這些選項,因為這僅與特定版本或環境相關。因此,請勿設定這些選項,除非 Qlik 支援或產品文件明確指示這麼做。
若要設定選項,只要在新增特徵名稱欄位中複製選項並按一下新增即可。然後根據您收到的說明設定值或啟用選項。
排程湖登陸任務的 CDC
在以下使用案例中,您必須定義排程間隔,以將目標資料保持在最新狀態:
- 在沒有 資料移動閘道 的情況下存取資料來源
- 使用不是 精簡版連接器 的 SaaS 應用程式連接器。
- 當使用 依排程 選項從 SAP OData 來源擷取變更時。
排程決定透過來源資料集變更更新目標資料集的頻率。排程決定更新頻率,而資料集類型則決定更新方法。若資料集支援 CDC,只會擷取該資料集的變更並傳播至對應的目標表格。若資料集不支援 CDC (例如檢視畫面),則會透過重新載入整個資料集來傳播變更。使用 SaaS 應用程式連接器,將建立單一任務,能夠在上線期間以及稍後在任務的排程設定中排程 CDC 間隔和重新載入間隔。當使用其他連接器類型 (例如,資料庫) 搭配 CDC 更新方法時,若部分選取的資料集支援 CDC 而部分不支援,將會建立兩個獨立的子任務:一個用於擷取支援 CDC 的資料集變更,另一個用於重新載入不支援 CDC 的資料集。
若要變更排程:
-
開啟您的管道專案,然後執行下列其中一項:
- 在任務檢視中,按一下
在資料任務上並選取 排程。
- 在管道檢視中,按一下
在資料任務上並選取 排程。
- 開啟複寫任務並按一下排程工具列按鈕。
- 在任務檢視中,按一下
- 根據需求變更排程設定,然後按一下確定。
根據 資料移動閘道 執行遺漏的任務執行。
有時候,網路問題可能會導致與 資料移動閘道 的連線遺失。如果在下次排定的執行之前未還原與 資料移動閘道 的連線,則資料任務將無法按預定執行。在這種情況下,您可以選擇是否要在還原連線後立即執行。
所有 資料移動閘道 的預設設定在 管理 活動中心定義。您可以如下所述覆寫個別任務的這些設定。
若要執行此動作
-
開啟專案,然後進行下列事項之一:
-
在任務檢視中,按一下
在資料任務上並選取 排程。
-
在管道檢視中,按一下
在資料任務上並選取 排程。
-
開啟資料任務並按一下排程 工具列按鈕。
排程 - <task> 對話方塊隨即開啟。
-
-
開啟對此任務使用自訂設定。
-
在對話方塊底部,選擇下列其中一個執行錯過的排程任務選項。
-
如果務必在下一個排程執行個體之前執行任務,則盡快執行,然後按排程執行
-
依排程在下一個排程實例執行任務
-
-
儲存設定。
另請參閱:執行錯過排程後的任務執行。