複寫設定

您可以設定資料複寫任務的設定。

• 開啟複寫任務，然後按一下工具列中的 設定 。

設定：<Task-Name> 對話方塊隨即開啟。可用的設定說明如下。

一般

在此索引標籤中，您可以變更複寫模式、預備設定 (可用時)、將變更套用至目標的模式，以及發佈設定。

複寫模式

提供下列複寫模式：

• 完整載入：將資料從所選來源表格載入到目標平台，並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生，但如有需要，也可以手動執行。例如，如果您需要將更新複寫到檢視 (未在 CDC 期間擷取) 或您正在從不支援 CDC 的資料來源複寫，則需要手動完整載入。

• 套用變更：以對來源表格所做的任何變更更新目標表格。

• 儲存變更：在變更表格 (每個來源表格一個)中將變更儲存至來源表格。

  如需詳細資訊，請參閱儲存變更。

使用 資料移動閘道 時，會幾乎即時地從來源擷取變更。在沒有 資料移動閘道 的情況下工作時 (例如透過 Qlik Talend Cloud 啟動器 訂閱或選取無時)，會根據排程器設定擷取變更。如需詳細資訊，請參閱 複寫設定。

如果您選取 儲存變更 或 套用變更，且您的來源資料包含不支援 CDC 的資料表或檢視，則會建立兩個資料管道。一個管道用於支援 CDC 的資料表，另一個管道用於僅支援 完整載入 的所有其他資料表和檢視。

載入方法

複寫至 Snowflake 時，您可以選擇下列其中一種載入方法：

• 大量載入 (預設)

  如果您選取 大量載入，您將能夠在 資料上傳 索引標籤中調整載入參數。

• Snowpipe 串流

  資訊備註

  只有在符合下列條件時，才能選取 Snowpipe 串流：

  • 已啟用 儲存變更 複寫模式，且沒有 套用變更。
  • Snowflake 連接器中的 驗證機制 設為 金鑰組。
  • 如果您使用 資料移動閘道，則需要 2024.11.45 或更新版本。

  如果您選取 Snowpipe 串流，請確定您熟悉使用此方法時的限制和考量事項。此外，如果您選取 Snowpipe 串流，然後啟用 套用變更 複寫模式或停用 儲存變更，載入方法將會自動切換回 大量載入。

選擇 Snowpipe 串流 而非 大量載入 的主要原因為：

• 成本較低：由於 Snowpipe 串流不使用 Snowflake 倉儲，因此營運成本應該會便宜許多，不過這將取決於您的特定使用案例。

• 減少延遲：由於資料會直接串流至目標資料表 (而非透過預備區)，因此從資料來源到目標的複寫速度應該會更快。

連線至預備區

複寫至下列資料倉庫時，您需要設定暫存區域。會先在暫存區域中處理並準備資料，再傳輸至倉庫。

• Amazon Redshift
• Microsoft Fabric
• Databricks

選取現有的暫存區域，或按一下新建以定義新的暫存區域，並按照 連線至雲端儲存空間 中的說明。

若要編輯連線設定，按一下編輯。若要測試連線 (建議)，按一下測試連線。

如需資料倉庫支援哪些暫存區域的資訊，請參閱 目標平台使用案例和支援版本 中的作為暫存區域受到支援欄。

套用變更模式

使用下列其中一種方法將變更套用至目標資料表：

• 批次最佳化：此為預設。若選取此選項，會在批次中套用變更。會發生前置處理動作，以最有效率的方式將交易組成批次。
• 交易：選取此選項以認可順序個別套用每筆交易。在此情況下，會為所有表格確保嚴格參考完整性。

發佈設定

• 發佈至目錄

  選取此選項可將此版本的資料發佈至 目錄 作為資料集。下次您準備此任務時，將會更新目錄內容。

  如需有關目錄的詳細資訊，請參閱 使用目錄工具理解資料。

使用 資料移動閘道 時的 Proxy 設定

• 使用 Data Movement gateway 時，透過 Proxy 連線至

  使用 資料移動閘道 時，您可以透過 Proxy 連線至目標平台和預備平台 (區域)。

  如需有關設定 資料移動閘道 以使用 Proxy 伺服器的詳細資訊，請參閱 設定 Qlik Cloud 租用戶和 Proxy 伺服器。

  • 目標平台

    資訊備註使用 Snowflake 和 Databricks 時可用。

  • 預備平台

    資訊備註使用 Google BigQuery、Amazon Redshift、Microsoft Fabric 和 Databricks 時可用。

資料上傳

只有在複寫至資料倉儲或 Kafka 目標時，才會顯示此索引標籤。此外，此索引標籤中的設定會根據選取的目標而有所不同。

與所有資料倉儲目標相關

檔案大小上限

檔案在關閉之前可達到的大小上限。較小的檔案可能上傳得更快 (取決於網路)，並且可在結合平行執行選項使用時改善效能。不過，以小檔案叢集資料庫通常被視為不良做法。

僅與 Snowflake 目標相關

在 一般 索引標籤中，您可以選取要使用 大量載入 還是 Snowpipe 串流 將資料載入至 Snowflake。選取 Snowpipe 串流 時，將不會顯示 資料上傳 索引標籤。選取 大量載入 時，將提供下列設定：

• 檔案大小上限 (MB)：與初始完整載入和 CDC 相關。檔案在載入至目標之前可達到的最大大小。如果您遇到效能問題，請嘗試調整此參數。

• 批次載入的檔案數：僅與初始完整載入相關。單一批次中要載入的檔案數。如果您遇到效能問題，請嘗試調整此參數。

如需 大量載入 和 Snowpipe 串流 載入方法的說明，請參閱 一般。

僅與 Kafka 目標相關

訊息屬性

壓縮

選擇性地選取其中一種可用的壓縮方法 (Snappy 或 Gzip)。預設為 無。

資料訊息發佈

選擇下列其中一個 將資料發佈至 選項：

• 特定主題：將資料發佈至單一主題。輸入主題名稱，或使用瀏覽按鈕選取所需的主題。

• 每個資料表有獨立的主題：將資料發佈至對應於來源資料表名稱的多個主題。

  目標 topic 名稱由來源結構描述名稱和來源資料表名稱組成，並以句點分隔 (例如，dbo.Employees)。目標 topic 名稱的格式很重要，因為您需要事先準備這些 topic。

如需在資料集層級覆寫此設定的資訊，請參閱 發佈至 Kafka 時覆寫個別資料集的任務設定

訊息金鑰

選取其中一個可用的選項。

• 主索引鍵欄：對於每則訊息，訊息金鑰將包含主索引鍵欄的值。

  當選取 依訊息金鑰 作為 分割區策略 時，包含相同主索引鍵值的訊息將寫入相同的分割區。

• 結構描述和資料表名稱：對於每則訊息，訊息金鑰將包含結構描述和資料表名稱的組合 (例如，dbo+Employees)。

  當選取 依訊息金鑰 作為 分割區策略 時，包含相同結構描述和資料表名稱的訊息將寫入相同的分割區。

• 無：建立沒有訊息金鑰的訊息。

如需在資料集層級覆寫此設定的資訊，請參閱 發佈至 Kafka 時覆寫個別資料集的任務設定

分割區策略

選取 隨機 或 依訊息金鑰。如果您選取 隨機，每則訊息將寫入隨機選取的分割區。如果您選取 依訊息金鑰，訊息將根據選取的 訊息金鑰 (如上所述) 寫入分割區。

中繼資料訊息發佈

主體名稱策略

選取其中一個可用的主體名稱策略。

• 結構描述和資料表名稱 (預設)
• 主題名稱
• 記錄名稱
• 主題和記錄名稱

如需有關 Confluent 主體名稱策略的詳細資訊，請參閱 主體名稱策略

主體相容性模式

從 主體相容性模式 下拉式清單中選取下列其中一種相容性模式：

• 使用 Schema Registry 預設值：從 Schema Registry 伺服器設定擷取相容性層級。

• 向後 - 僅限最新結構描述：新結構描述只能讀取對應的資料和由最新註冊的結構描述所產生的資料。

• 向後傳遞 - 所有先前的結構描述：新結構描述可以讀取由所有先前註冊的結構描述所產生的資料。

• 向前 - 僅限最新結構描述：最新註冊的結構描述可以讀取由新結構描述所產生的資料。

• 向前傳遞 - 所有先前的結構描述：所有先前註冊的結構描述都可以讀取由新結構描述所產生的資料。

• 完整 - 僅限最新結構描述：新結構描述與最新註冊的結構描述向後和向前相容。

• 完整傳遞 - 所有先前的結構描述：新結構描述與所有先前註冊的結構描述向後和向前相容。

• 無

使用 Proxy 連線至 Confluent Schema Registry

如果您的 資料移動閘道 已設定為使用 Proxy 伺服器，請開啟此選項。

訊息屬性

您可以指定自訂訊息屬性，這將會覆寫預設訊息屬性。如果取用者應用程式需要以特定格式處理訊息，這會很有用。

自訂訊息屬性可以在任務和資料表層級定義。當屬性在任務和資料表層級都有定義時，為資料表定義的訊息屬性將優先於為任務定義的訊息屬性。

如需在資料集層級覆寫訊息屬性的資訊，請參閱 發佈至 Kafka 時覆寫個別資料集的任務設定

一般規則和使用準則

定義自訂訊息時，請務必考量下列規則和使用準則。

區段名稱

適用下列命名規則：

• 區段名稱必須以字元 a-z、A-Z 或 _ (底線) 開頭，然後可以接著下列任何字元：a-z、A-Z、0-9、_
• 除了 記錄名稱 和 金鑰名稱區段 (不以斜線結尾) 之外，從區段名稱中移除斜線將會壓平合併相關聯區段的階層 (請參閱下方的 斜線)。
• 除了 記錄名稱 和 金鑰名稱 之外的所有區段名稱都可以刪除 (請參閱下方的 刪除)

• 資料名稱 和 包含記錄之前資料 區段名稱不能同時刪除

• 資料名稱 和 包含記錄之前資料 區段名稱不能相同

斜線

UI 中的某些區段名稱以斜線結尾 (例如 beforeData/)。斜線的目的是維持訊息內不同區段的階層。如果移除斜線，將會發生下列情況：

• 該區段的階層式結構將會被壓平合併，導致區段名稱從訊息中移除
• 區段名稱將會直接或使用您附加至名稱的分隔字元 (例如底線) 作為實際中繼資料的前置詞

使用斜線指定 headers/ 時的資料訊息範例：

		"message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,
		        "headers": {
			"operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

使用底線而非斜線指定 headers_ 時的資料訊息範例：

		"message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,                     
                       "headers_operation": "INSERT",
			"headers_changeSequence": "2018100811484900000000233",

刪除

從訊息中刪除區段名稱將會壓平合併該區段的階層式結構。這將導致該區段的所有資料直接顯示在前面區段的內容下方。

具有 headers 區段名稱的資料訊息範例：

	        "message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
		        "headers": {
			"operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

沒有 headers 區段名稱的資料訊息範例：

	        "message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,                   
                       "operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

變數

您可以按一下資料列結尾的 按鈕，將變數新增至名稱。提供下列變數：

• SERVER_NAME - 資料移動閘道 伺服器的主機名稱
• TARGET_TABLE_NAME - 資料表的名稱
• TARGET_TABLE_OWNER - 資料表擁有者
• TASK_NAME - 資料任務的名稱

定義自訂訊息屬性

若要定義自訂訊息格式，請開啟 使用自訂設定，並如下表所述設定選項。

若要還原為預設訊息屬性，請關閉 使用自訂設定。

其他設定

• 訊息大小上限

  在 訊息大小上限 欄位中，指定代理程式設定為接收的訊息大小上限 (message.max.bytes)。資料任務不會傳送大於大小上限的訊息。

中繼資料

基本

• 目標資料表結構描述

  如果您不想使用來源資料表結構描述 (或來源資料庫中沒有結構描述)，來源資料表將複寫至目標上的此結構描述。

  資訊備註複寫至 Oracle 目標時，預設目標資料表結構描述為 "system"。另請注意，如果您將此欄位保留空白 (在這種情況下將使用來源結構描述)，您必須確定來源結構描述已存在於目標上。否則，任務將會失敗。
  資訊備註結構描述名稱允許的最大長度為 128 個字元。

JSON 欄對應

將相容的來源 JSON 欄對應至目標的 JSON 欄

選取此選項時，來源上的 JSON 欄位將自動對應至目標上的 JSON 欄位。

此選項的狀態和可見性由下列因素決定：

• 新任務：如果來源和目標都支援 JSON 資料類型，此選項將預設啟用。

• 現有任務：此選項預設為停用，即使來源和目標都支援 JSON 資料類型。這是為了保持與下游處理程序（例如轉換）的向後相容性，這些程序預期目標資料為 STRING 格式（這是舊版行為）。您可以停用該選項，也可以編輯下游流程，使之相容於 JSON 格式，然後啟用此選項。

• 新增和現有任務：如果只有來源支援 JSON 資料類型，此選項將不可見。如果稍後階段將 JSON 支援新增至目標，該選項將會顯示但保持停用。這是為了保留與下游程序（例如轉換）的向下相容性，這些程序預期目標資料為字串格式（這是舊版行為）。

LOB 設定

可用的 LOB 設定會根據選取的複寫目標而有所不同。由於資料倉儲目標不支援無限制的 LOB 欄大小，因此複寫至資料倉儲時將無法使用此選項。

非資料倉儲目標的 LOB 設定

• 不包含 LOB 欄：如果您不希望複寫來源 LOB 欄，請選取此選項。

• 將 LOB 欄大小限制為 (KB)：這是預設值。如果您只需要複寫小型 LOB，或目標平台不支援無限制的 LOB 大小，請選取此選項。此欄位允許的最大值為 102400 KB (100 MB)。

  複寫小型 LOB 時，此選項比 不限制 LOB 欄大小 選項更有效率，因為 LOB 是以「內嵌」方式複寫，而非透過從來源「查閱」。在變更處理期間，小型 LOB 通常是透過從來源「查閱」來複寫。

  此限制適用於從來源端點讀取的 LOB 位元組數。 對於 BLOB 欄，目標 BLOB 大小將完全符合指定的限制。 對於 CLOB 和 NCLOB 欄，如果來源和目標 LOB 沒有相同的字元集，目標 LOB 大小可能會與指定的限制不同。在這種情況下，資料任務將執行字元集轉換，這可能會導致來源和目標 LOB 大小之間出現差異。

  由於將 LOB 大小限制為的值是以位元組為單位，因此應根據下列公式計算大小：

  • BLOB：最大 LOB 的長度。
  • NCLOB：最長 TEXT 的字元長度乘以二 (因為每個字元都視為雙位元組處理)。 如果資料包含 4 位元組字元，請將其乘以四。
  • CLOB：最長 TEXT 的字元長度 (因為每個字元都視為 UTF8 字元處理)。 如果資料包含 4 位元組字元，請將其乘以二。
  資訊備註

  • 任何大於指定大小的 LOB 都將被截斷。
  • 在從 Oracle 來源進行變更處理期間，內嵌 BLOB 會以內嵌方式複寫。
  • 對此設定的變更只會在重新載入現有資料表後才會影響它們。

• 不限制 LOB 欄大小：選取此選項時，將會複寫 LOB 欄，無論大小為何。

  資訊備註複寫 LOB 欄可能會影響效能。對於需要複寫任務從來源資料表執行查閱以擷取來源 LOB 值的大型 LOB 欄，情況尤其如此。

  • 當 LOB 大小於下列值時最佳化：當您需要複寫小型和大型 LOB，且大部分 LOB 都是小型時，請選取此選項。

    資訊備註

    此選項僅支援下列來源和目標：

    • 來源：Oracle、Microsoft SQL server、MySQL、PostgreSQL 和 IBM DB2 for LUW

    • 目標： Oracle、Microsoft SQL Server、MySQL、PostgreSQL。

    選取此選項時，在完整載入期間，小型 LOB 將以「內嵌」方式複寫 (這更有效率)，而大型 LOB 將透過從來源資料表執行查閱來複寫。不過，在變更處理期間，小型和大型 LOB 都將透過從來源資料表執行查閱來複寫。

    資訊備註

    選取此選項時，複寫任務將檢查所有 LOB 大小，以決定哪些 LOB 要以「內嵌」方式傳輸。大於指定大小的 LOB 將使用完整 LOB 模式進行複寫。

    因此，如果您知道大部分 LOB 都大於指定的設定，最好改用 複寫無限制的 LOB 欄 選項。

  • 區塊大小 (KB)：您可以選擇變更將資料複寫到目標時要使用的 LOB 區塊大小。預設區塊大小在大多數情況下應該足夠，但如果您遇到效能問題，調整大小可能會改善效能。

    資訊備註

    對於某些資料庫，在插入或更新資料時會發生資料類型驗證。在這種情況下，如果資料大於指定的區塊大小，結構化資料類型 (例如 XML、JSON、GEOGRAPHY 等) 的複寫可能會失敗。

支援的資料倉儲目標的 Lob 設定

• 包含 LOB 欄並將欄大小限制為 (KB)：

  您可以選擇在任務中包含 LOB 欄，並設定最大 LOB 大小。大於最大大小的 LOB 將被截斷。

進階

控制表設定

• 控制表結構描述：如果您不希望在來源結構描述 (預設) 或目標結構描述中建立控制表，請指定控制表的目標結構描述。

  資訊備註結構描述名稱允許的最大長度為 128 個字元。
• 在資料表空間中建立目標控制表： ​ 若複寫目標是 Oracle，請指定您要建立目標控制表格的表格空間。若您沒有在此欄位中輸入任何資訊，將會在目標資料庫的預設表格空間中建立表格。
• 在資料表空間中為目標控制表建立索引：若複寫目標是 Oracle，請指定您要建立控制表格索引的表格空間。若您沒有在此欄位中輸入任何資訊，將會在與控制表格相同的表格空間中建立索引。
• 複寫歷史記錄時段 (分鐘)：複寫歷史記錄 控制表中的每個時段長度。預設為 5 分鐘。

控制表選取

套用變更

只有在啟用套用變更複寫模式時，這些設定才可用。

基本

選取要套用到目標的 DDL 變更類型

下列選項決定在對應來源資料表上執行的 DDL 作業是否也會在目標資料表上執行。

• 卸除資料表：選取以在卸除來源資料表時卸除目標資料表。

  資訊備註當 Kafka 為目標平台時不支援。

• 截斷資料表：選取以在截斷來源資料表時截斷目標資料表。

  資訊備註當 Microsoft Fabric 為目標平台時不支援。

• 修改資料表：選取以在修改來源資料表時修改目標資料表。

  資訊備註當 Kafka 為目標平台時，不支援重新命名資料表。

變更處理調整

• 同時將批次變更套用到多個資料表：在套用來自多個來源資料表的變更時，選取此選項可能會改善效能。

  資訊備註

  此選項僅在下列情況下支援：

  • 套用變更模式設定為批次最佳化。如需詳細資訊，請參閱 複寫設定。
  • 複寫目標不是 MySQL、PostgreSQL、Oracle 和 Google BigQuery。

  • 最大資料表數：同時套用批次變更的最大資料表數。預設為 5，最大為 50，最小為 2。

啟用同時將批次變更套用到多個資料表選項時，適用下列限制：

• 任務錯誤處理原則預設值對於環境和資料表錯誤將保持不變，但資料錯誤和套用衝突錯誤的預設值將如下所示：

  • 資料錯誤：
    • 資料截斷錯誤：將記錄記錄到例外狀況表
    • 其他資料錯誤：暫停資料表
  • 套用衝突錯誤：
    • 刪除：忽略記錄

    • 插入：更新現有的目標記錄

      資訊備註這與 Snowflake 目標無關 (因為 Snowflake 不支援主索引鍵)。
    • 更新：忽略記錄
  • 呈報動作：
    • 不支援資料錯誤和套用衝突的呈報動作。
  • 不支援 attrep_apply_exception 控制表。
  • 對於資料錯誤：
    • 將記錄記錄到例外狀況表選項僅適用於資料截斷錯誤。
    • 沒有忽略選項。
  • 對於套用衝突：
    • 無法使用將記錄記錄到例外狀況表選項。
    • 忽略選項僅適用於找不到套用更新的記錄套用衝突。

另請參閱：錯誤處理。

• 將每個變更處理陳述式套用的變更數限制為：若要限制單一變更處理陳述式中套用的變更數，請選取此核取方塊，然後選擇性地變更預設值。預設值為 10,000。

  資訊備註此選項僅支援下列目標：MySQL、PostgreSQL、Oracle 和 Google BigQuery。

進階

請參閱 變更處理調整。

儲存變更

只有在啟用儲存變更複寫模式時，這些設定才可用。

基本

DDL 選項

選取下列其中一個選項以決定如何處理來源資料表上的 DDL 作業：

• 套用到變更表：對來源資料表的 DDL 作業 (例如新增欄) 將僅套用到對應的變更表。
• 忽略：將忽略對來源資料表的所有 DDL 作業。

進階

更新時

選取儲存之前和之後的映像以儲存更新前資料和更新後資料。未選取時，將僅儲存更新後資料。

變更表建立

下列區段描述在變更表中儲存變更時可用的選項。

• 後置詞：指定要用作所有變更表後置詞的字串。預設值為 __ct。變更表名稱是附加後置詞的目標資料表名稱。例如，使用預設值時，變更表的名稱將為 HR__ct。
• 標頭欄前置詞：指定要用作所有變更表標頭欄前置詞的字串。預設值為 header__。例如，使用預設值時，標頭欄 stream_position 將被稱為 header__stream_position。

如需變更表的詳細資訊，請參閱 使用變更表格。

如果完整載入開始時變更表已存在：選取下列其中一項以決定在完整載入複寫開始時如何載入變更表：

• 卸除並建立變更表：卸除資料表，並在其位置建立新資料表。

• 刪除舊變更並將新變更儲存在現有變更表中：資料被截斷並新增，而不會影響資料表中繼資料。

  資訊備註當 Microsoft Fabric 為目標平台時不支援。
• 保留舊變更並將新變更儲存在現有變更表中：現有變更表的資料和中繼資料不受影響。

資料表標頭欄

變更表格標頭欄提供關於變更處理操作的資訊，例如操作類型 (例如插入)、認可時間等。若您不需要此所有資訊，可以設定 移動 任務，以建立含所選標頭欄 (或完全不含) 的變更表格，藉此降低在目標資料庫中的所占空間。

如需標頭欄的描述，請參閱 變更表格。

錯誤處理

基本

套用衝突

套用 INSERT 時發生重複的索引鍵：選取與 INSERT 作業發生衝突時要採取的動作。

• 忽略：任務繼續，且忽略錯誤。

• 更新現有的目標記錄：更新與插入的來源記錄具有相同主索引鍵的目標記錄。

• 將記錄記錄到例外狀況表 (預設)：任務繼續，且錯誤寫入例外狀況表。

• 暫停資料表：任務繼續，但具有錯誤記錄的資料表資料將移至錯誤狀態，且其資料不會被複寫。

• 停止任務：任務停止，需要手動介入。

找不到套用更新的記錄：選取與 UPDATE 作業發生衝突時要採取的動作。

• 忽略：任務繼續，且忽略錯誤。

• 插入遺失的目標記錄：遺失的目標記錄將插入目標資料表中。當來源端點為 Oracle 時，選取此選項需要為所有來源資料表欄啟用補充記錄。

• 將記錄記錄到例外狀況表 (預設)：任務繼續，且錯誤寫入例外狀況表。

• 暫停資料表：任務繼續，但具有錯誤記錄的資料表資料將移至錯誤狀態，且其資料不會被複寫。

• 停止任務：任務停止，需要手動介入。

進階

資料錯誤

對於資料截斷錯誤：選取當截斷發生於一個或多個特定記錄時，您想要發生的事項。您可以從清單中選取下列內容之一：

• 忽略：任務會繼續並忽略錯誤。
• 將記錄記錄至例外表格 (預設)：任務會繼續，錯誤會寫入到例外表格。
• 暫停表格：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會複寫其資料
• 停止任務：任務會停止，需要手動干預。

對於其他資料錯誤：選取當錯誤發生於一個或多個特定記錄時，您想要發生的事項。您可以從清單中選取下列內容之一：

• 忽略：任務會繼續並忽略錯誤。
• 將記錄記錄至例外表格 (預設)：任務會繼續，錯誤會寫入到例外表格。
• 暫停表格：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會複寫其資料
• 停止任務：任務會停止，需要手動干預。

在達到其他資料錯誤 (每個表格) 時呈報錯誤處理：選取此核取方塊，以在非截斷資料錯誤數量 (每個表格) 達到指定量時呈報錯誤處理。有效值為 1-10,000。

呈報動作：選擇呈報錯誤處理時應發生什麼事。請注意，可用動作取決於從上述對於其他資料錯誤下拉式清單中選取的動作。

• 暫停表格 (預設)：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會已移動其資料。

  資訊備註

  行為根據變更處理模式而異：

  • 在交易套用模式中，將不會已移動上次變更。

  • 在批次最佳化套用模式中，可能有完全不會已移動資料或僅部分已移動資料的情況。

• 停止任務：任務會停止，需要手動干預。
• 將記錄記錄至例外表格：任務會繼續，記錄會寫入到例外表格。

資料表錯誤

傳回表格錯誤前的重試次數

此選項可讓您控制何時觸發表格錯誤處理原則。依預設，遇到表格錯誤後，表格將會暫停或工作將會在三次重試後停止 (根據選取的動作)。有時，會因為 SaaS 應用程式的計劃性維護而發生表格錯誤。在這些情況下，預設的重試次數可能不足以在觸發表格錯誤處理原則之前完成維護。這也取決於工作的排程間隔，因為每次工作執行時都會執行一次重試。因此，例如，如果您排程工作每小時執行一次，且 SaaS 應用程式在工作開始執行時因維護而離線，則預設的三次重試將允許 SaaS 應用程式離線長達三小時，而不會觸發表格錯誤處理原則。更長的維護期間將需要您增加重試次數 (或變更排程)，以防止觸發表格錯誤處理原則。

總而言之，如果您知道您的 SaaS 應用程式會定期維護，最佳做法是根據排程增加重試次數，以便在不觸發表格錯誤處理原則的情況下完成維護。

遇到表格錯誤時：從下拉式清單選取下列內容之一：

• 暫停表格 (預設)：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會複寫其資料
• 停止任務：任務會停止，需要手動干預。

在表格錯誤達到時呈報錯誤處理 (每個表格)：選取此核取方塊，以在表格錯誤數量 (每個表格) 達到指定量時呈報錯誤處理。有效值為 1-10,000。

呈報動作：表格錯誤的呈報政策設定為停止任務且無法變更。

套用衝突

找不到套用刪除的記錄：選取與 DELETE 作業發生衝突時要採取的動作。

• 忽略：任務繼續，且忽略錯誤。
• 將記錄記錄到例外狀況表：任務繼續，且記錄寫入例外狀況表。
• 暫停資料表：任務繼續，但具有錯誤記錄的資料表資料將移至錯誤狀態，且其資料不會被複寫。
• 停止任務：任務停止，需要手動介入。

當套用衝突達到 (每個資料表) 時呈報錯誤處理：選取此核取方塊以在套用衝突數 (每個資料表) 達到指定數量時呈報錯誤處理。有效值為 1-10,000。

呈報動作：選擇呈報錯誤處理時應發生的情況：

• 將記錄記錄到例外狀況表 (預設)：任務繼續，且錯誤寫入例外狀況表。

• 暫停資料表：任務繼續，但具有錯誤記錄的資料表資料將移至錯誤狀態，且其資料不會被複寫。

  資訊備註

  行為會根據變更處理模式而有所不同：

  • 在交易式套用模式中，最後的變更將不會被複寫

  • 在批次最佳化套用模式中，可能會出現沒有資料複寫或資料複寫不完整的情況。

• 停止任務：任務停止，需要手動介入。

環境錯誤

• 重試計數上限：選取此選項，然後指定在可修復的環境錯誤發生時重試任務的嘗試次數上限。在重試任務達到指定次數之後，任務會停止，需要手動干預。

  若絕對不要重試任務，清除核取方塊或指定「0」。

  若要重試任務無限次數，指定「-1」

  • 重試嘗試之間的間隔 (秒)：使用計數器以選取或輸入系統在每次嘗試重試任務之間等待的秒數。

    有效值為 0-2,000。

• 對長時間中斷增加重試間隔：選取此核取方塊以對長時間中斷增加重試間隔。若啟用此選項， 會加倍每次重試嘗試之間的間隔，直到達到重試間隔上限為止 (並根據指定的間隔上限繼續重試)。
  • 重試間隔上限 (秒)：在啟用對長時間中斷增加重試間隔選項時，使用計數器以選取或輸入每次嘗試重試任務之間等待的秒數。有效值為 0-2,000。

變更處理調整

交易卸載調整

• 在下列情況下將進行中的交易卸載到磁碟：

  複寫任務通常會將交易資料保留在記憶體中，直到它完全提交到來源和/或目標。但是，大於配置記憶體或未在指定時間限制內提交的交易將被卸載到磁碟。

  • 交易記憶體大小超過 (MB)：所有交易在卸載到磁碟之前可以佔用記憶體的最大大小。預設值為 1024。
  • 交易持續時間超過 (秒)：每個交易在卸載到磁碟之前可以保留在記憶體中的最大時間。持續時間是從複寫任務開始擷取交易的時間計算的。預設值為 60。

批次調整

此索引標籤中的設定由套用變更模式決定。

僅當「套用模式」為「批次最佳化」時才可用的設定

• 按間隔套用批次變更：

• 大於：每次套用批次變更之間要等待的最短時間。預設值為 1。

  增加長於值會降低將變更套用到目標的頻率，同時增加批次的大小。在將變更套用到針對處理大型批次進行最佳化的目標資料庫時，這可以改善效能。

• 小於：每次套用批次變更之間要等待的最長時間 (在宣告逾時之前)。換句話說，最大可接受的延遲。預設值為 30。此值決定在達到長於值之後，套用變更之前要等待的最長時間。

• 當處理記憶體超過 (MB) 時強制套用批次：在批次最佳化套用模式中用於預先處理的最大記憶體量。預設值為 500。

  若要獲得最大批次大小，請將此值設定為您可以配置給複寫任務的最高記憶體量。在將變更套用到針對處理大型批次進行最佳化的目標資料庫時，這可以改善效能。

僅當「套用模式」為「交易式」時才可用的設定

下列設定僅適用於在「交易式」套用模式下工作時。請注意，當複寫到 Snowflake 且載入方法為Snowpipe 串流時，「交易式」是唯一可用的套用模式 (因此無法選取)。

• 每個交易的變更數量下限：要在每個交易中納入的變更數量下限。預設值為 1000。

  資訊備註

  若變更數量等於或大於每個交易的變更數量下限值，或者若達到套用之前的批次交易時間上限 (秒) 值 (以先發生者為主)， 會將變更套用至目標。因為套用至目標的變更頻率由這兩個參數控制，對來源記錄的變更可能不會立即反映在目標記錄中。

• 套用之前的批次交易時間上限 (秒)：宣告逾時之前批次收集交易的時間上限。預設值為 1。

間隔

使用 SAP ODP 和 SaaS 應用程式 (精簡版) 連接器時的設定

• 讀取變更間隔 (分鐘)

  設定從來源讀取變更之間的間隔，單位為分鐘。有效範圍為 1 至 1440。

  資訊備註

  此選項僅在資料任務透過以下方式定義時可供使用：

  • 資料移動閘道
  • 以下任一來源：
    • 僅透過精簡版連接器的 SaaS 應用程式
    • SAP ODP
  • 套用變更或儲存變更更新方法

使用 SAP OData 連接器時的設定

查看變更

• 根據差異擷取間隔：選取此選項時，資料任務會根據差異擷取間隔檢查變更。

  資訊備註每個「回合」結束後，間隔就會開始。一個回合可定義為資料任務從來源表格讀取變更並將其傳送至目標所需的時間 (作為單一交易)。回合的長度會根據表格和變更的數量而異。因此，如果您指定 10 分鐘的間隔，而一個回合需要 4 分鐘，則檢查變更之間的實際時間將為 14 分鐘。

  • 差異擷取間隔：從您的系統中擷取差異的頻率。預設為每 60 秒一次。

• 依排程：選取此選項時，資料任務將擷取差異一次，然後停止。然後將依排程繼續執行。

  資訊備註此選項僅在 CDC 週期之間的間隔為 24 小時或更長時間時才相關。

  如需排程資訊：

  • 複寫專案中的「複寫資料任務」，請參閱 排程工作

雜項調整

陳述式快取大小 (陳述式數)

要儲存在伺服器上以供稍後執行 (將變更套用到目標時) 的備妥陳述式最大數量。預設為 50。最大為 200。

更新主索引鍵欄時的 DELETE 和 INSERT

此選項需要在來源資料庫中開啟完整的補充記錄。

在 DELETE 時傳送標記

選取此選項時，將僅填入訊息金鑰；訊息本身將為 null，表示該項目已被刪除。這可以協助取用者偵測已執行 DELETE 作業。

將任務復原資料儲存在目標資料庫中

選取此選項以將任務特定的復原資訊儲存在目標資料庫中。選取此選項時，複寫任務會在目標資料庫中建立名為 attrep_txn_state 的資料表。此資料表包含交易資料，可用於在 資料移動閘道 Data 資料夾中的檔案損毀或包含Data資料夾的儲存裝置失敗時復原任務。

使用 SQL MERGE 套用變更

當未選取此選項時，複寫任務將為 Net Changes table 中的每種不同變更類型執行個別的批次 INSERT、UPDATE 和 DELETE 陳述式。

雖然此方法非常有效率，但在使用支援此選項的端點時，啟用使用 SQL MERGE 套用變更選項會更有效率。

這是由於下列原因：

• 它將每個資料表執行的 SQL 陳述式數量從三個減少到一個。在大型、不可變、以檔案為基礎的雲端資料庫 (例如 Google Cloud BigQuery) 中，大多數 UPDATE 作業都涉及重寫受影響的檔案。透過這類作業，將每個資料表的 SQL 陳述式從三個減少到一個是非常顯著的。
• 目標資料庫只需要掃描淨變更表一次，從而顯著減少 I/O。

最佳化插入

當使用 SQL MERGE 套用變更與最佳化插入選項一起選取，且變更僅包含 INSERT 時，複寫任務將執行 INSERT 而不是使用 SQL MERGE。請注意，雖然這通常會改善效能並因此降低成本，但也可能導致目標資料庫中出現重複記錄。

交易式套用

下列設定僅在交易式套用模式下工作時可用。複寫到資料庫時，可以將套用模式設定為批次最佳化或交易式。但是，當複寫到 Snowflake 目標且載入方法設定為Snowpipe 串流時，套用模式始終為交易式，因此無法設定。

• 每個交易的最小變更數：每個交易中要包含的最小變更數。預設值為 1000。

  資訊備註當變更數等於或大於每個交易的最小變更數值，或達到批次逾時值 (見下文) 時 (以先發生者為準)，複寫任務會將變更套用到目標。因為套用到目標的變更頻率由這兩個參數控制，所以來源記錄的變更可能不會立即反映在目標記錄中。
• 套用前批次處理交易的最長時間 (秒)：在宣告逾時之前分批收集交易的最長時間。預設值為 1。

結構描述演進

選取如何處理結構描述中下列類型的 DDL 變更。變更結構描述演進設定後，您必須再次準備任務。下表描述了支援的 DDL 變更可用的動作。

字元替代

您可以替代或刪除目標資料庫中的來源字元，以及/或您可以替代或刪除所選字元集合不支援的來源字元。

替代或刪除來源字元

使用替代或刪除來源字元表格，以定義更換特定來源字元。例如，若 Unicode 字元表示法在來源和目標平台不同，這可能會很實用。例如，在 Linux，Shift_JIS 字元集合中的減號字元以 U+2212 表示，但在 Windows 則以 U+FF0D 表示。

替代或刪除所選字元集合不支援的來源字元

使用字元集合不支援的來源字元表格，為所選字元集合不支援的所有字元定義單一替換字元。

更多選項

不會在 UI 中暴露這些選項，因為這僅與特定版本或環境相關。因此，請勿設定這些選項，除非 Qlik 支援或產品文件明確指示這麼做。

若要設定選項，只要在新增特徵名稱欄位中複製選項並按一下新增即可。然後根據您收到的說明設定值或啟用選項。

平行載入資料集區段

在完整載入期間，您可以將資料集分割成多個區段並平行載入，藉此加快大型資料集的載入速度。資料表可依資料範圍、所有分割區、所有子分割區或特定分割區進行分割。

如需詳細資訊，請參閱 平行複寫資料集區段。

排程工作

在下列使用案例中，您必須定義排程間隔，以使用對來源所做的變更來更新目標：

• 存取沒有 資料移動閘道 的資料來源
• 使用 SaaS 應用程式預覽連接器。預覽連接器在 建立連線對話方塊和線上說明中皆以 按鈕表示。
• 使用 依排程選項從 SAP OData 來源擷取變更時。

排程決定了使用來源資料集的變更來更新目標資料集的頻率。排程決定更新頻率，而資料集類型則決定更新方法。如果來源資料集支援 CDC (變更資料擷取)，則只會將來源資料的變更複寫並套用至對應的目標資料表。如果來源資料集不支援 CDC (例如，檢視)，則會透過將所有來源資料重新載入至對應的目標資料表來套用變更。如果部分來源資料集支援 CDC，而部分不支援，則會建立兩個獨立的子工作 (假設選取了 套用變更或 儲存變更複寫選項)：一個用於重新載入不支援 CDC 的資料集，另一個用於擷取支援 CDC 的資料集變更。在此情況下，為確保資料一致性，強烈建議不要為這兩個工作維持相同的排程間隔 (如果您決定在未來變更更新頻率)。

如需關於根據資料來源類型和訂閱層級的最低排程間隔的資訊，請參閱 最低允許的排程間隔。

若要變更排程：

1. 開啟您的專案，然後執行下列其中一項操作：

   • 在工作檢視中，按一下複寫工作上的 ，然後選取 排程。
   • 在管道檢視中，按一下複寫工作上的 ，然後選取 排程。
   • 開啟複寫工作，然後按一下 排程工具列按鈕。
2. 視需要變更排程設定，然後按一下 確定。

為以 資料移動閘道 為基礎的工作執行錯過的執行

有時候，網路問題可能會導致與 資料移動閘道 的連線遺失。如果在下次排定的執行之前未還原與 資料移動閘道 的連線，則資料任務將無法按預定執行。在這種情況下，您可以選擇是否要在還原連線後立即執行。

所有 資料移動閘道 的預設設定皆定義於 管理 活動中心。您可以如下所述覆寫個別工作的這些設定。

若要執行此操作

1. 開啟您的專案，然後執行下列其中一項操作：

   • 在工作檢視中，按一下資料工作上的 ，然後選取 排程。

   • 在管道檢視中，按一下資料工作上的 ，然後選取 排程。

   • 開啟資料工作，然後按一下 排程工具列按鈕。

   排程 - <工作> 對話方塊隨即開啟。

2. 開啟 為此工作使用自訂設定。

3. 在對話方塊底部，選擇下列其中一個 執行錯過的排程工作選項。

   • 如果必須在下一個排程執行個體之前執行工作，請選擇 盡快，然後依排程

   • 選擇 依排程以在下一個排程執行個體執行工作

4. 儲存您的設定。

另請參閱：執行錯過排程後的任務執行。