登陸設定

您可以設定登陸資料任務的設定。

• 開啟登陸任務，然後按一下工具列中的 設定 。

設定：<Task-Name> 對話方塊隨即開啟。可用的設定說明如下。

一般

• 資料庫

  要在目標中使用的資料庫。

  資訊備註將資料登陸至 Qlik Cloud (透過 Amazon S3) 時，無法使用此選項。

• 任務結構描述

  您可以變更登陸資料任務結構描述的名稱。預設名稱為 landing。

  資訊備註將資料登陸至 Qlik Cloud (透過 Amazon S3) 時，無法使用此選項。

• 結構描述名稱的預設大小寫

  您可以設定所有結構描述名稱的預設大小寫。如果您的資料庫設定為強制大小寫，此選項將不會生效。

• 所有表格和檢視的字首

  您可以為使用此任務建立的所有表格和檢視設定字首。

  資訊備註將資料登陸至 Qlik Cloud (透過 Amazon S3) 時，無法使用此選項。
  資訊備註當您想要在多個資料任務中使用資料庫結構描述時，必須使用唯一的字首。

• 更新方法

  登陸任務一律以完整載入開始。完整載入完成後，您可以使用下列方法之一，將登陸的資料保持為最新狀態：

  資訊備註登陸資料任務準備操作完成後，就無法變更更新方法。

  • 變更資料擷取 (CDC)

    登陸資料會使用 CDC (變更資料擷取) 技術保持最新狀態。CDC 不一定受到所有資料來源的支援。CDC 不會擷取 DDL 操作，例如將欄重新命名或變更中繼資料。

    若資料也包含不支援 CDC 的檢視或表格，將會建立兩個資料管道。一個管道具有支援 CDC 的所有表格，另一個管道具有使用載入和比較作為更新方法的所有其他表格和檢視。

  • 載入並比較

    會從來源載入所有登陸的資料。若來源不支援 CDC，但可搭配任何支援的資料來源使用，則這很實用。

    您可以定期排程載入。

• 載入方法

  複寫至 Snowflake 目標時，您可以選擇下列其中一種載入方法：

  • 批次載入 (預設)

    如果選取批次載入，您將能夠在資料上傳索引標籤中調整載入參數。

  • Snowpipe 串流

    資訊備註

    只有在滿足以下條件時，才可選取 Snowpipe 串流：

    • 已啟用變更資料擷取 (CDC) 更新方法。
    • Snowflake 連接器中的驗證機制 設定為金鑰組。
    • 如果您使用 資料移動閘道，則需要版本 2024.11.45 或更高版本。

    如果您選取 Snowpipe 串流，請確保您熟悉使用此方法時的限制和考慮事項。此外，如果您選取 Snowpipe 串流，然後切換至載入並比較更新方法，則載入方法將自動切換回批次載入。

  選擇 Snowpipe 串流而不是批次載入的主要原因是：

  • 成本較低：由於 Snowpipe 串流不使用 Snowflake 倉庫，因此操作成本應該會便宜許多，不過這取決於您的具體使用情況。

  • 減少延遲：由於資料直接串流到目標表格 (而不是透過暫存)，從資料來源複寫到目標的速度應該會更快。

  提示備註使用 Snowpipe 串流時，初始完整載入可能比批次載入慢很多。為了最佳化載入效能，尤其是在載入大型資料集時，最佳做法是將 Snowpipe 串流與平行載入功能搭配使用。

• 要在預備區域中使用的資料夾

  對於需要預備區域的資料平台 (例如 Databricks 和 Azure Synapse Analytics)，您可以選取登陸資料時要使用的資料夾。

  • 預設資料夾

    這會建立具有預設名稱的資料夾：<project name>/<data task name>。

  • 根資料夾

    將資料儲存在儲存空間的根資料夾中。

    資訊備註只有在將資料登陸至 Qlik Cloud (透過 Amazon S3) 時，才能使用此選項。

  • 資料夾

    指定要使用的資料夾名稱。

• 變更處理間隔

  您可以設定處理來源變更之間的間隔。

  資訊備註只有在將資料登陸至 Qlik Cloud (透過 Amazon S3) 時，才能使用此選項。

• 使用 Data Movement gateway 時的 Proxy 伺服器

  資訊備註只有在透過 Data Movement gateway 存取目標時，才能使用此選項。

  當 Data Movement 閘道連線至雲端資料倉庫和儲存區域時，您可以選取使用 Proxy 伺服器。

  如需有關設定 Data Movement 閘道以使用 Proxy 伺服器的詳細資訊，請參閱 設定 Qlik Cloud 租用戶和 Proxy 伺服器。

  • 使用 Proxy 連線至雲端資料倉庫

    資訊備註使用 Snowflake、Google BigQuery 和 Databricks 時可用。

  • 使用 Proxy 連線至儲存空間

    資訊備註使用 Azure Synapse Analytics、Amazon Redshift 和 Databricks 時可用。

資料上傳

此索引標籤中的某些設定僅與特定目標平台相關。

與除 Qlik Cloud 和 Snowflake 之外的所有資料平台相關

檔案大小上限 (MB)

檔案在關閉之前可達到的大小上限。較小的檔案可能上傳得更快 (取決於網路)，並且可在結合平行執行選項使用時改善效能。不過，以小檔案叢集資料庫通常被視為不良做法。

僅與 Google BigQuery 相關

使用壓縮

選取後，CSV 檔案將在被上傳至 Google BigQuery 之前進行壓縮 (使用 gzip)。

僅與 Snowflake 相關

在 一般 索引標籤中，您可以選擇是否使用 大量載入 或 Snowpipe 串流 將資料載入至 Snowflake。選取 Snowpipe 串流 時，將不會顯示 資料上傳 索引標籤。選取 大量載入 時，將提供下列設定：

• 檔案大小上限 (MB)： 與初始完整載入和 CDC 相關。檔案在載入至目標之前可達到的最大大小。如果您遇到效能問題，請嘗試調整此參數。

• 批次載入的檔案數： 僅與初始完整載入相關。單一批次中要載入的檔案數。如果您遇到效能問題，請嘗試調整此參數。

如需 大量載入 和 Snowpipe 串流 載入方法的說明，請參閱 一般。

中繼資料

LOB 欄

包含 LOB 欄並將欄大小限制為 (KB)：

您可以選擇在任務中包含 LOB 欄，並設定 LOB 大小上限。大於大小上限的 LOB 將被截斷。

控制表格

選取您要在目標平台上建立下列哪些控制表格：

• 登陸狀態： 提供有關目前登陸任務的詳細資料，包括任務狀態、任務消耗的記憶體量、尚未套用至資料平台的變更數，以及 資料移動閘道 目前正在讀取的來源端點中的位置。
• 暫停的表格： 提供暫停的表格清單，以及其被暫停的原因。
• 登陸歷程記錄： 提供有關任務歷程記錄的資訊，包括在登陸任務期間處理的記錄數量和磁碟區、CDC 任務結束時的延遲等。

• DDL 歷程記錄： 包含在任務期間發生的所有支援的 DDL 變更的歷程記錄。

  僅下列目標平台支援 DDL 歷史記錄表格：

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • 如果您正在使用 資料移動閘道，則以下目標需要版本 2024.11.14 或更高版本：
    • Amazon S3
    • Google Cloud Storage
    • Snowflake
  • Kafka - 如果您正在使用 資料移動閘道，則需要版本 2025.5.42 或更高版本。
  • 如果您正在使用 資料移動閘道，則以下目標需要版本 2025.11.1 或更高版本：
    • Google BigQuery
    • 適用於 PostgreSQL 的 Google Cloud Alloy DB (透過 PostgreSQL 連接器)
    • 適用於 PostgreSQL 的 Google Cloud SQL (透過 PostgreSQL 連接器)
    • Microsoft Azure Database for PostgreSQL (透過 PostgreSQL 連接器)
    • PostgreSQL

如需每個控制表格的詳細說明，請參閱 控制表格

完整載入

效能微調

• 平行載入的表格數上限：輸入一次載入至目標的表格數上限。預設值為 5。

• 交易一致性逾時 (秒)：輸入在開始完整載入作業之前，等待開啟的交易關閉的秒數。預設值為 600 (10 分鐘)。即使仍有開啟的交易，完整載入也會在達到逾時值後開始。

  資訊備註若要複寫在完整載入開始時開啟，但僅在達到逾時值 之後 才認可的交易，您需要重新載入目標表格。
• 完整載入期間的認可率：可以一起傳輸的事件數上限。預設值為 10000。

完整載入完成後

建立主索引鍵或唯一：如果您想要將資料平台上主索引鍵或唯一索引的建立延遲到完整載入完成之後，請選取此選項。

對於初始載入

從 SaaS 應用程式來源移動資料時，您可以設定如何執行初始完整載入：

錯誤處理

資料錯誤

對於資料截斷錯誤：選取當截斷發生於一個或多個特定記錄時，您想要發生的事項。您可以從清單中選取下列內容之一：

• 忽略：任務會繼續並忽略錯誤。
• 暫停表格：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會複寫其資料
• 停止任務：任務會停止，需要手動干預。

對於其他資料錯誤：選取當錯誤發生於一個或多個特定記錄時，您想要發生的事項。您可以從清單中選取下列內容之一：

• 忽略：任務會繼續並忽略錯誤。
• 暫停表格：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會複寫其資料
• 停止任務：任務會停止，需要手動干預。

在達到其他資料錯誤 (每個表格) 時呈報錯誤處理：選取此核取方塊，以在非截斷資料錯誤數量 (每個表格) 達到指定量時呈報錯誤處理。有效值為 1-10,000。

呈報動作：選擇呈報錯誤處理時應發生什麼事。請注意，可用動作取決於從上述對於其他資料錯誤下拉式清單中選取的動作。

• 暫停表格 (預設)：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會landed其資料。

• 停止任務：任務會停止，需要手動干預。

表格錯誤

傳回表格錯誤前的重試次數

此選項可讓您控制何時觸發表格錯誤處理原則。依預設，遇到表格錯誤後，表格將會暫停或工作將會在三次重試後停止 (根據選取的動作)。有時，會因為 SaaS 應用程式的計劃性維護而發生表格錯誤。在這些情況下，預設的重試次數可能不足以在觸發表格錯誤處理原則之前完成維護。這也取決於工作的排程間隔，因為每次工作執行時都會執行一次重試。因此，例如，如果您排程工作每小時執行一次，且 SaaS 應用程式在工作開始執行時因維護而離線，則預設的三次重試將允許 SaaS 應用程式離線長達三小時，而不會觸發表格錯誤處理原則。更長的維護期間將需要您增加重試次數 (或變更排程)，以防止觸發表格錯誤處理原則。

總而言之，如果您知道您的 SaaS 應用程式會定期維護，最佳做法是根據排程增加重試次數，以便在不觸發表格錯誤處理原則的情況下完成維護。

遇到表格錯誤時：從下拉式清單選取下列內容之一：

• 暫停表格 (預設)：任務會繼續，但具有錯誤記錄之表格中的資料會移至錯誤狀態，並且不會複寫其資料
• 停止任務：任務會停止，需要手動干預。

在表格錯誤達到時呈報錯誤處理 (每個表格)：選取此核取方塊，以在表格錯誤數量 (每個表格) 達到指定量時呈報錯誤處理。有效值為 1-10,000。

呈報動作：表格錯誤的呈報政策設定為停止任務且無法變更。

環境

• 重試計數上限：選取此選項，然後指定在可修復的環境錯誤發生時重試任務的嘗試次數上限。在重試任務達到指定次數之後，任務會停止，需要手動干預。

  若絕對不要重試任務，清除核取方塊或指定「0」。

  若要重試任務無限次數，指定「-1」

  • 重試嘗試之間的間隔 (秒)：使用計數器以選取或輸入系統在每次嘗試重試任務之間等待的秒數。

    有效值為 0-2,000。

• 對長時間中斷增加重試間隔：選取此核取方塊以對長時間中斷增加重試間隔。若啟用此選項， 會加倍每次重試嘗試之間的間隔，直到達到重試間隔上限為止 (並根據指定的間隔上限繼續重試)。
  • 重試間隔上限 (秒)：在啟用對長時間中斷增加重試間隔選項時，使用計數器以選取或輸入每次嘗試重試任務之間等待的秒數。有效值為 0-2,000。

變更處理微調

交易卸載微調

• 在下列情況下將進行中的交易卸載至磁碟：

  交易資料通常會保留在記憶體中，直到完全認可至來源或目標為止。但是，大於配置的記憶體或未在指定時間限制內認可的交易將被卸載至磁碟。

  • 所有交易的總記憶體大小超過 (MB)：所有交易在被卸載至磁碟之前可以佔用的記憶體大小上限。預設值為 1024。
  • 交易持續時間超過 (秒)：每筆交易在被卸載至磁碟之前可以保留在記憶體中的時間上限。持續時間是從 Qlik Talend Data Integration 開始擷取交易的時間計算。預設值為 60。

批次微調

此索引標籤中的某些設定可能不適用於所有目標或目標載入方法。

當「載入方法」為「Snowpipe 串流」時，適用於除 Qlik Cloud 和 Snowflake 之外的所有目標的設定

• 依間隔套用批次變更：

• 大於：每次套用批次變更之間等待的最短時間。預設值為 1。

  增加 大於 值會降低將變更套用至目標的頻率，同時增加批次的大小。將變更套用至針對處理大型批次進行最佳化的目標資料庫時，這可以改善效能。

• 小於：每次套用批次變更之間等待的最長時間 (在宣告逾時之前)。換句話說，可接受的延遲上限。預設值為 30。此值決定在達到 大於 值之後，套用變更之前等待的最長時間。

• 當處理記憶體超過 (MB) 時強制套用批次：用於預先處理的記憶體量上限。預設值為 500 MB。

  若要獲得最大批次大小，請將此值設定為您可以配置給資料任務的最高記憶體量。將變更套用至針對處理大型批次進行最佳化的目標資料庫時，這可以改善效能。

• 同時將批次變更套用至多個表格：套用來自多個來源表格的變更時，選取此選項應可改善效能。

  • 表格數上限： 同時套用批次變更的表格數上限。預設值為五。

  資訊備註使用 Google BigQuery 作為資料平台時，不支援此選項。

• 將每個變更處理陳述式套用的變更數限制為：選取此選項以限制在單一變更處理陳述式中套用的變更數。預設值為 10,000。

  資訊備註只有在使用 Google BigQuery 作為資料平台時，才支援此選項。

當「載入方法」為「Snowpipe 串流」時，僅適用於 Qlik Cloud 和 Snowflake 的設定

• 每個交易的變更數量下限：要在每個交易中納入的變更數量下限。預設值為 1000。

  資訊備註

  若變更數量等於或大於每個交易的變更數量下限值，或者若達到套用之前的批次交易時間上限 (秒) 值 (以先發生者為主)， 會將變更套用至目標。因為套用至目標的變更頻率由這兩個參數控制，對來源記錄的變更可能不會立即反映在目標記錄中。

• 套用之前的批次交易時間上限 (秒)：宣告逾時之前批次收集交易的時間上限。預設值為 1。

間隔

使用 SAP ODP 和 SaaS 應用程式 (精簡版) 連接器時的設定

• 讀取變更間隔 (分鐘)

  設定從來源讀取變更之間的間隔，單位為分鐘。有效範圍為 1 至 1440。

  資訊備註

  此選項僅在資料任務透過以下方式定義時可供使用：

  • 資料移動閘道
  • 以下任一來源：
    • 僅透過精簡版連接器的 SaaS 應用程式
    • SAP ODP
  • 變更資料擷取 (CDC) 更新方法

使用 SAP OData 連接器時的設定

查看變更

• 根據差異擷取間隔：選取此選項時，資料任務會根據差異擷取間隔檢查變更。

  資訊備註每個「回合」結束後，間隔就會開始。一個回合可定義為資料任務從來源表格讀取變更並將其傳送至目標所需的時間 (作為單一交易)。回合的長度會根據表格和變更的數量而異。因此，如果您指定 10 分鐘的間隔，而一個回合需要 4 分鐘，則檢查變更之間的實際時間將為 14 分鐘。

  • 差異擷取間隔：從您的系統中擷取差異的頻率。預設為每 60 秒一次。

• 依排程：選取此選項時，資料任務將擷取差異一次，然後停止。然後將依排程繼續執行。

  資訊備註此選項僅在 CDC 週期之間的間隔為 24 小時或更長時間時才相關。

  如需排程資訊：

  • 在資料管道專案中登陸任務，請參閱 排程任務

雜項微調

• 陳述式快取大小 (陳述式數)： 要儲存在伺服器上以供稍後執行 (將變更套用至目標時) 的準備陳述式數上限。預設值為 50。最大值為 200。

• 更新主索引鍵欄時的 DELETE 和 INSERT： 此選項需要在來源資料庫中開啟完整的補充記錄。

結構描述演進

選取如何處理結構描述中的下列 DDL 變更類型。變更結構描述演進設定後，您必須再次準備任務。下表說明支援的 DDL 變更可用的動作。

字元替代

您可以替代或刪除目標資料庫中的來源字元，以及/或您可以替代或刪除所選字元集合不支援的來源字元。

替代或刪除來源字元

使用替代或刪除來源字元表格，以定義更換特定來源字元。例如，若 Unicode 字元表示法在來源和目標平台不同，這可能會很實用。例如，在 Linux，Shift_JIS 字元集合中的減號字元以 U+2212 表示，但在 Windows 則以 U+FF0D 表示。

替代或刪除所選字元集合不支援的來源字元

使用字元集合不支援的來源字元表格，為所選字元集合不支援的所有字元定義單一替換字元。

更多選項

不會在 UI 中暴露這些選項，因為這僅與特定版本或環境相關。因此，請勿設定這些選項，除非 Qlik 支援或產品文件明確指示這麼做。

若要設定選項，只要在新增特徵名稱欄位中複製選項並按一下新增即可。然後根據您收到的說明設定值或啟用選項。

平行載入資料集區段

在完整載入期間，您可以透過將資料集分割成區段來加速大型資料集的載入，這些區段將平行載入。表格可以依資料範圍、所有分割區、所有子分割區或特定分割區進行分割。

如需詳細資訊，請參閱 平行登陸資料集區段。

排程任務

在下列使用案例中，您必須定義排程間隔以保持目標資料為最新狀態：

• 在沒有 資料移動閘道 的情況下存取資料來源
• 使用不支援 讀取變更每隔 設定的 SaaS 應用程式連接器
• 使用 依排程 選項從 SAP OData 來源擷取變更時。

排程決定目標資料集使用來源資料集變更進行更新的頻率。排程決定更新頻率，而資料集類型決定更新方法。如果來源資料集支援 CDC (變更資料擷取)，則只有來源資料的變更會被複寫並套用至對應的目標表格。如果來源資料集不支援 CDC (例如，檢視)，則將透過將所有來源資料重新載入至對應的目標表格來套用變更。如果某些來源資料集支援 CDC 而某些不支援，則會建立兩個獨立的子任務：一個用於重新載入不支援 CDC 的資料集，另一個用於擷取支援 CDC 的資料集的變更。在這種情況下，為確保資料一致性，強烈建議不要為這兩個任務維持相同的排程間隔 (如果您決定在未來變更更新頻率)。

如需關於根據資料來源類型和訂閱層級的最低排程間隔的資訊，請參閱 最低允許的排程間隔。

若要變更排程：

1. 開啟您的管道專案，然後執行下列其中一項操作：

   • 在任務檢視中，按一下資料任務上的 ，然後選取 排程。
   • 在管道檢視中，按一下資料任務上的 ，然後選取 排程。
   • 開啟登陸任務，然後按一下 排程 工具列按鈕。
2. 視需要變更排程設定，然後按一下 確定。

為基於 資料移動閘道 的任務執行錯過的執行

有時候，網路問題可能會導致與 資料移動閘道 的連線遺失。如果在下次排定的執行之前未還原與 資料移動閘道 的連線，則資料任務將無法按預定執行。在這種情況下，您可以選擇是否要在還原連線後立即執行。

所有 資料移動閘道 的預設設定均 定義於 管理 活動中心。您可以如下所述覆寫個別任務的這些設定。

若要執行此操作

1. 開啟您的專案，然後執行下列其中一項操作：

   • 在任務檢視中，按一下資料任務上的 ，然後選取 排程。

   • 在管道檢視中，按一下資料任務上的 ，然後選取 排程。

   • 開啟資料任務，然後按一下 排程 工具列按鈕。

   排程 - <task> 對話方塊隨即開啟。

2. 切換開啟 為此任務使用自訂設定。

3. 在對話方塊底部，選擇下列其中一個 執行錯過的排程任務 選項。

   • 如果在下一個排程執行個體之前執行任務很重要，請選擇 盡快，然後依排程

   • 選擇 依排程 以在下一個排程執行個體執行任務

4. 儲存您的設定。

另請參閱：執行錯過排程後的任務執行。