# 從 Qlik Replicate 導入資料

您可以充分利用[Qlik 開放湖倉庫](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-pipeline-architecture.htm)而無需放棄您現有的 Replicate 基礎設施。使用資料上線精靈建立管道，處理來自 Qlik Replicate Amazon S3 輸出的資料，並使用 Qlik 開放湖倉庫 將其儲存為 Iceberg 表格。

Govnote-not-inQlik Cloud 政府 中不支援。

## 必要條件

在啟動上線資料精靈之前，請確保您已滿足以下先決條件。

### Qlik Replicate 先決條件

設定 Qlik Replicate 任務，將資料移至 Amazon S3 值區 (透過 Amazon S3 目標端點)。

#### Qlik Replicate 任務先決條件

* 僅啟用 完整載入 及/或 儲存變更 (資料保持最新狀態所需) 複寫選項。

* 在任務設定的儲存變更設定索引標籤中：

  * 設定 變更表格設定 如下：

    * 後綴： \_\_ct

    * 標頭欄前置詞： 標頭\_\_

    * DDL 選項： 套用至變更表格

    * 更新時： 僅儲存之後影像

  * 保持變更資料分割停用 (預設值)。

* 在任務設定的 中繼資料 > 控制表格 索引標籤中，確認已選取 套用例外狀況 和 DDL 歷程記錄 控制表格。

如需這些設定的詳細資訊，請參閱 [Qlik Replicate 任務設定說明](https://help.qlik.com/en-US/replicate/Content/Global_Common/Content/SharedEMReplicate/Customize%20Tasks/tasks_settings.htm) （僅提供英文版）。

#### Qlik Replicate Amazon S3 目標端點先決條件

在一般索引標籤中：

* 在 中繼資料檔案 區段中，啟用 在目標資料夾中建立中繼資料檔案 (Replicate 2025 年 11 月或更早版本) 或 為每個資料檔案建立中繼資料檔案 選項 (Replicate 2026 年 5 月或更新版本)。這將在 S3 值區中建立具有 .dfm 延伸的檔案。
* 在 檔案屬性 區段中，請確保：
  * CSV 是選取的格式(預設)
  * 檔案壓縮方式 設定為 無 (預設)
  * 兩個新增中繼資料標頭選項都已啟用 (具有欄名稱和具有資料類型)
* 設定 Amazon S3 儲存設定時，如果您的值區包含非 Replicate 檔案，建議指定 目標資料夾。這樣做將更容易找到所需的輸出，當透過 Qlik 開放湖倉庫 導入資料時。

如需這些設定的詳細資訊，請參閱[Amazon S3 目標端點說明](https://help.qlik.com/en-US/replicate/Content/Replicate/Main/Amazon%20S3/set_up_file_as_target_in_tasks3.htm) （僅提供英文版）。

### Qlik 開放湖倉庫 必要條件

一個 AWS S3 資料串流 連接器，設定為存取 Replicate Amazon S3 輸出。

如需說明，請參閱 [AWS S3 資料串流](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/Connecting-AWS-S3-Data-Stream.htm)。

## Replicate 如何在 S3 中組織資料

熟悉 Qlik Replicate 在 S3 中組織資料的結構，將更容易在 目錄瀏覽器 中找到這些檔案，如下方 [建立上線任務](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data-replicate.htm#Create) 中所述。

* `s3://bucket-name/target-path/schema.table/`

  包含完整的載入檔案與 DFM 中繼資料檔案，採用循序格式，如下列範例所示：

  * LOAD00000001.csv

  * LOAD00000001.dfm

  * LOAD00000002.csv

  * LOAD00000002.dfm

* `s3://bucket-name/target-path/schema.table__ct/`

  包含變更資料擷取檔案和 DFM 中繼資料檔案，格式為時間戳記，如下列範例所示：

  * 20250121-083015000.csv

  * 20250121-083015000.dfm

  * 20250121-091522000.csv

  * 20250121-091522000.dfm

## 建立上線任務

請遵循下列步驟來設定 Replicate 資料的上線任務：

1. 請依照下列方式啟動上線精靈：

   * 新專案： 在專案視窗中央按一下上線資料。

   * 現有專案： 在您的Qlik 開放湖倉庫專案右上角，按一下建立新項目 > 上線資料以啟動上線精靈。

2. 輸入任務名稱和描述。

3. 從資料來源選項中，選取 Qlik Replicate。然後，按一下下一步。

4. 選取您先前設定的 AWS S3 資料串流 連接器。然後，按一下下一步。

5. 在左側的目錄瀏覽器窗格中，選取包含 Replicate 輸出的根目錄。

   提示備註如果您未在 Replicate Amazon S3 目標端點設定中指定目標資料夾 (如上述先決條件中所建議)，您的值區可能包含許多不相關的檔案。在此情況下，如果您知道確切路徑，可以直接將其貼到 Replicate 根目錄路徑 欄位中。

6. 按一下 載入 以偵測可用的表格。任何可用的表格都會顯示在 已選取要註冊的表格 清單中。

7. 在右側的選取資料來源以探索資料表區域中，提供下列設定：

   * 包含所有目前表格： 開啟以登陸所有現有表格。當此選項切換為關閉時，您需要選取個別表格。

   * 擷取後刪除來源檔案： 開啟此選項可在檔案成功處理後，永久從 Replicate S3 值區中移除檔案。

     S3 檔案刪除後，所有連接的管線若使用相同的 S3 檔案作為來源，將會變成非作用中且無法運作。因此，您應該只在確定這些檔案不需要由任何其他管道程序時，才啟用此選項。

8. 按一下下一步。

9. 在 內容類型 步驟中，會從您的 Replicate 資料自動偵測檔案格式 (CSV)。也提供以下選項：

   * 歷史資料存放區 (類型 2)：如果您需要維護記錄的歷史版本並保留變更的封存，請開啟此選項。
   * 驗證事件已正確載入：您可以選取資料集來驗證其是否包含正確的資料。

10. 按一下下一步。

11. 檢閱任務組態，然後按一下 建立，以建立上線任務。

12. 按一下準備以將資料任務編入目錄，為執行做好準備。

    您可以在任務方塊中追蹤準備進度。完成後，應會顯示準備：成功。

13. 當您準備好開始載入資料時，按一下執行。

## 後續會發生什麼

一旦啟用，上線任務：

1. 開始監控您的 Replicate S3 值區是否有資料變更
2. 偵測來自 Replicate 的完整載入和變更資料擷取 (CDC) 檔案
3. 處理檔案並在 Qlik 開放湖倉庫 中建立 Iceberg 表格
4. 持續監控新資料
5. 如果啟用，成功擷取後會自動刪除來源檔案

## 任務設定

若要變更任務設定，開啟Onboarding\_Qlik\_Replicate (預設名稱) 任務，然後按一下設定工具列按鈕。

就會開啟 設定：<task name> 對話方塊。

#### 一般標籤

這些選項已在上方 建立登陸任務 的第 7 步中說明。

* 自動包含所有目前及未來的表格

* 在擷取後刪除來源檔案

#### 執行時間標籤

變更 湖存放庫叢集

## 限制和考慮事項

### 一般考慮事項和限制

* 完整載入和重新載入作業可能會遇到處理延遲，然後資料才會出現在 Iceberg 表格中。系統會在完整載入完成後，最多等待 15 分鐘，以確保檔案完整。因此，在 Replicate 中執行完整載入 (排程或手動)，且間隔時間少於 15 分鐘，是不受支援的。
* 空的 Replicate 表格（沒有資料檔案的表格）不會被系統偵測或註冊。
* 如果您啟用 刪除擷取後的來源檔案，登陸任務就無法重新載入。若要載入資料，您必須在 Replicate 中重新產生它。
* Qlik Replicate 的 [已載入表格。](https://help.qlik.com/en-US/replicate/May2026/Content/Global_Common/Content/SharedEMReplicate/Tasks%20at%20Runtime/monitor_detailed_run_options.htm#:~:text=Tables%20are%20already%20loaded.%20Start%20processing%20changes%20from%3A) （僅提供英文版）不支援「[從...開始處理變更](https://help.qlik.com/en-US/replicate/May2026/Content/Global_Common/Content/SharedEMReplicate/Tasks%20at%20Runtime/monitor_detailed_run_options.htm#:~:text=Tables%20are%20already%20loaded.%20Start%20processing%20changes%20from%3A) （僅提供英文版）」進階執行選項。當 2 型 (歷史記錄資料) 啟用時，使用此選項將會損毀歷史記錄表格。
* 結構描述演進不支援

### CDC 對比 Replicate 管道

在從 CDC 來源擷取資料的一般管道中，資料更新至 計量始終指示資料的目前時效性 (例如，1 分鐘前)。這是因為管道可直接存取資料庫交易記錄，可即時掌握每個 INSERT/UPDATE/DELETE 事件。然而，在一個從 Replicate 擷取資料的管道中，資料更新至 指標並未指示資料目前的時效性，而且實際上可能會給人一種錯誤的印象，認為資料已過期 (例如，8 小時前)。這是因為 Replicate 管道無法直接存取交易記錄。而是，Replicate 會將檔案寫入 S3 值區，而管道會檢查檔案的建立時間戳記以判斷資料時效性。因此，如果來源資料庫有一段時間沒有新的變更，Replicate 將不會建立新檔案，且 資料更新至 時間戳記將會變舊 (這會給人資料已過時的錯誤印象)。