從 Qlik Replicate 導入資料
您可以充分利用 Qlik 開放湖倉庫而無需放棄您現有的 Replicate 基礎設施。使用上線資料精靈建立管道，該管道處理來自 Qlik Replicate Amazon S3 輸出的資料，並使用 Qlik 開放湖倉庫 將其儲存為 Iceberg 表格。
必要條件
在啟動上線資料精靈之前，請確保您已滿足以下先決條件。
Qlik Replicate 先決條件
設定 Qlik Replicate 任務，將資料移至 Amazon S3 值區 (透過 Amazon S3 目標端點)。
Qlik Replicate 任務先決條件
-
僅啟用 完整載入 及/或 儲存變更 (資料保持最新狀態所需) 複寫選項。
-
在任務設定的儲存變更設定索引標籤中：
-
設定 變更表格設定 如下：
-
後綴： __ct
-
標頭欄前置詞： 標頭__
-
DDL 選項： 套用至變更表格
-
更新時： 僅儲存之後影像
-
-
保持 變更資料分割 停用 (預設值)。
-
-
在任務設定的 中繼資料 > 控制表格 索引標籤中，確認已選取 套用例外狀況 和 DDL 歷程記錄 控制表格。
關於這些設定的更多資訊，請參閱 Qlik Replicate 任務設定說明 （僅提供英文版）。
Qlik Replicate Amazon S3 目標端點先決條件
在一般索引標籤中：
- 在 中繼資料檔案 區段中，啟用 在目標資料夾中建立中繼資料檔案 (Replicate 2025 年 11 月或更早版本) 或 為每個資料檔案建立中繼資料檔案 選項 (Replicate 2026 年 5 月或更新版本)。這會在 S3 值區中建立具有 .dfm 延伸的檔案。
- 在 檔案屬性 區段中，請確保：
- CSV 是選取的格式 (預設)
- 檔案壓縮方式 設定為 無 (預設)
- 兩個新增中繼資料標頭選項都已啟用 (含欄名稱和含資料類型)
- 設定 Amazon S3 儲存設定時，如果您的值區包含非 Replicate 檔案，建議指定 目標資料夾。這樣做將更容易找到所需的輸出，當透過 Qlik 開放湖倉庫 導入資料時。
如需這些設定的詳細資訊，請參閱Amazon S3 目標端點說明 （僅提供英文版）。
Qlik 開放湖倉庫 必要條件
AWS S3 資料串流 連接器，設定為存取 Replicate Amazon S3 輸出。
如需說明，請參閱：AWS S3 資料串流.
Replicate 如何在 S3 中組織資料
熟悉 Qlik Replicate 用於在 S3 中組織資料的結構，將使其更容易在 目錄瀏覽器 中找到這些檔案，如下所述 建立上線任務。
-
s3://bucket-name/target-path/schema.table/
包含完整的載入檔案與 DFM 中繼資料檔案，採用循序格式，如下列範例所示：
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
包含變更資料擷取檔案和 DFM 中繼資料檔案，以時間戳記格式，如下列範例所示：
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
建立上線任務
請遵循下列步驟來設定 Replicate 資料的上線任務：
-
啟動上線精靈的方式如下：
-
新專案： 在專案視窗中央按一下上線資料。
-
現有專案： 在您的Qlik 開放湖倉庫專案右上角，按一下建立新項目 > 上線資料以啟動上線精靈。
-
- 輸入任務名稱和描述。
- 從資料來源選項中，選取 Qlik Replicate。然後，按一下下一步。
- 選取您先前設定的 AWS S3 資料串流 連接器。然後，按一下下一步。
-
在左側的目錄瀏覽器窗格中，選取包含 Replicate 輸出的根目錄。
提示備註如果您未在 Replicate Amazon S3 目標端點設定中指定目標資料夾 (如上述先決條件中所建議)，您的值區可能包含許多不相關的檔案。在此情況下，如果您知道確切路徑，可以直接將其貼到 Replicate 根目錄路徑 欄位中。 - 按一下 載入 以偵測可用的表格。任何可用的表格都會顯示在 已選取要註冊的表格 清單中。
- 在右側的選取資料來源以探索資料表區域中，提供下列設定：
- 包含所有目前表格： 開啟以登陸所有現有表格。當此選項切換為關閉時，您需要選取個別表格。
擷取後刪除來源檔案： 開啟此選項可在檔案成功處理後，永久從 Replicate S3 值區中移除檔案。
S3 檔案刪除後，所有連接的管線若使用相同的 S3 檔案作為來源，將會變成非作用中且無法運作。因此，您應該只在確定這些檔案未被任何其他管道程序需要時，才啟用此選項。
- 按一下下一步。
- 在 內容類型 步驟中，會從您的 Replicate 資料自動偵測檔案格式 (CSV)。也提供以下選項：
- 歷史資料存放區 (類型 2)：如果您需要維護記錄的歷史版本並保留變更的封存，請開啟此選項。
- 驗證事件已正確載入：您可以選取資料集來驗證其是否包含正確的資料。
- 按一下下一步。
- 檢閱任務組態並按一下 Create 以建立上線任務。
-
按一下準備以將資料任務編入目錄，為執行做好準備。
您可以追蹤任務磚中的準備進度。完成後，應會顯示準備：成功。
-
準備好可開始導入資料時，按一下執行。
後續會發生什麼
一旦啟用，上線任務：
- 開始監控您的 Replicate S3 值區是否有資料變更
- 偵測來自 Replicate 的完整載入和變更資料擷取 (CDC) 檔案
- 處理檔案並在 Qlik 開放湖倉庫 中建立 Iceberg 表格
- 持續監控新資料
- 如果啟用，成功擷取後會自動刪除來源檔案
任務設定
若要變更任務設定，開啟Onboarding_Qlik_Replicate (預設名稱) 任務，然後按一下設定工具列按鈕。
就會開啟 設定：<task name> 對話方塊。
一般標籤
這些選項已在上方 建立登陸任務 的第 7 步中說明。
-
自動包含所有目前和未來的表格
-
擷取後刪除來源檔案
執行時間標籤
變更湖存放庫叢集
限制和考慮事項
一般考慮事項和限制
- 完整載入和重新載入作業可能會遇到處理延遲，然後資料才會出現在 Iceberg 表格中。系統會在完整載入完成後，等待最多 15 分鐘，以確保檔案完整。因此，在 Replicate 中執行完整載入 (排程或手動)，且間隔時間少於 15 分鐘，是不受支援的。
- 空的 Replicate 表格（沒有資料檔案的表格）不會被系統偵測或註冊。
- 如果您啟用擷取後刪除來源檔案，則登陸工作無法重新載入。若要載入資料，您必須在 Replicate 中重新產生它。
- Qlik Replicate 的 已載入表格。 （僅提供英文版）不支援「從...開始處理變更 （僅提供英文版）」進階執行選項。當 2 型 (歷史記錄資料) 啟用時，使用此選項將會損毀歷史記錄表格。
- 不支援結構描述演進。
CDC 對比 Replicate 管道
在從 CDC 來源擷取資料的一般管道中，資料更新至 計量始終指示資料的目前時效性 (例如，1 分鐘前)。這是因為該管道可直接存取資料庫交易記錄，從而即時掌握每個 INSERT/UPDATE/DELETE 事件。然而，在一個從 Replicate 擷取資料的管道中，資料更新至 指標並未指示資料目前的時效性，而且實際上可能會給人一種錯誤的印象，認為資料已過期 (例如，8 小時前)。這是因為 Replicate 管道無法直接存取交易記錄。而是，Replicate 會將檔案寫入 S3 值區，而管道會檢查檔案的建立時間戳記以判斷資料時效性。因此，如果來源資料庫有一段時間沒有新的變更，Replicate 將不會建立新檔案，且 資料更新至 時間戳記將會變舊 (這會給人資料已過時的錯誤印象)。