監控個別資料任務
您可以從資料任務視窗左上方的下拉式功能表選取監控,以監控資料任務的狀態和進度。
您也可以建立監控檢視,以監控數個資料任務。如需詳細資訊,請參閱監控並操作資料任務。
監控登陸和複寫任務
監控登陸和複寫任務的類似之處在於都可以監控初始載入和 CDC,但由於其截然不同的使用情況,有一些顯著的差異。
-
資料管道使用情況:登陸任務
所有登陸任務必須以來源資料至目標的完整載入開始。初始完整載入完成後,會以來源資料的變更來更新目標資料。這可以根據任務定義,使用載入並比較或變更資料擷取 (CDC) 來進行。
如需更多關於登陸任務的資訊,請參閱 從資料來源登陸資料。
-
複寫使用情況:「複寫資料」任務
「複寫資料」任務通常以來源資料至目標的完整載入開始。若從 SaaS 應用程式複寫,則需要這麼做,但若從資料庫複寫,則為選用性質。從資料庫複寫時,若來源資料已存在於目標,且您只希望將來源變更套用至目標 (或儲存以供之後套用),則複寫模式可以是套用變更、儲存變更或兩者皆是。這兩種複寫模式都顯示在 CDC 監控中。
如需更多關於「複寫資料」任務的資訊,請參閱下列主題:
-
複寫使用情況:「在資料湖中登陸資料」任務
「在資料湖中登陸資料」任務類似於必須以完整載入開始的登陸任務。初始完整載入完成後,會以來源資料的變更來更新目標資料。這可以使用載入或變更資料擷取 (CDC) 來進行。雖然與登陸任務類似,但「在資料湖中登陸資料」任務被視為複寫任務,因為這只包含來源至目標複寫。這不可能進一步在下游操縱資料 (例如,使用轉換和資料超市),而在資料管道則可這麼做。
資訊備註建立獨立的「在資料湖中登陸資料」任務的步驟與 Qlik Talend Cloud 啟動器 訂閱無關。透過 Qlik Talend Cloud 啟動器 訂閱,可透過標準「複寫資料」任務,複寫至雲端儲存目標。如需更多關於「在資料湖中登陸資料」任務的資訊,請參閱 透過標準、進階或企業訂閱在資料湖中登陸資料。
監控詳細資訊
您可在完整載入狀態中檢視資料任務的以下詳細資訊:
-
已排入佇列- 目前排入佇列的表格數量。
-
正在載入- 目前載入中的表格數量。
-
已完成- 已完成的表格數量。
-
錯誤 - 發生錯誤的表格數量。
您可以檢視資料任務中每個表格的下列詳細資訊:
-
名稱
目標表格的名稱。
-
狀態
表格狀態將會是:已排入佇列、載入中、已完成或錯誤。
-
已開始
開始載入的時間。
-
已結束
結束載入的時間。
-
持續時間
載入的持續時間,格式為 hh:mm:ss。
-
記錄
載入時所複寫的記錄數量。
-
快取的變更
快取變更的數量。
-
訊息
在未成功處理載入時顯示錯誤訊息。
變更資料擷取 (CDC) 監控詳細資訊
您可在 CDC 狀態中檢視資料任務的以下 CDC 詳細資訊,以監控變更處理:
-
即將進行的變更- 存在於來源處,等待處理的變更數量。您可檢視累積的數量,以及套用的數量。
-
已處理變更- 已處理並且套用的變更數量 (過去 24 小時內)。
-
輸送量- 目標平均輸送量,單位:KB/秒。這表示變更記錄載入至目標端點的速度有多快。
-
延遲- 資料資產目前的延遲 (hh:mm:ss)。這段持續時間表示自變更在來源處可用起,至套用變更、在目標或登陸資產可用為止的時間。
您可以檢視資料任務中每個表格的下列詳細資訊:
-
名稱
登陸資產中的目標表格名稱。
-
狀態
表格狀態將會是:累積變更中或錯誤。
-
上次處理
上次對表格進行變更的日期與時間。
-
插入
插入操作的數量。
-
更新
更新操作的數量。
資訊備註更新會作為 SaaS 應用程式來源的插入內容來處理。 -
刪除
刪除操作的數量。
-
DDL 操作
DDL 操作的數量
資訊備註僅可用於「複寫資料」任務。 -
訊息
若對表格進行變更時失敗而未處理,會顯示錯誤訊息。
如果您是從內部部署的來源登陸資料,並選取完整載入模式,則當登陸資產執行時,會自動重新載入表格。
如果您是從內部部署的來源登陸資料,並選取完整載入與 CDC 模式,則在初次完整載入之後,會持續以新資料更新表格。
載入所選表格
您可以從來源手動載入所選表格。若您想要復原具有錯誤的單一表格,這很實用。載入表格不會影響 CDC 時間表,若您使用重新建立表格,這就會重設。載入表格時不會散佈中繼資料變更。
-
若要載入所選表格,在監控下半部選取表格並按一下載入表格。
您需要執行資料任務時所需的相同權限,亦即擁有者或可以操作角色。
首次執行資料任務後,有載入表格可用。若更新方法是載入並比較,則資料任務執行時沒有載入表格可用。
將會在下次執行時同步下游儲存資料任務。若儲存任務啟用了歷史記錄,將會維持。
若無法透過載入表格來復原,下一步是修復資料任務。
將所有表格載入到目標
若您遇到無法透過載入特定表格來解決的 CDC 問題,可以將所有表格載入到目標。問題範例包括遺失事件、來源資料庫重組造成的問題,或讀取來源資料庫事件失敗。
- 停止資料任務和取用資料任務的所有任務。
-
開啟資料任務並選取監控索引標籤。
-
按一下 ...,然後按一下載入目標。
這會使用捨棄-建立將所有表格載入到目標,並且將會重新啟動從現在起的所有變更資料擷取。
-
將會在下次執行以進行同步時透過比較和套用載入取用登陸資料任務的儲存任務。將會保留現有歷史記錄。將會更新類型 2 歷史記錄,以在執行載入並比較流程後反映變更。
類型 2 歷史記錄中的起始日期時間戳記將會反映載入日期,而不必是來源中發生變更的日期。
-
在儲存同步之前,儲存即時檢視在載入目標操作期間並不可靠。儲存將會在下列情況完全同步:
-
使用比較和套用載入所有表格,
-
為每個表格執行一次變更循環。
-
監控儲存、轉換和資料超市任務
您可以監控儲存、 轉換或資料超市任務的狀態和進度。
-
執行首次載入時,您可以在完整載入狀態中檢視進度。
-
若已經處理變更,您可以檢視目前變更批次的狀態和進度。
-
若已經處理變更,您可以檢視上一個變更批次的狀態和進度。
在監控的下半部,您可以檢視每個資料集的狀態和進度。
您也可以在 SQL 陳述式層級檢視詳細資訊。
檢視狀態和進度
您可以檢視每個資料集或變更的下列詳細資訊:
-
狀態
這顯示此資料集或變更的目前狀態。
-
已完成 :載入或變更已成功完成。
-
載入中:正在處理表格或變更。
-
已排入佇列:表格或變更正在等待處理
-
錯誤:處理表格或變更時發生錯誤。
-
-
已開始
開始處理載入或變更的時間。
-
已結束
結束處理載入或變更的時間。
-
持續時間
處理載入或變更的持續時間格式為 hh:mm:ss。
-
已處理記錄
載入或變更中處理的記錄數量。
-
輸送量 (記錄/秒)
在完成載入之前,不會更新輸送量。
-
訊息
在未成功處理載入或變更時顯示錯誤訊息。
透過複寫任務更新登陸區域時,將會透過新資料持續更新資料集。每個批次與特定時間範圍中的記錄有關。您可以在上一個變更批次中查看最近批次的時間範圍。
截至資料任務更新至顯示的時間,來自所有來源交易的資料都可從此資料任務取用。載入所有表格並且套用第一組變更後,此資訊即可用於資料任務。若您選取以產生即時檢視,也可以在即時檢視更新時檢視。
若在完成初始載入之前有變更批次,則在完成初始載入並套用第一個變更批次之前,將不會更資料任務更新至。例如,假設您正在載入包含訂單資料集 (其中含有 1 百萬筆訂單) 和訂單明細資料集 (其中含有 1 千萬筆訂單明細) 的資料資產。資料集分別需要 10 和 20 分鐘執行完整載入。會先載入訂單資料集,再載入訂單明細資料集。訂單資料集載入時,插入了新的訂單。因此,訂單明細載入時,可能包含新訂單的明細,而這尚未存在於訂單資料集中。只有套用第一個變更批次後,訂單和訂單明細資料集才會同步並且完全更新至相同時間。
檢視詳細資訊
您可以在 SQL 陳述式層級檢視詳細資訊。
-
在監控下面部分的下拉式清單中選取完整載入、目前變更批次或上次變更批次。
-
選取要詳細監控的資料集。
-
按一下監控詳細資訊。
就會顯示監控詳細資訊,您可以檢視對每個載入步驟或變更流程執行的命令。您可以按一下命令以檢視已執行的完整 SQL 陳述式。
-
按一下匯出為 CSV 以為所有列出的命令匯出含有完整 SQL 陳述式的文字檔。
用於檢視畫面的資料任務更新至
資料任務更新至欄位顯示最舊檢視畫面更新的時間。
-
標準檢視
資料任務更新至顯示最舊標準檢視畫面更新的時間。
例如,假設任務有兩個表格:「訂單」和「訂單詳細資訊」。訂單更新至 10:01,具有來自 10:00 和 10:01 的記錄,而訂單詳細資訊只有來自 10:00 的記錄。在此情況下,資料任務更新至 10:00。這不應與資料任務載入的開始和結束時間 (可能是 10:02 至 10:03) 混淆。
-
即時檢視 (儲存資料任務)
資料更新至顯示最舊即時檢視畫面更新的時間。
例如,假設任務有一個「訂單」表格。登陸中的訂單更新至 10:01,具有來自 10:00 和 10:01 的記錄,但儲存中的訂單僅更新至來自 10:00 的記錄。在此情況下,訂單的即時檢視更新至 10:01,而標準檢視更新至 10:00。