監視個別資料工作
您可以透過從資料工作視窗左上角的下拉式功能表中選取 監視 來監視資料工作的狀態和進度。
您也可以建立監視檢視以監視多個資料工作。如需詳細資訊,請參閱 監控和操作您的資料工作。
一般監視概述
監視檢視適用於所有工作類型,可讓您追蹤工作狀態和計量:
-
索引標籤
根據工作類型,在可用的索引標籤之間切換,例如 資訊、 完整載入 和 變更處理、 批次 或 串流。如需每個索引標籤的詳細資訊,請參閱下方的相關工作區段。
-
資料集狀態篩選器
資料集資料表上方的橫條圖會顯示每個狀態中的資料集數量:已排隊、載入中、已完成 和 錯誤。該圖表會隨著資料集狀態變更而動態更新。按一下狀態區段可篩選資料集資料表,以僅顯示該狀態中的資料集。
-
隱藏小組件
按一下 隱藏小組件 可摺疊計量小組件。這可提供更多空間來檢視下方的資料集資料表。
-
開始日期
目前工作執行開始的日期和時間。
-
結束日期
工作執行結束的日期和時間。這僅針對已完成的工作執行顯示。
-
執行歷程記錄
按一下 執行歷程記錄 可檢視先前工作執行及其結果的清單。
監視資料移動工作
可用的監視選項由工作類型和連接器類型共同決定。由於某些連接器不支援 CDC (例如 Epicor),因此不會顯示這些連接器與 CDC 相關的監視選項。同樣地,由於某些連接器不支援完整載入 (例如 預覽連接器),因此不會顯示這些連接器與完整載入相關的監視選項。
資料管道使用案例:登陸工作
所有登陸工作都必須從將來源資料完整載入至目標開始。初始完整載入完成後,目標資料會隨來源資料的變更而更新。這可以根據工作定義,使用 重新載入並比較 或 變更資料擷取 (CDC) 來完成。
如需登陸工作的詳細資訊,請參閱 從資料來源登陸資料。
複寫使用案例:「Replicate 資料」工作
「Replicate 資料」工作通常從將來源資料完整載入至目標開始。下表摘要說明完整載入使用案例。
從資料庫進行複寫時,如果來源資料已存在於目標上,且您只想將來源變更套用至目標 (或儲存變更以便稍後套用),則複寫模式可以是 套用變更、儲存變更 或兩者。這兩種複寫模式都會顯示在 CDC 監視中。
如需「Replicate 資料」工作的詳細資訊,請參閱下列主題:
透過 Qlik Talend Cloud 啟動器 訂閱複寫資料
複寫使用案例:「在資料湖中登陸資料」工作
「在資料湖中登陸資料」工作與登陸工作類似,都必須從完整載入開始。初始完整載入完成後,目標資料會隨來源資料的變更而更新。這可以使用 重新載入 或 變更資料擷取 (CDC) 來完成。儘管與登陸工作相似,但「在資料湖中登陸資料」工作被視為複寫工作,因為它們僅包含來源到目標的複寫。它們不提供在下游進一步操作資料的可能性 (例如,使用轉換和資料市集),而這在資料管道中是可用的。
如需「在資料湖中登陸資料」工作的詳細資訊,請參閱 透過標準、進階或企業訂閱在資料湖中登陸資料。
監視詳細資訊
提供下列監視詳細資訊:
-
資訊
-
完整載入
-
變更處理
-
串流
僅適用於串流登陸工作。
資訊 監視詳細資訊
您可以檢視有關工作的基本資訊、執行 ID 以及資料更新時間。對於 CDC 工作,此索引標籤中也提供排程資訊。
完整載入 監視詳細資訊
您可以在 完整載入 中檢視資料工作的下列統計資料:
-
總資料集
已載入的資料集數量。
-
出錯的資料集
處於錯誤狀態的資料集數量。
-
總延遲
工作的目前延遲 (hh:mm:ss)。此持續時間代表從來源中提供變更,到變更套用並在目標或登陸中提供變更的時間。
-
總輸送量
目標輸送量 (KB/秒)。這指出變更記錄載入至目標端點的速度。
您可以檢視資料工作中每個資料集的下列詳細資訊:
-
名稱
目標資料集的名稱。
-
狀態
資料表狀態將為下列其中之一:已排隊、載入中、已完成 或 錯誤。
-
已開始
開始載入的時間。
-
已結束
結束載入的時間。
-
持續時間
載入的持續時間,格式為 hh:mm:ss。
-
記錄
載入期間寫入目標的記錄數。
-
訊息
如果載入未成功處理,則顯示錯誤訊息。
變更處理 監視詳細資訊
變更處理 會顯示在上一次 CDC 執行期間,或在目前執行 (如果尚未完成) 期間套用至所有資料表的變更數。若要查看自工作開始以來套用至個別資料集的變更數,請參閱 資料集 資料表。
您可以檢視下列變更處理統計資料:
-
總資料集
已載入的資料集數量。
-
出錯的資料集
處於錯誤狀態的資料集數量。
-
總延遲
工作的目前延遲 (hh:mm:ss)。此持續時間代表從來源中提供變更,到變更套用並在目標或登陸中提供變更的時間。
-
總輸送量
目標輸送量 (KB/秒)。這指出變更記錄載入至目標端點的速度。
-
總傳入變更
來源中存在且等待處理的變更數。您可以檢視來源中累積了多少變更,以及正在套用多少變更。
-
總套用變更
套用至目標或登陸的變更數。您可以檢視新增、刪除和更新的數量。
您可以檢視資料工作中每個資料表的下列詳細資訊:
-
名稱
登陸資產中目標資料表的名稱。
-
狀態
資料表狀態將為下列其中之一:正在累積變更、 錯誤 或 已完成 (適用於排程的 CDC 工作)。
-
上次處理時間
對資料表進行最後一次變更的日期和時間。
-
插入、更新 和 刪除
資訊備註篩選來源資料集時,插入、更新 和 刪除 欄將分組如下:
-
讀取: 篩選前從來源資料集讀取的變更數 (插入、更新和刪除)。
-
寫入 (篩選後): 篩選後實際寫入目標的變更數 (插入、更新和刪除)。
如需篩選資料集的資訊,請參閱 篩選資料集。
-
插入
插入作業的數量。
-
更新
更新作業的數量。
資訊備註對於 SaaS 應用程式來源,更新會被視為插入處理。 -
刪除
刪除作業的數量。
-
-
DML (插入/更新)
資訊備註篩選來源資料集時,插入、更新 和 刪除 欄將分組如下:
-
讀取 DML (插入/更新): 篩選前從來源資料集讀取的 DML 數 (插入和更新)。
-
寫入 DML (插入/更新): 篩選後實際寫入目標的 DML 數 (插入和更新)。
如需篩選資料集的資訊,請參閱 篩選資料集。
-
-
DDL 作業
DDL 作業的數量
資訊備註僅適用於「Replicate 資料」工作。 -
訊息
如果對資料表的變更失敗且未處理,則顯示錯誤訊息。
如果您是從內部部署來源登陸資料,並選擇了 完整載入 模式,則在 執行 登陸資產時,資料表將自動重新載入。
如果您是從內部部署來源登陸資料,並選擇了 完整載入和 CDC 模式,則在初始完整載入後,資料表將持續以新資料更新。
重新載入選取的資料表
您可以手動從來源重新載入選取的資料表。當您想要復原發生錯誤的單一資料表時,這非常有用。重新載入資料表不會影響 CDC 時間軸,如果您使用 重新建立資料表,該時間軸將會重設。重新載入資料表時不會傳播中介資料變更。
-
若要重新載入選取的資料表,請在 監視 的下半部選取資料表,然後按一下 重新載入資料表。
您需要與執行資料工作所需的相同權限,即 擁有者 或 可操作 角色。
重新載入資料表 在資料工作第一次執行後可用。如果更新方法為 重新載入並比較,則在資料工作執行時,重新載入資料表 不可用。
下游儲存資料工作將在下次執行時進行同步。如果儲存工作已啟用歷程記錄,則會予以保留。
如果無法透過重新載入資料表來復原,下一個步驟是修復資料工作。
重新載入所有資料表至目標
如果您遇到無法透過重新載入特定資料表來解決的 CDC 問題,可以將所有資料表重新載入至目標。問題範例包括遺失事件、來源資料庫重組引起的問題,或讀取來源資料庫事件時失敗。
- 停止資料任務和取用資料任務的所有任務。
-
開啟資料任務並選取監控索引標籤。
-
按一下 ...,然後按一下載入目標。
這會使用捨棄-建立將所有表格載入到目標,並且將會重新啟動從現在起的所有變更資料擷取。
-
將會在下次執行以進行同步時透過比較和套用載入取用登陸資料任務的儲存任務。將會保留現有歷史記錄。將會更新類型 2 歷史記錄,以在執行載入並比較流程後反映變更。
類型 2 歷史記錄中的起始日期時間戳記將會反映載入日期,而不必是來源中發生變更的日期。
-
在儲存同步之前,儲存即時檢視在載入目標操作期間並不可靠。儲存將會在下列情況完全同步:
-
使用比較和套用載入所有表格,
-
為每個表格執行一次變更循環。
-
監視儲存、轉換、資料市集、鏡像、和知識市集工作
您可以監視儲存、轉換、資料市集、鏡像、或知識市集工作的狀態和進度。
提供下列監視詳細資訊:
-
資訊
-
完整載入
-
批次
資訊 監視詳細資訊
您可以檢視有關工作的基本資訊、執行 ID 以及資料更新時間。
完整載入 監視詳細資訊
您可以在 完整載入 中檢視資料工作的下列統計資料:
-
總資料集
已載入的資料集數量。
-
出錯的資料集
處於錯誤狀態的資料集數量。
-
總輸送量
目標輸送量 (KB/秒)。這指出變更記錄載入至目標端點的速度。
批次 監視詳細資訊
您可以檢視變更批次的統計資料:
-
總資料集
已載入的資料集數量。
-
出錯的資料集
處於錯誤狀態的資料集數量。
-
總延遲
工作的目前延遲 (hh:mm:ss)。此持續時間代表從來源中提供變更,到變更套用並在目標或登陸中提供變更的時間。
-
總輸送量
目標輸送量 (KB/秒)。這指出變更記錄載入至目標端點的速度。
-
來源
來源中的延遲和輸送量。
-
目標
目標中的延遲和輸送量。
-
總傳入變更
來源中存在且等待處理的變更數。您可以檢視來源中累積了多少變更,以及正在套用多少變更。
-
總套用變更
套用至目標或登陸的變更數。您可以檢視新增、刪除和更新的數量。
檢視狀態和進度
您可以在 資料集 中檢視每個資料集或變更的下列詳細資訊:
-
名稱
目標資料集的名稱。
-
狀態
資料表狀態將為下列其中之一:已排隊、載入中、已完成 或 錯誤。
-
已開始
開始載入的時間。
-
已結束
結束載入的時間。
-
持續時間
載入的持續時間,格式為 hh:mm:ss。
-
記錄
載入期間寫入目標的記錄數。
-
訊息
如果載入未成功處理,則顯示錯誤訊息。
從所有來源交易到 資料工作已更新至 中顯示的時間為止的資料,均可用於此資料工作的取用。一旦載入所有資料表並套用第一組變更,即可取得資料工作的此資訊。如果您選擇產生即時檢視,您也可以檢視即時檢視的更新時間。
如果在初始載入完成之前有一批變更,則在初始載入完成且套用第一批變更之前,將不會更新 資料工作已更新至。例如,假設您正在載入一個資料資產,其中包含一個包含 100 萬個訂單的訂單資料集,以及一個包含 1000 萬個訂單詳細資料的訂單詳細資料資料集。這些資料集分別需要 10 分鐘和 20 分鐘來執行完整載入。先載入訂單資料集,然後載入訂單詳細資料資料集。在載入訂單資料集時,插入了一個新訂單。因此,當載入訂單詳細資料時,它可能包含新訂單的詳細資料,而該訂單在訂單資料集中尚不存在。只有在套用第一批變更後,訂單和訂單詳細資料資料集才會同步並完全更新至相同時間。
檢視詳細資訊
您可以檢視 SQL 陳述式層級的詳細資訊。
-
選取要詳細監視的資料集。
-
按一下 監視詳細資訊。
系統會顯示 監視詳細資訊,您可以檢視針對載入或變更程序的每個步驟執行的命令。您可以按一下命令以檢視已執行的完整 SQL 陳述式。
-
按一下 匯出至 CSV 可匯出包含所有列出命令之完整 SQL 陳述式的文字檔案。
資料工作已更新至 檢視
The 資料工作已更新至 欄位會顯示最舊檢視更新至的時間。
-
標準檢視
資料工作已更新至 會顯示最舊標準檢視更新至的時間。
例如,假設一個工作有兩個資料表:Orders 和 Order details。Orders 已更新至 10:01,其中包含來自 10:00 和 10:01 的記錄,而 Order details 僅包含來自 10:00 的記錄。在此情況下,資料工作已更新至 10:00。這不應與資料工作載入的開始 and 結束時間混淆,後者可能是 10:02 到 10:03。
-
即時檢視 (儲存資料工作)
資料工作已更新至 會顯示最舊即時檢視更新至的時間。
例如,假設一個工作有一個 Orders 資料表。登陸中的 Orders 已更新至 10:01,其中包含來自 10:00 和 10:01 的記錄,但儲存中的 Orders 僅更新至來自 10:00 的記錄。在此情況下,Orders 的即時檢視已更新至 10:01,而標準檢視已更新至 10:00。
檢視執行歷程記錄
您可以檢視任務的執行歷程記錄,以識別根本原因並瞭解一段時間內的模式。
-
在任務的 監控 檢視中,按一下 執行歷程記錄。
-
在 監控檢視 中任務的 ... 功能表中,按一下 執行歷程記錄。
根據您的篩選條件選擇,執行歷程記錄中最多會顯示 100 次執行。精簡您的篩選條件以查看其他執行。您可以根據執行結束日期和任務狀態進行篩選。執行資訊會保留 13 個月。執行中的資料集中繼資料會保留 30 天。
按鈕指示。