跳到主要內容
在雲端資料倉庫中建立進行變更處理的儲存空間資料資產

在此頁面

在雲端資料倉庫中建立進行變更處理的儲存空間資料資產

您在 資料服務 首頁中建立儲存空間資料資產,您可以從導覽列存取該首頁。儲存空間資料資產從雲端登陸區域選取資料,例如 Snowflake,並將資料轉換為表格以進行分析。根據使用 CDC (變更資料擷取) 的輸入資料資產的變更,資料會定期套用至表格。還會建立檢視,讓儲存表格中的資料存取更通用。

簡介

當您在雲端資料倉庫中產生資料時,會產生儲存表格、變更表格和檢視畫面。取用資料時,最佳做法是使用檢視。與表格相比,檢視提供多種優點,包括改善資料並行。如果您不確定要使用哪一個檢視,請先嘗試表格的標準檢視。

永遠會建立下列表格和檢視:

  • 表格

    表格包含儲存的實際資料。

  • 用於表格的標準檢視

    用於表格的標準檢視只能讓您查看已套用至表格的資料。這意味著它不包括尚未套用的最新變更表格資料。若一致性的優先順序高於延遲,則可以使用標準檢視。

  • 變更表格檢視

    此為登陸架構中的變更表格檢視。

您也可以選取以建立下列進階檢視:

  • 帶標頭的標準檢視

    這是表格的標準檢視,含有由儲存資料資產所產生的附加標頭欄位。

  • 即使檢視

    即時檢視包括尚未套用的變更表格資料。這可讓您查看低延遲的資料,而不必頻繁套用變更的資料。即時檢視的效率低於標準檢視,而且需要更多資源。

如需更多關於所產生的表格和檢視的詳細資訊,請參閱 產生的表格和檢視的結構

建立儲存空間資料資產

  1. 在資料整合首頁按一下新增,然後選取建立資料資產
  2. 建立資料資產對話方塊中,填寫下列欄位:

    • 名稱:資料資產的名稱。

    • 空間:指定資料資產的目的地空間。

    • 資產類型:選取儲存空間 (雲端資料倉庫)

    • 選取開啟以在建立時開啟資料資產。

    在您準備好時按一下建立

  3. 按一下選取來源資料

  4. 選取您想要作為儲存空間資料資產的來源使用的登陸資料資產,然後按一下選取。透過任務類型 完整載入 + CDC選取登陸資料資產。任務類型顯示在清單檢視中。

    隨即顯示設定對話方塊。

  5. 設定儲存的設定

    • 連線

      選取對於雲端資料倉庫具有寫入權限的資料連線,以及對登陸資料資產使用的雲端資料倉庫具有讀取權限的資料連線。若您沒有資料連線,則需要建立。

      資訊備註混合式資料傳送不支援 OAuth 驗證。
    • 內部架構

      這是將會在此建立表格的架構名稱。

    • 資料資產架構

      這是將會在此建立檢視的架構名稱。

    資訊備註您可以使用與內部架構資料資產架構相同的架構,但各自保持獨立可讓您對架構設定不同的存取權限。例如,您可以限制對於內部架構的存取權限,並允許所有取用者存取資料資產架構
  6. 設定表格和檢視的設定

    永遠會建立下列內容:

    • 表格

    • 用於表格的標準檢視

    • 用於變更表格的標準檢視

    您也可以選取以建立下列檢視:

    • 帶標頭的標準檢視

    • 即時檢視

      若您希望即時檢視具有交易一致性,選取交易一致性即時檢視。選取此項後,會在每個批次的更新後更新狀態表格,依照預設是每分鐘 (如有變更)。這需要更頻繁地存取雲端資料庫。根據雲端資料庫廠商,這可能表示雲端資料庫永遠不會因為閒置而暫停。

  7. 設定前置詞和後置詞的設定

    您可以設定前置詞,以識別此資料資產產生的資源。這還允許您在多個資料資產中重複使用相同的結構描述,因為您可以透過前置詞區分表格和檢視。

    您也可以為產生的檢視設定後置詞。

  8. 設定執行時間的設定

    • 您可以使用分鐘設定套用間隔

      這會設定變更的資料套用至儲存表格的頻率。間隔範圍從 1 分鐘到 1440 分鐘 (7 天)。

      建議您不要將此間隔設定為低於相關 Qlik Replicate 任務中的更新頻率。更常套用資料也會造成雲端目標中有更高的資源成本。

      作為替代選項,若您偶爾需要低延遲資料,可以保留高的套用間隔,並使用即時檢視。

    • 您可以在平行執行中設定資料庫連線的數量上限。

    可以在資料資產編入目錄並執行之後變更執行時間參數。變更將會影響下次實際處理。

  9. 按一下確定以確認您的設定。您現在可以先預覽表格結構,再開始產生資料集。

  10. 按一下儲存以儲存資料資產。

  11. 按一下執行以開始產生資料集。

若您已經執行登陸資料的完整載入,現在將會產生表格並填入資料。

監控表格產生

您可以按一下監控,以監控狀態和表格產生進度。執行首次載入時,您可以在完整載入狀態中檢視進度。若已經處理變更,您也可以檢視上一個變更批次的狀態和進度。

您可以檢視每個表格或變更的下列詳細資訊:

  • 狀態

    這顯示此表格或變更的目前狀態。

    • 已完成 - 載入或變更已成功完成。

    • 載入中 - 正在處理表格或變更。

    • 已排入佇列 - 表格或變更正在等待處理

    • 錯誤 - 處理表格或變更時發生錯誤。

  • 已開始

    開始處理載入或變更的時間。

  • 已結束

    結束處理載入或變更的時間。

  • 持續時間

    處理載入或變更的持續時間格式為 hh:mm:ss

  • 已處理記錄

    載入或變更中處理的記錄數量。

  • 輸送量 (記錄/秒)

    在完成載入之前,不會更新輸送量。

  • 訊息

    在未成功處理載入或變更時顯示錯誤訊息。

透過複寫任務更新登陸區域時,將會透過新資料持續更新表格。每個批次與特定時間範圍中的記錄有關。您可以在上一個變更批次中查看最近批次的時間範圍。

您也可以在 資料服務 首頁檢查資料資產卡片。當資料更新至顯示上次更新的日期和時間時,表格應可在分析中心內的資料之下使用。

截至資料資產更新至顯示的時間,來自所有來源交易的資料都可從此資料資產取用。載入所有表格並且套用第一組變更後,此資訊即可用於資料資產。若您選取以產生即時檢視,也可以在即時檢視更新時檢視。

若在完成初始載入之前有變更批次,則在完成初始載入並套用第一個變更批次之前,將不會更新資產卡片中的資料更新至。例如,假設您正在載入包含訂單表格 (其中含有 1 百萬筆訂單) 和訂單明細表格 (其中含有 1 千萬筆訂單明細) 的資料資產。表格分別需要 10 和 20 分鐘執行完整載入。會先載入訂單表格,再載入訂單明細表格。訂單表格載入時,插入了新的訂單。因此,訂單明細載入時,可能包含新訂單的明細,而這尚未存在於訂單表格中。只有套用第一個變更批次後,訂單和訂單明細表格才會同步並且完全更新至相同時間。

資訊備註若您已經開始產生表格,則無法變更設定或包括的資料集。

操作儲存空間資料資產

您可以從 資料服務 首頁的資產功能表在儲存空間資料資產執行下列操作。

  • 開啟

    這會開啟儲存空間資料資產。您可以檢視表格結構和關於資料資產的詳細資訊,並監控完整載入和變更批次的狀態。

  • 編輯

    您可以編輯資產的名稱和說明並新增標記。

  • 停止

    您可以停止資料資產的操作。資料資產將不會繼續更新表格。

  • 繼續

    您可以從停止的地方繼續操作資料資產。

  • 刪除

    您可以刪除資料資產。

載入表格

您可以在儲存空間資料資產開啟以及應用程式執行時,載入表格。載入會在處理下一批次的變更時開始。

若登陸資料比 96 小時更舊,您需要在執行此資料資產之前,於回饋此資料資產的登陸資料資產中載入表格。

  • 若要載入所有表格:

    按一下 ,然後按一下載入

  • 若要載入特定表格:

    1. 開啟監控索引標籤。

    2. 選取您要載入的表格。

    3. 按一下載入表格

Replicate 任務中發生錯誤,您必須先從 Replicate 任務載入登陸資料資產,才能在儲存空間資料資產中執行載入。

產生的表格和檢視的結構

此區段描述資料資產架構和內部架構中產生的表格和檢視的結構。

所有表格和檢視都由 Qlik 資料服務 管理。請勿使用其他工具改變資料。

由從使用變更處理之登陸資料資產讀取的儲存空間資料資產產生的表格和檢視

表格

表格在內部架構中產生。

命名:<INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME><suffix for tables>

下列標頭欄位已新增至表格結構。

表格標頭欄位
欄位 類型 描述
hdr__key_hash binary(20)

所有記錄主要金鑰的雜湊。

雜湊格式為 SHA1。欄位由退格鍵字元分隔。

hdr__timestamp 時間戳記

使用 UTC 的時間戳記

  • 對於取自完整載入的資料,這將會是完整載入開始時間。

  • 對於透過變更表格而來的變更,這將會是記錄的時間戳記欄位。

hdr__operation string(1)

此記錄的最新操作。

  • U - 已從變更表格更新。

  • I - 已從變更表格插入。

  • L - 已透過完整載入任務插入。

在登陸資料中刪除會轉化為硬刪除。

資產狀態表格

資產狀態表格在內部架構中產生。這用來維持上次套用的順序以及上次透過 Qlik Replicate 報告的順序,以獲得交易一致性。資料資產中的所有物件都使用相同的資產狀態表格。

命名:<INTERNAL_SCHEMA>.[<PREFIX>]ASSET_STATE__<DATA_ASSET_ID>

資產狀態表格欄位
欄位 類型 描述
hdr__dataset_id binary(20)

資料集 ID。

hdr__change_seq string(35)

上次變更順序已套用。

hdr__timestamp 時間戳記

上次進行的交易時間已使用 UTC 套用。

用於表格的標準檢視

在資料資產架構中會為每個選取的來源表格產生含標頭的標準檢視。此檢視包括來自表格結構的所有原始欄位,但不包括在內部架構中新增至表格的標頭欄位。

命名: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< 表格標準檢視的後置詞>

帶標頭的標準檢視

在資料資產架構中會為每個選取的來源表格選擇性產生含標頭的標準檢視。此檢視包括新增至表格的標頭欄位。

命名: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< 含標頭之標準檢視的後置詞>

即時檢視

即時檢視顯示每個所選來源表格的檢視,這些表格都透過變更表格中的變更合併表格。這能以即時資料檢視來查詢,不必等待下次套用週期。從更改表視圖合併的更改在使用來自 Replicate 的事件的表之間是事務一致的。即時檢視在資料資產架構中產生。

依照預設,如有變更,即時檢視資料資產每分鐘在雲端目標中執行一次操作。這可在 Qlik Replicate 中變更。

命名: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< 即時檢視的後置詞>

變更表格檢視

此為登陸架構中每個所選來源表格的變更表格檢視。

命名: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< 變更表格檢視的後置詞>

下列標頭欄位已新增至表格結構。

變更表格標頭欄位
欄位 類型 描述
hdr__change_seq string(35) Qlik Replicate 變更順序。
hdr__operation string(1)

此記錄的最新操作。

  • U - 已更新。

  • I - 已插入。

  • D - 已刪除。

hdr__timestamp 時間戳記

Qlik Replicate 使用 UTC 的時間戳記。

hdr__key_hash binary(20)

來自 Qlik Replicate 變更表格的所有記錄主要金鑰的雜湊。