儲存串流資料集

下列串流轉換任務設定適用於使用串流來源的 Qlik 開放湖倉庫 專案。

您可以使用串流轉換資料任務來儲存和轉換串流資料。串流資料通常包含需要扁平化的巢狀結構和陣列，並且在儲存階段需要轉換功能。這些功能適用於串流轉換任務，讓您可以在登陸串流資料後立即套用轉換。

儲存空間的設定

若資料平台為 Qlik 開放湖倉庫，您可以設定串流轉換資料任務的屬性。

• 按一下設定。

一般設定

• 任務結構描述

  您可以變更串流轉換任務結構描述的名稱。預設名稱是儲存任務的名稱。

• 內部架構

  您可變更內部儲存空間資料資產架構的名稱。預設名稱是附加 _internal 的儲存任務名稱。

• 用於所有表格和檢視的前置詞

  您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。

  資訊備註若您想要在數個資料任務中使用一個資料庫結構描述，則必須使用唯一前置詞。

• 要使用的資料夾

  您可以變更串流轉換任務儲存資料夾。

• 載入新資料集的設定

  • 僅附加

    新增新的記錄而不修改現有資料。若出現複製記錄，則不會強制執行索引鍵限制。

  • 套用變更 (合併)

    更新現有記錄並根據索引鍵欄位插入新的記錄。

    如果您選擇合併變更，也可以選取下列項目：

    • 透過提供刪除運算式來軟刪除記錄

      定義刪除運算式以標記要刪除的記錄。

    • 保留歷史記錄 (類型 2)

      保留已變更記錄的先前版本。

• 欄取消巢狀

  • 保留巢狀欄

    選取以保留巢狀資料。

  • 對獨立的欄取消巢狀

    預設行為是取消巢狀化為個別欄。

• 目標表格分割

  • 無分割區

    新資料表建立時不含分割區。

  • 依事件日期分割區

    新資料表會依事件擷取日期分割區。

執行時間設定

• 湖存放庫叢集

  您可以變更 Lakehouse 叢集，但這必須支援串流工作負載或混合式工作負載。

結構描述演進設定

• 在根層級新增欄

  新欄在根層級新增至串流登陸任務時，此設定適用。

  • 套用至目標

    自動將新的根層級欄從串流登陸任務新增至串流轉換任務。這是預設設定。

  • 忽略

    不新增新的根層級欄。

  • 停止任務

    如果在串流登陸任務中偵測到新的根層級欄，則停止轉換任務。

• 將欄新增至結構

  在串流登陸任務的現有巢狀結構內部新增新欄位時，此設定適用。

  • 套用至目標

    如果新欄位已新增至登陸結構，則自動將其新增至串流轉換任務中的現有結構。

  • 忽略

    不新增新欄位至現有結構。

  • 停止任務

    如果串流登陸任務中的結構新增欄位，則停止轉換任務。

• 變更欄位資料類型

  • 忽略

    不變更資料類型。

  • 停止任務

    如果串流登陸任務中偵測到資料類型變更，則停止轉換任務。