儲存串流資料集
下列「串流轉換」工作設定適用於使用串流來源的 Qlik 開放湖倉庫 專案。
您可以使用「串流轉換資料」工作來儲存和轉換串流資料。串流資料通常包含需要壓平合併的巢狀結構和陣列，且在儲存階段需要轉換功能。這些功能可用於「串流轉換」工作，讓您在登陸串流資料後立即套用轉換。
管理資料集細微度
您可以壓平合併巢狀結構和陣列以增加細微度。細微度會顯示在「資料集」檢視中。按一下 
以編輯細微度：
-
從陣列中選取欄位將導致目標表格每個元素包含一個資料列。這將增加目標中的資料列數。
-
您必須從相同的陣列路徑選取欄位。從不同路徑選取欄位將引發驗證錯誤。
-
顯示的資料類型反映所選的細微度。例如，ARRAY<INT> 在壓平合併時會變成 INT。如需詳細資訊，請參閱 資料類型對應。
刪除工作
如果資料任務未執行，且相同專案中沒有下游任務的相依性，您可以刪除該資料任務。
-
在專案的管線專案檢視中，按一下任務上的
，然後選取刪除。
任務建立的成品 (表格和檢視) 也會被刪除，除非您選擇保留它們。
檢視任務資訊
按一下功能表長條上的 
以檢視任務資訊，例如：
-
擁有者
-
空間
-
資料平台
-
專案 ID
-
資料任務執行階段 ID
串流轉換設定
當資料平台為 Qlik 開放湖倉庫 時，您可以設定「串流轉換資料」工作的屬性。
-
按一下設定。
一般設定
-
工作架構
您可以變更「串流轉換」工作架構的名稱。預設名稱為儲存工作的名稱。
-
內部架構
您可以變更內部儲存資料資產架構的名稱。預設名稱為附加 _internal 的儲存工作名稱。
- 用於所有表格和檢視的前置詞
您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。
資訊備註若您想要在數個資料任務中使用一個資料庫結構描述，則必須使用唯一前置詞。 -
要使用的資料夾
您可以變更「串流轉換」工作儲存資料夾。
-
新資料集的載入設定
-
僅附加
新增記錄而不修改現有資料。如果到達複製記錄，則不會強制執行索引鍵條件約束。
-
套用變更
根據索引鍵欄位更新現有記錄並插入新記錄。
如果您選擇合併變更，您也可以選取下列項目：
-
透過提供刪除運算式來軟刪除記錄
定義刪除運算式以將記錄標記為刪除。
-
保留歷史記錄 (類型 2)
保留已變更記錄的先前版本。
-
-
-
欄取消巢狀
-
保留巢狀欄
選取以保留巢狀資料。
-
取消巢狀為個別欄
預設行為是將資料取消巢狀為個別欄。
-
-
目標表格分割區
資訊備註只有在載入設定中選取僅附加時，才可使用此選項。-
無分割區
建立新表格時不包含分割區。
-
依事件日期分割
新表格會依擷取事件的日期進行分割。
-
-
資料變更處理
資訊備註只有在載入設定中選取套用變更時，才可使用此選項。-
包含軟刪除：輸入運算式以定義要標記為刪除的記錄。
-
建立歷史資料存放區 (類型 2)：這將保留已變更記錄的先前版本。
-
- 保留管理
-
無分割區剪除
-
目前快照分割區剪除
-
表格定義
-
hdr__from_timestamp
啟用此選項時，hdr__from_timestamp 標頭欄將出現在標準檢視中。此外，在入門精靈中選取 依事件擷取日期分割 時，hdr__from_timestamp 將用作預設分割欄。
資訊備註無論此設定為何，歷程記錄檢視一律包含所有標準檢視標頭欄。
執行階段設定
-
Lakehouse 叢集
您可以變更 lakehouse 叢集，但這必須支援串流工作負載或混合工作負載。
架構演進設定
-
在根層級新增欄
當在根層級將新欄新增至串流登陸工作時，會套用此設定。
-
套用至目標
自動將「串流登陸」工作中的新根層級欄新增至「串流轉換」工作。這是預設設定。
-
忽略
不新增新的根層級欄。
-
停止工作
如果在串流登陸工作中偵測到新的根層級欄，則停止轉換工作。
-
-
將欄新增至結構
當在串流登陸工作中的現有巢狀結構內新增欄位時，會套用此設定。
- 套用至目標
如果將新欄位新增至登陸結構，則會自動將其新增至「串流轉換」工作中的現有結構。
-
忽略
不將新欄位新增至現有結構。
-
停止工作
如果將新欄位新增至「串流登陸」工作中的結構，則停止轉換工作。
- 套用至目標
-
變更欄位資料類型
- 忽略
不變更資料類型。
-
停止工作
如果在「串流登陸」工作中偵測到資料類型變更，則停止轉換工作。
- 忽略
資料集設定
下列設定適用於設計檢視 > 資料集中的所有資料集。
按一下資料集旁邊的 
，然後選取設定。
-
資料載入處理
選取將資料載入目標表格的方式。
-
僅附加
新增記錄而不修改現有資料。如果到達複製記錄，則不會強制執行索引鍵條件約束。
-
套用變更
根據索引鍵欄位更新現有記錄並插入新記錄。
-
-
資料變更處理
資訊備註只有在載入設定中選取套用變更時，才可使用此選項。-
包含軟刪除：輸入運算式以定義要標記為刪除的記錄。這應該是如果變更為軟刪除則驗證為 True 的運算式。
範例： operation = 'D'
-
建立歷史資料存放區 (類型 2)：這將保留已變更記錄的先前版本。
-
-
分割區欄
您可以選擇性地選取分割區欄以最佳化效能。
按一下新增欄以新增分割區欄，然後選取轉換，並在需要時設定參數。
-
保留管理
分割區剪除會移除早於保留期間的分割區。這不會實體刪除資料，也不會立即影響較舊的快照。較舊的資料可能會在較舊的快照中提供，直到它們過期為止。
資訊備註只有在分割區至少有一個日期或日期時間欄時才會出現。-
無分割區剪除
-
目前快照分割區剪除
-
-
排序欄
資訊備註只有在載入設定中選取僅附加時，才可使用此選項。您可以選擇性地指定在 Iceberg 表格的每個檔案中用來排序資料的欄。在資料擷取期間，Iceberg 會使用這些欄來排序記錄。在查詢中經常使用的欄上定義排序索引鍵可改善資料局部性，從而產生更快的讀取效能和更有效率的壓縮。正確設定的排序索引鍵可確保您的資料以最佳方式組織，以獲得查詢效能。
按一下新增欄以新增排序欄，然後設定排序順序。
-
快照過期持續時間
此設定控制保留快照的時間長度，這會顯著影響表格大小和儲存成本。對於經常更新的表格，建議使用較短的持續時間以協助降低儲存成本。
資訊備註輸入 0 以停用快照過期。 -
標準檢視標頭
-
從資料工作設定繼承
這是預設值。如果您只想為此資料集設定特定的標頭欄，請停用。
-
hdr__from_timestamp
啟用此選項時，hdr__from_timestamp 標頭欄將出現在標準檢視中。此外，在入門精靈中選取 依事件擷取日期分割 時，hdr__from_timestamp 將用作預設分割欄。
資訊備註無論此設定為何，歷程記錄檢視一律包含所有標準檢視標頭欄。
-