# 儲存串流資料集 下列串流轉換任務設定適用於使用串流來源的 Qlik 開放湖倉庫 專案。 您可以使用串流轉換資料任務來儲存和轉換串流資料。串流資料通常包含需要扁平化的巢狀結構和陣列，並且在儲存階段需要轉換功能。這些功能適用於串流轉換任務，讓您可以在登陸串流資料後立即套用轉換。 ## 管理資料集精細度 您可以扁平化巢狀結構和陣列以增加精細度。精細度會顯示在資料集檢視中。按一下the 編輯 icon 編輯粒度： * 從陣列中選取欄位將會導致目標資料表包含每個元素一列。這會增加目標中的列數。 * 您必須從相同的陣列路徑選取欄位。從不同路徑選取欄位將會引發驗證錯誤。 * 顯示的資料類型反映選取的精細度。例如，ARRAY<INT> 在扁平化時會變成 INT。如需更多資訊，請參閱[資料類型對應](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/onboarding-data-streaming.htm#Data)。 ## 刪除任務 如果資料任務未執行，且相同專案中沒有下游任務的相依性，您可以刪除該資料任務。 * 在專案的管線專案檢視中，按一下任務上的the 刪除 icon，然後選取。 任務建立的成品 (表格和檢視) 也會被刪除，除非您選擇保留它們。 資訊備註請記住，您保留的成品將不再由任務更新。 ## 檢視任務資訊 按一下功能表長條上的 the 資訊 icon 以檢視任務資訊，例如： * 擁有者 * 空間 * 資料平台 * 專案 ID * 資料任務執行階段 ID ## 串流轉換設定 若資料平台為 Qlik 開放湖倉庫，您可以設定串流轉換資料任務的屬性。 * 按一下設定。 ### 一般設定 * 任務結構描述 您可以變更串流轉換任務結構描述的名稱。預設名稱是儲存任務的名稱。 * 內部架構 您可變更內部儲存空間資料資產架構的名稱。預設名稱是附加 \_internal 的儲存任務名稱。 * 用於所有表格和檢視的前置詞 您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。 資訊備註若您想要在數個資料任務中使用一個資料庫結構描述，則必須使用唯一前置詞。 * 要使用的資料夾 您可以變更串流轉換任務儲存資料夾。 * 載入新資料集的設定 * 僅限追加 新增新的記錄而不修改現有資料。若出現複製記錄，則不會強制執行索引鍵限制。 * 套用變更 更新現有記錄並根據索引鍵欄位插入新的記錄。 如果您選擇合併變更，也可以選取下列項目： * 透過提供刪除運算式來軟刪除記錄 定義刪除運算式以標記要刪除的記錄。 * 保留歷史記錄 (類型 2) 保留已變更記錄的先前版本。 * 欄取消巢狀 * 保留巢狀欄 選取以保留巢狀資料。 * 解除巢狀結構為個別欄 預設行為是將資料取消巢狀化為個別欄。 * 目標表格分割 資訊備註此選項僅在載入設定中選取僅附加時可用。 * 無分割區 新資料表建立時不含分割區。 * 依事件日期分割區 新資料表會依事件擷取日期分割區。 * 資料變更處理 資訊備註只有在 載入設定 中選取 套用變更 時，此選項才可用。 * 包含軟刪除：輸入運算式以定義要標記為刪除的記錄。 * 建立歷程資料存放區 (類型 2)：這將保留已變更記錄的先前版本。 * 留存管理 * 沒有分割剪除 * 目前快照分割剪除 ### 資料表定義 * hdr\_\_from\_timestamp 啟用此選項時，hdr\_\_from\_timestamp 標頭欄將出現在標準檢視中。此外，在入門精靈中選取 依事件擷取日期分割 時，hdr\_\_from\_timestamp 將用作預設分割欄。 資訊備註無論此設定為何，歷程記錄檢視一律包含所有標準檢視標頭欄。 ### 執行時間設定 * 湖存放庫叢集 您可以變更 Lakehouse 叢集，但這必須支援串流工作負載或混合式工作負載。 ### 結構描述演進設定 * 新增資料集 新增資料集至串流登陸任務時，此設定適用。 資訊備註僅在從 Kafka 串流登陸讀取時才支援。 * 套用至目標 自動將新的資料集從串流登陸任務新增至串流轉換任務。這是預設設定。 * 忽略 不新增資料集。 * 在根層級新增欄 新欄在根層級新增至串流登陸任務時，此設定適用。 * 套用至目標 自動將新的根層級欄從串流登陸任務新增至串流轉換任務。這是預設設定。 * 忽略 不新增新的根層級欄。 * 停止任務 如果在串流登陸任務中偵測到新的根層級欄，則停止轉換任務。 * 將欄新增至結構 在串流登陸任務的現有巢狀結構內部新增新欄位時，此設定適用。 * 套用至目標 如果新欄位已新增至登陸結構，則自動將其新增至串流轉換任務中的現有結構。 * 忽略 不新增新欄位至現有結構。 * 停止任務 如果串流登陸任務中的結構新增欄位，則停止轉換任務。 * 變更欄位資料類型 * 忽略 不變更資料類型。 * 停止任務 如果串流登陸任務中偵測到資料類型變更，則停止轉換任務。 ## 資料集設定 下列設定適用於 設計 檢視 > 資料集 中的所有資料集。 按一下the 更多 icon 在資料集旁邊，並選取 設定。 * 資料載入處理 選取資料如何載入到目標表格中。 * 僅限追加 新增新的記錄而不修改現有資料。若出現複製記錄，則不會強制執行索引鍵限制。 * 套用變更 更新現有記錄並根據索引鍵欄位插入新的記錄。 * 資料變更處理 資訊備註只有在 載入設定 中選取 套用變更 時，此選項才可用。 * 包含軟刪除：輸入運算式以定義要標記為刪除的記錄。這應該是若變更是軟刪除則驗證為 True 的運算式。 範例： operation = 'D' * 建立歷程資料存放區 (類型 2)：這將保留已變更記錄的先前版本。 * 分割欄 資訊備註此選項僅在載入設定中選取僅附加時可用。 您可以選擇性地選取分割欄以最佳化效能。 點擊 新增欄 以新增分割區欄，然後選取 轉換，並視需要設定 參數。 * 保留管理 分割區修剪會移除超過保留期間的分割區。這不會實際刪除資料，也不會立即影響較舊的快照。較舊的資料可能仍可在較舊的快照中取得，直到它們過期為止。 資訊備註僅在分割區至少有一個日期或日期時間欄時顯示。 * 沒有分割剪除 * 目前快照分割剪除 * 排序欄 資訊備註此選項僅在載入設定中選取僅附加時可用。 您可以選擇性地指定 Iceberg 表格的每個檔案內將會排序哪些資料的欄。在資料擷取期間，Iceberg 會使用這些欄排序記錄。在查詢中頻繁使用的欄位上定義排序鍵，可以改善資料局部性，帶來更快的讀取效能以及更有效率的壓縮。正確設定的排序索引鍵可確保您的資料有最佳的組織，以利查詢效能。 按一下新增欄以新增排序欄，然後設定排序順序。 * 快照到期持續時間 此設定控制快照保留多長時間，這會大幅影響表格大小和儲存成本。對於經常更新的表格，建議使用較短的持續時間，以協助降低儲存成本。 資訊備註輸入 0 以停用快照到期。 * 標準檢視標頭 * 繼承資料任務設定 這是預設值。如果您只想為此資料集設定特定的標題欄，請停用。 * hdr\_\_from\_timestamp 啟用此選項時，hdr\_\_from\_timestamp 標頭欄將出現在標準檢視中。此外，在入門精靈中選取 依事件擷取日期分割 時，hdr\_\_from\_timestamp 將用作預設分割欄。 資訊備註無論此設定為何，歷程記錄檢視一律包含所有標準檢視標頭欄。