Iceberg 最佳化流程

用於 Apache Iceberg 的 調適型最佳化工具 是智慧代理程式，可以持續稽核您的資料檔案，並最佳化其組織和儲存方式，帶來更快的查詢速度和更低的儲存成本。

Qlik 使用最佳化流程來增強 Qlik 開放湖倉庫 中 Iceberg 表格的效能和可管理性。這些流程旨在維持高效率儲存並確保優質的查詢效能。在背景自動最佳化您的湖存放庫，可以減少手動監控、故障排除和維護任務的營運開銷。

調適型最佳化工具

調適型最佳化工具 執行演算法分析，以判定如何最佳化 Iceberg 表格以產生最大的影響。代理程式決定何時以及如何最佳化您的 Iceberg 資料，並根據資料設定檔、表格屬性、列層級變更頻率、成本和效能特徵等因素，計算何時刪除檔案。

調適型最佳化工具 使用先進的演算法不斷評估和組合這些因素，藉此為每個表格產生最佳的最佳化，確保查詢速度保持在較高水準且儲存成本較低。在擷取和壓縮期間，調適型最佳化工具 收集並重新整理表格統計資料，而無需分析每個表格。這些統計資料可協助查詢引擎規劃和執行 Iceberg 表格上的查詢。

智慧最佳化獨特地適應您的資料，以改善湖健康和查詢效能。資料湖存放庫中並非所有表格都是平等建立，因此 調適型最佳化工具 會根據原始資料的個別特徵進行調整。這以獨特的方式建構、組織和最化每個表格。

以下關鍵最佳化流程由 Qlik 自動執行，無需干預：

持續壓縮

壓縮流程正在進行，並專門針對串流資料進行了最佳化，但支援所有工作負載。壓縮涉及：

• 監控和選取：定期檢查潛在的壓縮機會。

• 最化標準：選取預測查詢效能的提升程度和成本的降低程度最大的壓縮。此決定與執行壓縮的成本有關，該方法可確保 Iceberg 表格保持查詢效能的最佳化，而不會產生不必要的運算成本。

快照過期

Iceberg 操作會產生新的快照，可供使用者查詢。快照可實現時間旅行等功能。不過，儲存這些快照可能會導致儲存需求增加。為了解決這個問題，Qlik 會自動移除舊的快照。清理流程每隔幾個小時執行一次，確保僅保留必要的快照以最佳化儲存空間使用情況。

懸空檔案清理

在 Iceberg 操作期間，檔案有時候可能會未受到參考或「懸空」。懸空檔案會不斷累積，導致儲存成本增加。Qlik 每天清理偵測到的懸空檔案，以減少額外的儲存成本。清理操作會自動從表格儲存位置尋找並移除懸空檔案，進而保持整潔且合乎成本效益的儲存環境。