將串流資料登陸至 Qlik 開放湖倉庫
您可以將來自串流來源的資料登陸至 Amazon S3，準備好讓「串流轉換」任務將其轉換為 Iceberg 開放資料表格式。
將串流資料登陸至 Qlik 開放湖倉庫 需要預先設定的 Amazon S3 值區。Qlik 開放湖倉庫 專為高容量資料來源進行最佳化，並與所有 Qlik 支援的串流資料來源相容。如需有關支援的串流來源的詳細資訊，請參閱 連接資料串流。
原始資料以 Avro 格式登陸至 S3，然後「串流轉換」任務會將資料轉換為 Iceberg 格式。Iceberg 規格可讓原生支援 Trino SQL 的任何引擎 (例如 Amazon Athena、Ahana 或 Starburst Enterprise) 查詢資料。您可以選擇將資料表鏡像至您的雲端資料倉庫，在該處可以查詢資料而無需複製資料。
準備工作
-
確保您已設定 Qlik 開放湖倉庫。這包括建立網路整合、Lakehouse 叢集，以及來源和目標連線。如需詳細資訊，請參閱 設定 Qlik 開放湖倉庫。
-
若要將資料鏡像至您的雲端資料倉庫，您必須先建立 Qlik 開放湖倉庫 專案以擷取資料，並使用 Iceberg 開放資料表格式儲存資料。您可以在「串流轉換」任務之後新增「鏡像資料」任務。如需詳細資訊，請參閱 將資料鏡像到雲端資料倉庫。
建立串流登陸任務
若要建立串流登陸任務，請執行下列操作以先建立專案：
-
建立專案，並在 使用案例 中選取 資料管道。
-
在 資料平台 中選取 Qlik 開放湖倉庫，並建立與資料目錄的連線。
-
在 登陸目標連線 中設定儲存區域。
-
按一下 建立 以建立專案。
當您在專案中載入資料或建立登陸任務時，會建立 串流登陸任務，而不是 登陸 任務。串流登陸任務 的運作和行為類似於 登陸 任務，不同之處在於它們將資料從串流來源登陸至雲端儲存。如需詳細資訊，請參閱 連接資料串流。
所有檔案均以 Avro 格式登陸。在登陸資料更新後，串流轉換任務 會使用登陸資料並更新外部資料表。
檢視任務資訊
按一下功能表長條上的 
以檢視任務資訊，例如：
-
擁有者
-
空間
-
資料平台
-
專案 ID
-
資料任務執行階段 ID
操作
串流登陸任務中提供下列操作：
-
捨棄欄
選取欄並按一下 移除。
這將新增一個轉換規則，在準備並執行任務後，從新載入的資料中移除該欄。您可以透過刪除轉換規則來還原新記錄的欄。
-
雜湊欄，例如遮罩敏感資訊。
在欄中選取 雜湊。
這將在與雜湊鹽字串串聯後，產生輸入欄的 SHA-256 雜湊。您可以在專案設定的 中繼資料 > 雜湊 下設定雜湊鹽字串。此設定僅適用於 Qlik 開放湖倉庫 專案。如需詳細資訊，請參閱 中繼資料
當欄被雜湊時，資料類型會變更為字串。如果您也想為特殊權限使用者保留未雜湊的資料，請稍後在「轉換」任務中執行雜湊。
-
篩選資料
如需詳細資訊，請參閱 篩選資料集。
-
重新命名資料集
按一下資料集上的
，然後選取 重新命名。
刪除任務
如果資料任務未執行，且相同專案中沒有下游任務的相依性，您可以刪除該資料任務。
-
在專案的管線專案檢視中，按一下任務上的
，然後選取刪除。
任務建立的成品 (表格和檢視) 也會被刪除，除非您選擇保留它們。
設定
如需有關任務設定的詳細資訊，請參閱 串流湖登陸設定