將資料登陸至 Qlik 開放湖倉庫
資料在 Amazon S3 中登陸，準備好由儲存資料任務轉換為 Iceberg 開放式表格格式。您可以從 Qlik 支援的任何來源登陸資料。
將資料登陸到 Qlik 開放湖倉庫 需要預先設定的 Amazon S3 值區。Qlik 開放湖倉庫 專門針對大量的串流資料來源進行最佳化，並與所有 Qlik 支援的資料來源相容。資料以 CSV 格式在 S3 中登陸。儲存資料任務將資料轉換為 Iceberg 格式並複製到 Parquet 檔案。Iceberg 規格允許從任何原生支援 Trino SQL 的引擎查詢資料，例如 Amazon Athena、Ahana 或 Starburst Enterprise。或者，可以將表格鏡像到 Snowflake，在那裡可以查詢這些內容，而無需複製資料。
在具有 AWS Glue 資料目錄目標連線的專案中，可以將資料登陸到 Qlik 開放湖倉庫。
準備
-
若要將資料鏡像到 Snowflake，您必須先建立 Qlik 開放湖倉庫 專案，以擷取您的資料，並使用 Iceberg 開放式表格格式來儲存。您可以在儲存資料任務後新增鏡像資料任務。若要執行資料轉換，請建立使用 Qlik 開放湖倉庫 專案作為來源的 Snowflake 專案。如需詳細資訊，請參閱將資料鏡像到雲端資料倉庫。
-
雖然您可以在任務設定精靈中設定來源和目標連線設定，但為了簡化設定程序，建議在建立任務之前就這麼做。
建立湖登陸任務
若要建立湖登陸任務，請執行以下事項：
-
建立專案，並在使用案例中選取資料管道。
-
在資料平台中選取 Qlik 開放湖倉庫，並建立與資料目錄的連線。
-
在登陸目標連線中設定儲存區。
-
按一下建立以建立專案。
若您在專案中上線資料或建立登陸任務，會建立湖登陸任務，而不是登陸任務。湖登陸任務的操作和行為與登陸任務非常相似，只是前者將資料登陸到雲端儲存空間。如需詳細資訊，請參閱從資料來源登陸資料。
所有檔案均採用 CSV 格式登陸。登陸資料更新後，取用登陸任務的儲存任務也會更新外部表格。
設定
如需更多關於任務設定的資訊，請參閱 湖登陸設定。
限制
-
由於儲存任務每分鐘執行一次，登陸的資料在值區中沒有進行分割。因此，無法在任務設定中更新資料分割區頻率。
-
雖然從 SaaS 來源登陸資料是按排程進行，但儲存任務每分鐘都會小批次執行。這需要以最低的成本建立一個作用中的湖存放庫叢集。
-
如果主鍵值變更，則具有原始索引鍵的記錄將標記為「已刪除」，而包含變更鍵值的列將標記為「插入」。