步驟 4:建立 Qlik 開放湖倉庫 專案
建立 Qlik 開放湖倉庫 管道專案,以從任何來源擷取資料。以 Iceberg 開放式表格格式儲存資料。
必要條件
若要建立 Qlik 開放湖倉庫 專案,您需要:
-
網路整合讓 Qlik 能夠代表您佈建和管理運算資源。
-
設定了湖存放庫叢集,以執行 Iceberg 專案中的資料儲存任務。
-
與資料目錄的連線可作為專案的資料目標或必要的詳細資訊來使用,以便您可以建立新的連線。
支援的任務
Qlik 開放湖倉庫 專案支援以下任務:
-
湖登陸資料任務
從任何 Qlik 支援的來源 (包括大量資料串流) 取得 S3 中 CSV 格式的登陸資料。
-
儲存空間資料任務
儲存空間資料任務透過湖登陸任務,取用登陸到雲端的資料。此任務將資料寫入到 Iceberg 表格,以便有效率地儲存和查詢。
-
鏡像資料任務
將 Iceberg 表格從 Qlik 開放湖倉庫 鏡像到 Snowflake。使用者可以透過外部表格查詢資料,而無需將資料遷移到 Snowflake。
建立 Qlik 開放湖倉庫 專案的範例
以下範例建立 Qlik 開放湖倉庫 管道專案、上線資料並儲存在 Iceberg 格式的表格中。此範例建立了簡單的管道,您可以上線更多資料來源來擴展。您可以新增鏡像資料任務,以鏡像 Snowflake 中的表格而不複製資料,或者將此專案作為需要在 Snowflake 中進行轉換的專案來源來使用。
若要建立 Qlik 開放湖倉庫 專案,請執行下列事項:
-
在資料整合首頁,按一下建立管道,並進行設定:
-
名稱:輸入專案的名稱。
-
空間:選取專案所屬的空間。
-
描述:或者,輸入專案的描述。
-
對於使用案例,選取資料管道。
-
設定資料平台:
-
資料平台:從清單中選取 Qlik 開放湖倉庫。
-
資料目錄連線:在清單中,選取現有連線或按一下新建,以新增新的資料目錄連線。
-
登陸目標連線:選取用於登陸資料的 S3 值區,或按一下新建以新增新的值區位置。
-
儲存運算叢集:選取將執行儲存任務的湖存放庫叢集。
-
建立專案。
-
請按照上線資料精靈中的步驟進行操作。如需詳細資訊,請參閱上線資料。