建立 Qlik 開放湖倉庫 專案

建立 Qlik 開放湖倉庫 管道專案，以從任何來源擷取資料。以 Iceberg 開放式表格格式儲存資料。

必要條件

若要建立 Qlik 開放湖倉庫 專案，您需要：

• 網路整合讓 Qlik 能夠代表您佈建和管理運算資源。

• 設定了湖存放庫叢集，以執行 Iceberg 專案中的資料儲存任務。

• 與資料目錄的連線可作為專案的資料目標或必要的詳細資訊來使用，以便您可以建立新的連線。

支援的任務

Qlik 開放湖倉庫 專案支援以下任務。

CDC 和 SaaS 應用程式來源

• 湖登陸資料任務

  從任何 Qlik 支援的來源 (包括大量資料串流) 取得 S3 中 CSV 格式的登陸資料。

  如需詳細資訊，請參閱將資料登陸至 Qlik 開放湖倉庫。

• 儲存空間資料任務

  儲存空間資料任務透過湖登陸任務，取用登陸到雲端的資料。此任務將資料寫入到 Iceberg 表格，以便有效率地儲存和查詢。

• 如需詳細資訊，請參閱儲存資料集。

• 鏡像資料任務

  將 Iceberg 表格從您的儲存任務鏡像到您的雲端資料倉庫。使用者可以透過外部表格查詢資料，而無需將資料遷移到您的雲端資料倉庫。

串流來源

• 串流登陸資料任務

  從任何 Qlik 支援的串流來源，在 S3 中以 Avro 格式登陸資料。

  如需詳細資訊，請參閱 將串流資料登陸至 Qlik 開放湖倉庫

• 串流轉換資料任務

  串流轉換資料任務會消耗由串流登陸任務登陸在雲端中的事件。此任務將資料寫入到 Iceberg 表格，以便有效率地儲存和查詢，並支援轉換。

  如需詳細資訊，請參閱儲存串流資料集。

• 鏡像資料任務

  將 Iceberg 表格從您的串流儲存任務鏡像到您的雲端資料倉庫。使用者可以透過外部表格查詢資料，而無需將資料遷移到您的雲端資料倉庫。

建立 Qlik 開放湖倉庫 專案的範例

以下範例建立 Qlik 開放湖倉庫 管道專案，上線來自 CDC 來源的資料，並儲存在 Iceberg 格式的表格中。此範例建立了簡單的管道，您可以上線更多資料來源來擴展。您可以新增鏡像資料任務，以鏡像您的資料倉儲中的表格而不複製資料，或者將此專案作為需要在您的雲端資料倉庫中進行轉換的專案來源來使用。

若要建立 Qlik 開放湖倉庫 專案，請執行下列事項：

1. 在資料整合首頁，按一下建立管道，並進行設定：

• 名稱：輸入專案的名稱。

• 空間：選取專案所屬的空間。

• 描述：或者，輸入專案的描述。

2. 對於使用案例，選取資料管道。

3. 設定資料平台：

• 資料平台：從清單中選取 Qlik 開放湖倉庫。

• 資料目錄連線：在清單中，選取現有連線或按一下新建，以新增新的資料目錄連線。

• 登陸目標連線：選取用於登陸資料的 S3 值區，或按一下新建以新增新的值區位置。

• 儲存運算叢集：選取將執行儲存任務的湖存放庫叢集。

4. 建立專案。

5. 請按照上線資料精靈中的步驟進行操作。如需詳細資訊，請參閱 上線資料，其中提供 CDC 和串流來源的指示。