在資料專案中建立資料管道

您可以使用資料任務，在資料專案中建立資料通道進行所有資料整合。線上移動內部部署或雲端的資料來源進入專案中，並儲存資料於準備好消耗的資料集。您也可以進行轉換並建立資料超市，利用產生和轉換的資料集。資料管道可以是簡單的線性管道，或複雜、消耗多個資料來源並產生多個輸出的管道。

這些是您可以在資料專案中進行的主要任務。若合適的話也可做結合。

1. 資料上線。

   這包括將資料登錄在分段區域，接折儲存資料集在雲端資料倉庫中。只要一個步驟即可建立登陸和儲存空間資料任務。如果需要的話，可以使用不同任務執行登陸和儲存區。

   上線資料

2. 註冊資料

   註冊已存在於資料平台的資料，並以讀取最佳化格式產生資料集。這可讓您使用以 Qlik Cloud 資料整合 以外工具上線的資料，例如 Qlik Replicate。

   註冊已存在於資料平台的資料

3. 轉換上線資料。

   依據規則和自訂 SQL 建立可重複使用的低層級轉換。這會建立轉換資料任務。

   轉換資料

4. 利用資料集建立資料超市。這會建立資料超市資料任務。

   建立和管理資料超市

資料專案與用於作為所有輸出目標的資料平台相關。支援以下平台：

• Google BigQuery

• Snowflake

• Microsoft Azure Synapse Analytics

• Databricks

• Amazon Redshift

• Qlik Cloud

  使用此平台需要登陸資料至 Amazon S3值區。您可以在 Qlik Cloud 管理的儲存區或由您管理的儲存區 Amazon S3 產生 QVD 表格。

如需更多關於連線至資料平台的資訊，請參閱 連線到資料專案中的雲端資料平台

所有資料集將建立在相同歸屬的資料專案空間中。

建立資料專案的範例

以下範例執行線上資料、轉換資料和建立資料超市。這將建立您能透過上線更多資料來源、建立更多轉換和新增產生的資料集至資料超市拓展的簡單線性資料管道。

1. 建立新的資料專案。

   在 Qlik Cloud 資料整合 首頁按一下 新增 再 建立資料專案。

   1. 輸入資料專案名稱和說明，再選取要建立資料專案的空間。所有資料集將建立在歸屬的資料專案空間中。

   2. 選取專案使用的資料平台。

   3. 選取想要在專案使用的雲端資料倉庫資料連線。這將用於登陸資料檔案和儲存資料集和檢視。如果您尚未準備資料連線，使用 新增連線 建立資料連線。

      如果選取 Google BigQuery、Databricks 或 Microsoft Azure Synapse Analytics 作為資料平台，您也需要連線至分段區域。

   4. 如果您選取 Qlik Cloud 作為資料平台：

      您可以儲存資料在 Qlik 受管儲存區或您管理的 Amazon S3 值區。如果想要使用自己的 Amazon S3 值區，您需要選取連線至該值區的資料連線。

      在上述兩個情況下，您也需要選取連線至 Amazon S3 分段區域的資料連線。如果您使用在前一步定義的相同值區，請確保您在分段值區中使用另一個資料夾。

   5. 按一下建立。

      已建立資料專案，再來您可以透過新增資料任務建立資料管道。

2. 資料上線

   按一下新增，然後按一下上線資料。

   如需詳細資訊，請參閱上線資料。

   這將會建立登陸資料任務和儲存空間資料任務。如要開始複寫資料，您需要：

   • 準備和執行登陸資料任務。

     如需詳細資訊，請參閱從資料來源登陸資料。

   • 準備和執行儲存空間資料任務。

     如需詳細資訊，請參閱 產生和儲存資料集

3. 轉換資料

   建立完儲存空間資料任務時，前往資料專案。您現在可以在已建立的資料集進行轉換。
   

   按一下儲存空間資料任務的 ... 並選取轉換資料，依據此儲存空間資料任務建立轉換資料任務。更多關於轉換的說明，請參閱 轉換資料。

4. 建立資料超市

   您可以依據儲存空間資料任務或轉換資料任務建立資料超市。

   按一下資料任務的 ... 並選取建立資料超市 以建立資料超市資料任務。更多關於建立資料超市的說明，請參閱：

   建立和管理資料超市

舉例來說，當第一次完整載入儲存和轉換的資料集和資料超市之後，即可在分析應用程式中使用它們。如需更多關於建立分析應用程式的資訊，請參閱 使用由 Qlik Cloud 資料整合 產生資料集建立分析應用程式。

您也可以透過上線更多資料來源拓展資料管道，並在轉換或資料超市中做結合。

在資料專案中排程資料任務

您可以排程資料任務以協調資料管道。您可以使用基於時間的排程，或使用基於事件的排程，以讓資料在可用時慢慢進入資料管道。

如需更多關於排程個別資料任務的資訊，請參閱：

• 排程完整載入登陸資料任務

• 排程儲存任務

• 排程轉換任務

• 排程資料超市任務

變更資料專案的檢視畫面

有兩個不同的資料專案檢視畫面您可以按一下管道檢視，以在檢視畫面之間切換。

• 管道檢視顯示資料任務的資料流程。

  您可按一下圖層，以選擇要為資料任務顯示多少資訊。開啟或關閉下列資訊：

  • 狀態

  • 資料有效

  • 排程

• 卡片檢視顯示卡片檢視畫面與關於資料任務的資訊。

  您可以篩選資產類型和擁有者。

匯出並匯入資料專案

您可以將資料專案匯出為 JSON 檔案，其中包含重新建構資料專案所需的一切。可以在相同的租用戶或另一個租用戶匯入已匯出的 JSON 檔案。例如，您可以使用此將資料專案從某個租用戶移動至另一個租用戶，或製作資料專案的備份副本。

如需詳細資訊，請參閱匯出並匯入資料專案。

資料專案設定

您能設定對專案來說為一般的屬性，且全部皆包含資料任務。

• 按一下設定。

如需詳細資訊，請參閱資料專案設定。