# 建立與管理資料管道專案

您可以使用資料任務，在專案中建立資料通道進行所有資料整合。線上移動內部部署或雲端的資料來源進入專案中，並儲存資料於準備好消耗的資料集。您可以將資料匯入資料倉庫或 Qlik 開放湖倉庫。

將資料上線到資料倉庫時，您也可以進行轉換並建立資料超市，利用產生和轉換的資料集。資料管道可以是簡單的線性性質，或者可以是取用數個資料來源並產生許多輸出的複雜管道。

所有資料集將建立在相同歸屬的專案空間中。

您也可以檢視譜系，以追溯資料和資料轉換的原始來源，並執行影響分析，這顯示資料任務、資料集或欄位相依性的前瞻性下游檢視。如需詳細資訊，請參閱[在 資料整合 中使用譜系與影響分析](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/Catalog/work-with-lineage-impact-analysis-di.htm)。

資訊備註若要建立管道專案，您必須擁有具備 管道專案 權限的自訂角色，或者必須在預設權限中啟用該權限。如需詳細資訊，請參閱[預設權限與自訂角色](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/permissions-scopes-capacity-model.htm)。

## 將資料導入資料倉儲

這包括將資料登錄在分段區域，接折儲存資料集在雲端資料倉庫中。只要一個步驟即可建立登陸和儲存空間資料任務。如果需要的話，可以使用不同任務執行登陸和儲存區。

## 將資料上線至 Qlik 開放湖倉庫

建立一個 Qlik 開放湖倉庫 管道專案，以將資料從任何受支援的來源複製到 Iceberg 開放式表格格式。可以從您的雲端資料倉庫分析引擎存取和查詢表格，無需透過使用[鏡像資料任務](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/mirroring-data.htm)來複製資料。

## 註冊已存在於資料平台的資料

註冊已存在於資料平台的資料，以策劃並轉換資料，以及建立資料超市。這可讓您使用 Qlik Talend Data Integration 以外工具上線的資料，例如 Qlik Replicate 或 Stitch。

## 轉換資料

依據規則和自訂 SQL 對上線的資料建立可重複使用的低層級轉換。這會建立轉換資料任務。

## 建立與管理資料超市

利用資料集建立資料超市。這會建立資料超市資料任務。

## 建立知識超市

建立知識超市，以將結構化和非結構化資料內嵌並儲存在向量資料庫中。這會建立知識超市資料任務。

## 目標資料平台

專案與用於作為所有輸出目標的資料平台相關。

如需更多關於所支援的資料平台資訊，請參閱 [設定前往目標的連線](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/data-project-connections.htm#top)。

## 專案影片簡介

[檢視影片剪輯](https://play.vidyard.com/Jic6HXzDv5ZTWE9NgLoLWU)

## 建立專案的範例

以下範例執行線上資料、轉換資料和建立資料超市。這將建立您能透過上線更多資料來源、建立更多轉換和新增產生的資料集至資料超市拓展的簡單線性資料管道。

專案中線性資料管道的範例

專案中線性資料管道的範例

專案中線性資料管道的範例 ![資料管道的流程圖表](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Resources/Images/dr_HDDDataPipeline.svg)

1. 建立新的專案。

   在Data Integration > Pipeline projects中，按一下Create new > Project。

   1. 輸入專案的名稱和描述。

      資訊備註如果您之後為專案啟用版本控制，則在版本控制下您將無法變更專案名稱。

   2. 選取空間以在其中建立專案。所有資料集將建立在歸屬的專案空間中。

   3. 在使用案例中選取資料管道。

   4. 選取專案使用的資料平台。

   5. 選取想要在專案使用的雲端資料倉庫連線。這將用於登陸資料檔案和儲存資料集和檢視。如果您尚未準備連線，使用新建建立資料連線。

      * 如果選取 Google BigQuery、Databricks 或 Microsoft Azure Synapse Analytics 作為資料平台，您也需要連線至分段區域。

      * 如果您選取 Snowflake 作為資料平台，您可以選取將資料登陸至雲端儲存。請參閱 [將資料登陸至湖存放庫](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Lake-landing.htm)。

      * 如果您選取 Qlik Cloud 作為資料平台：

        您可以儲存資料在 Qlik 受管儲存區或您管理的 Amazon S3 值區。如果想要使用自己的 Amazon S3 值區，您需要選取連線至該值區的連線。

        在上述兩個情況下，您也需要選取連線至 Amazon S3 分段區域的連線。如果您使用在前一步定義的相同值區，請確保您在分段值區中使用另一個資料夾。

   6. 按一下建立。

      已建立專案，再來您可以透過新增資料任務建立資料管道。

2. 資料上線

   在專案中，按一下建立，然後按一下上線資料。

   如需詳細資訊，請參閱[將資料導入資料倉儲](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Onboarding/Onboarding-data.htm)。

   這將會建立登陸資料任務和儲存空間資料任務。如要開始複寫資料，您需要：

   * 準備和執行登陸資料任務。

     如需詳細資訊，請參閱[從資料來源登陸資料](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm)。

   * 準備和執行儲存空間資料任務。

     如需詳細資訊，請參閱[儲存資料集](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/generating-datasets.htm)。

3. 轉換資料

   建立完儲存空間資料任務時，前往專案。您現在可以對已建立的資料集執行轉換。

   按一下儲存空間資料任務的 ... 並選取轉換資料，依據此儲存空間資料任務建立轉換資料任務。更多關於轉換的說明，請參閱 [轉換資料](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Transformations.htm)。

4. 建立資料超市

   您可以依據儲存空間資料任務或轉換資料任務建立資料超市。

   按一下資料任務的 ... 並選取建立資料超市 以建立資料超市資料任務。更多關於建立資料超市的說明，請參閱：

   [建立與管理資料超市](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataMarts/DataMarts.htm)

舉例來說，當您已執行儲存和轉換的資料集和資料超市的第一次完整載入之後，即可在分析應用程式中使用它們。如需更多關於建立分析應用程式的資訊，請參閱 [使用資料整合中產生的資料集來建立分析應用程式](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Analytics/Developing-app-with-datasets.htm)。

您也可以透過上線更多資料來源拓展資料管道，並在轉換或資料超市中做結合。

[](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm)

## 建立跨專案管道

您可以建立跨專案管道，其中一個任務可以取用來自另一個專案的任務。這可讓您透過多種可能的方式來達成分段：

* 您可以為每個組織單位建立獨立的資料移動管道，並在單一資料超市管道中取用輸出。

* 您可以建立單一資料移動管道並在多個轉換管道中取用輸出。

警告備註在任何情況下都不要建立資料管道專案中的循環任務相依性。循環任務相依性會嚴重影響穩定性、效能和可維護性。

轉換和資料超市任務可以取用位於另一個專案中的儲存和轉換任務。

* 您必須在所取用專案的空間中至少擁有可以取用角色。

* 兩個專案必須位於相同資料平台上。

任務的所有資料集都與下游專案共用。這表示如果您想達成資料集分段，您必須建立轉換任務，以篩選所取用專案中的資料集。

在專案檢視中，您可以檢視另一個專案所取用的任務，以及目前專案中取用的其他專案的任務。目前專案以外的所有任務皆為灰色。相依性是透過參考而不是名稱，這表示您可以重新命名任務，而不中斷參考。這也表示，如果您刪除已經被取用的任務，並建立名稱相同的新任務，仍然會中斷參考。

有多種方法可以重複使用現有資料：

* 建立新的專案

  建立專案後，選取使用來自另一個專案的資料選項。

  您可以建立轉換或資料超市，取用來自另一個管道的上線資料。

* 在轉換任務或資料超市任務中，您可以在選取來源資料中選取來自另一個專案的資料。

  選取來源資料時，請選取 專案。如果選取的專案受版本控制，請選取分支。預設分支為 main。資料工作清單會更新以反映選取的分支。然後選取資料工作以查看有哪些可用的資料集。

您可以選擇是否要顯示取用此專案中任務的其他專案中的任務。

* 按一下圖層並開啟或關閉跨專案輸出。

目前專案以外的所有任務皆為灰色。

### 版本控制限制

由於跨專案管道分佈在多個專案之間，這增加了使用版本控制的複雜性。在這些範例中，Project1 由 Project2 取用。

跨專案管道範例

跨專案管道範例

跨專案管道範例 ![](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Resources/Images/qdi_cross_project.png)

* Project2 可以取用 Project1 的特定分支。在轉換或資料市集工作的 選取來源資料 中選取分支。預設分支為 main。如果被參照的專案未受版本控制，則不會顯示分支選取器，且 Project2 會依原樣使用該專案。

* 您可以為 Project1 建立一個分支，但分支版本不會顯示已由 Project2 取用。

* 您可以將 Project2 合併到主版本，但相依性仍然存在。

資訊備註

若日後刪除了在 Project1 中選取的分支，此參照的中斷方式與被參照的工作遭刪除時相同。如果所參照的任務在選取的分支上有不同的輸出，該參照的運作方式將與所參照任務輸出變更時相同。

### 最佳做法

* 檢查是否至少準備好所取用的專案中任務，以確保其有效。

* 如果您打算在租用戶之間匯出和匯入專案，則在租用戶中保留空間和專案的相同名稱會更容易。如果名稱不同，您將需要在匯入專案時對應專案和任務。

* 如果要使用匯出和匯入變更資料平台，則所有具有相依性的專案必須位於相同平台上。

  請按照以下步驟，安全、輕鬆地變更平台。在此範例中，取用的專案稱為已取用，從已取用讀取的專案稱為取用者。

  1. 匯出已取用和取用者。

  2. 將已取用匯入至 Consumed\_New，變更為新的資料平台。

  3. 將取用者匯入至 Consumer\_New，變更為與 Consumed\_New 相同的資料平台，並將來源專案 (已取用) 替換為 Consumed\_New。

## 資料管道專案中的操作

您可以執行可用於資料任務且與專案操作相同的操作。這可讓您協調資料管道中的操作。

資訊備註您對每個專案一次只能執行一個專案操作。

* 開啟或關閉排程

* 執行設計操作

* 開始和停止資料任務執行

* 刪除資料任務

按一下操作以檢視進行中的操作狀態，或最近執行的操作。

您可以按一下停止操作以停止進行中的操作。進行中的資料任務不會停止，但將會取消任何尚未開始的任務。

### 開啟或關閉排程

您可以在專案層級控制資料任務的排程。

* 按一下 ...，然後按一下排程。

  您可以開啟或關閉所有資料任務或所選任務的排程。只會顯示已定義排程的任務。

  資訊備註此選項無法用於以 Qlik Cloud 作為資料平台的專案。

如需更多關於排程個別資料任務的資訊，請參閱：

* [排程載入並比較登陸資料任務](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm#Scheduli)

* [排程儲存任務](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/generating-datasets.htm#Scheduli)

* [排程轉換任務](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Transformations.htm#Scheduli)

* [排程資料超市任務](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataMarts/DataMarts.htm#Scheduli)

### 執行設計操作

您可以對專案中的所有資料任務或所選任務執行設計操作。這可以更輕鬆地控制專案中的資料集任務，而不必在每個任務中分別執行設計操作。

* 驗證

  按一下驗證以驗證所有任務或所選任務。會預先選取自上次驗證操作以來已變更的資料任務。

  資料任務以管道順序驗證。

* 準備

  按一下準備以準備所有任務或所選任務。會預先選取自上次準備操作以來已變更的資料任務。

  您可以選取以重新建立需要資料平台不支援的結構變更的資料集。這會導致資料損失。

* 重新建立

  按一下 ...，然後按一下重新建立表格，以從所有任務或所選任務的來源重新建立資料集。

  資訊備註若個別表格發生問題，建議先嘗試載入表格，而非重新建立。重新建立表格可能會造成歷史資料損失。若有重大變更，您也必須準備取用重建資料任務的下游資料任務，以載入資料。

### 執行資料任務

您可以發起執行專案中的所有資料任務或所選任務，而非個別執行任務。例如，您可以透過基於時間的排程執行所有任務。這將會透過基於事件的排程發起下游任務。

* 執行

  按一下執行以發起執行所有任務或所選任務。這會發起執行所有選取的任務，並在開始執行後立即完成。

  您可以從準備好執行的所有任務中選取 。會預先選取具有基於時間之排程的任務和使用 CDC 的任務。不會預先選取具有基於事件之排程的任務，因為這會在有資料要處理時執行。

  在以 Qlik Cloud 作為資料平台的專案中，會預先選取所有登陸和儲存任務。

  資訊備註所有資料任務都會平行執行。這表示，相依性檢查可能會阻止某些任務執行。

* 停止

  按一下停止以停止所有任務或所選任務。

  您可以從正在執行的任務中選取 。

### 刪除資料任務

* 按一下刪除以刪除專案中的所有資料任務或所選任務。

無法刪除正在執行的任務，或正在由其他任務使用的任務。

## 變更專案的檢視畫面

有兩個不同的專案檢視畫面。您可以按一下管道檢視，以在檢視畫面之間切換。

* 管道檢視顯示資料任務的資料流程。

  您可按一下圖層，以選擇要為資料任務顯示多少資訊。開啟或關閉下列資訊：

  * 狀態

  * 資料有效

  * 排程

  * 跨專案輸出

    這將會顯示取用此專案中任務的其他專案中的任務。目前專案以外的所有任務皆為灰色。

* 卡片檢視顯示卡片檢視畫面與關於資料任務的資訊。

  您可以篩選資產類型和擁有者。

## 刪除專案

* 在 管線專案 檢視中，按一下專案上的 the 刪除 icon，然後選取 。

選取 保留此專案中工作建立的資料表和檢視 以保留在刪除專案後通常會被捨棄的資料表和檢視。請注意，對於下列工作類型，即使未選取此選項，一律會保留資料表與檢視表：

* 登陸任務

* 湖登陸任務

* 複寫任務

資訊備註請記住，您保留的成品將不再由任務更新。

## 檢視資料

您可以檢視資料樣本，以在設計資料管道時查看並驗證資料形態。

需要具備以下權限：

* 會在 管理 於租用戶層級啟用檢視資料。

  啟用設定 > 特徵控制 > 在 資料整合 中檢視資料。

* 會向您指派連線所在空間中的可以檢視資料角色。

* 會向您指派專案所在空間中的可以檢視角色。

若要檢視資料管道檢視中的樣本資料：

1. 在管道檢視底部按一下預覽橫幅中的 the 向上 icon。

2. 選取要對哪個資料任務預覽資料。

就會顯示資料樣本。您可以透過列數設定要在樣本中納入多少資料列。

## 匯出並匯入專案

您可以將專案匯出為 JSON 檔案，其中包含重新建構專案所需的一切。可以在相同的租用戶或另一個租用戶匯入已匯出的 JSON 檔案。例如，您可以使用此將專案從某個租用戶移動至另一個租用戶，或製作專案的備份副本。

如需詳細資訊，請參閱[匯出並匯入資料管道](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-export-import.htm)。

## 變更專案的擁有者

資料任務在所屬專案擁有者的內容中運作。您可以變更專案的擁有者，以將對資料專案中所有任務的控制權轉移給其他使用者。例如，如果存在由已刪除的使用者擁有的專案，則該功能非常有用。

資訊備註變更專案的擁有者需要租用戶管理員或資料管理員角色。如需有關所需角色和權限的詳細資訊，請參閱 [資料空間角色與權限](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/DataSpaces/permissions-data-space.htm)。

* 在專案檢視中，按一下 ...，然後按一下變更擁有者。

擁有權變更將套用至專案中的所有任務。由專案中的任務所建立的所有編目資料集也將變更擁有者。

## 變更資料平台連線

如果變更專案的資料平台連線，則必須：

1. 在所有登陸任務中重新建立表格。

2. 準備專案中的所有其他任務。

## 檢視專案資訊

按一下功能表列上的 the 資訊 icon 以檢視專案資訊，例如：

* 擁有者

* 空間

* 資料平台

* 專案 ID

## 專案設定

您能設定對專案來說為一般的屬性，且全部皆包含資料任務。

* 按一下設定。

如需詳細資訊，請參閱[資料管道專案設定](https://help.qlik.com/zh-TW/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)。

相關學習內容：

* [使用 Qlik Cloud 資料整合以上線並轉換資料](https://help.qlik.com/lnk/Qlik_cloud_data_integration_onboard_transform)

## 瞭解更多資訊

* [使用 Qlik Cloud 資料整合以上線並轉換資料](https://help.qlik.com/lnk/Qlik_cloud_data_integration_onboard_transform)