建立資料管道

您可以使用資料任務，在專案中建立資料通道進行所有資料整合。線上移動內部部署或雲端的資料來源進入專案中，並儲存資料於準備好消耗的資料集。您也可以進行轉換並建立資料超市，利用產生和轉換的資料集。資料管道可以是簡單的線性管道，或複雜、消耗多個資料來源並產生多個輸出的管道。

所有資料集將建立在相同歸屬的專案空間中。

您也可以檢視譜系，以追溯資料和資料轉換的原始來源，並執行影響分析，這顯示資料任務、資料集或欄位相依性的前瞻性下游檢視。如需詳細資訊，請參閱在 資料整合 中使用譜系和影響分析。

目標資料平台

專案與用於作為所有輸出目標的資料平台相關。

如需更多關於所支援的資料平台資訊，請參閱 設定前往目標的連線。

專案影片簡介

建立專案的範例

以下範例執行線上資料、轉換資料和建立資料超市。這將建立您能透過上線更多資料來源、建立更多轉換和新增產生的資料集至資料超市拓展的簡單線性資料管道。

1. 建立新的專案。

   在資料整合 > 專案中，按一下新建 > 專案。

   1. 輸入專案名稱和說明，再選取要建立專案的空間。所有資料集將建立在歸屬的專案空間中。

      資訊備註如果您之後為專案啟用版本控制，則在版本控制下您將無法變更專案名稱。
   2. 在使用案例中選取資料管道。

   3. 選取專案使用的資料平台。

   4. 選取想要在專案使用的雲端資料倉庫連線。這將用於登陸資料檔案和儲存資料集和檢視。如果您尚未準備連線，使用 新增連線 建立資料連線。

      如果選取 Google BigQuery、Databricks 或 Microsoft Azure Synapse Analytics 作為資料平台，您也需要連線至分段區域。

   5. 如果您選取 Qlik Cloud 作為資料平台：

      您可以儲存資料在 Qlik 受管儲存區或您管理的 Amazon S3 值區。如果想要使用自己的 Amazon S3 值區，您需要選取連線至該值區的連線。

      在上述兩個情況下，您也需要選取連線至 Amazon S3 分段區域的連線。如果您使用在前一步定義的相同值區，請確保您在分段值區中使用另一個資料夾。

   6. 按一下建立。

      已建立專案，再來您可以透過新增資料任務建立資料管道。

2. 資料上線

   在專案中，按一下建立，然後按一下上線資料。

   如需詳細資訊，請參閱上線資料。

   這將會建立登陸資料任務和儲存空間資料任務。如要開始複寫資料，您需要：

   • 準備和執行登陸資料任務。

     如需詳細資訊，請參閱從資料來源登陸資料。

   • 準備和執行儲存空間資料任務。

     如需詳細資訊，請參閱儲存資料集。

3. 轉換資料

   建立完儲存空間資料任務時，前往專案。您現在可以在已建立的資料集進行轉換。
   

   按一下儲存空間資料任務的 ... 並選取轉換資料，依據此儲存空間資料任務建立轉換資料任務。更多關於轉換的說明，請參閱 轉換資料。

4. 建立資料超市

   您可以依據儲存空間資料任務或轉換資料任務建立資料超市。

   按一下資料任務的 ... 並選取建立資料超市 以建立資料超市資料任務。更多關於建立資料超市的說明，請參閱：

   建立和管理資料超市

舉例來說，當第一次完整載入儲存和轉換的資料集和資料超市之後，即可在分析應用程式中使用它們。如需更多關於建立分析應用程式的資訊，請參閱 使用由 Qlik Talend Data Integration 產生資料集建立分析應用程式。

您也可以透過上線更多資料來源拓展資料管道，並在轉換或資料超市中做結合。

建立跨專案管道

您可以建立跨專案管道，其中一個任務可以取用來自另一個專案的任務。這可讓您透過多種可能的方式來達成分段：

• 您可以為每個組織單位建立獨立的資料移動管道，並在單一資料超市管道中取用輸出。

• 您可以建立單一資料移動管道並在多個轉換管道中取用輸出。

轉換和資料超市任務可以取用位於另一個專案中的儲存和轉換任務。

• 您必須在所取用專案的空間中至少擁有可以取用角色。

• 兩個專案必須位於相同資料平台上。

任務的所有資料集都與下游專案共用。這表示如果您想達成資料集分段，您必須建立轉換任務，以篩選所取用專案中的資料集。

在專案檢視中，您可以檢視另一個專案所取用的任務，以及目前專案中取用的其他專案的任務。目前專案以外的所有任務皆為灰色。相依性是透過參考而不是名稱，這表示您可以重新命名任務，而不中斷參考。這也表示，如果您刪除已經被取用的任務，並建立名稱相同的新任務，仍然會中斷參考。

有多種方法可以重複使用現有資料：

• 建立新的專案

  建立專案後，選取使用來自另一個專案的資料選項。

  您可以建立轉換或資料超市，取用來自另一個管道的上線資料。

• 在轉換任務或資料超市任務中，您可以在選取來源資料中選取來自另一個專案的資料。

  選取來源資料時，選取專案，然後選取資料任務，以查看哪些資料集可用。

您可以選擇是否要顯示取用此專案中任務的其他專案中的任務。

• 按一下圖層並開啟或關閉跨專案輸出。

目前專案以外的所有任務皆為灰色。

版本控制限制

由於跨專案管道分佈在多個專案之間，這增加了使用版本控制的複雜性。在這些範例中，Project1 由 Project2 取用。

• Project2 只能取用 Project1 的主分支，但 Project2 本身可以位於不同的分支。

• 您可以為 Project1 建立一個分支，但分支版本不會顯示已由 Project2 取用。

• 您可以將 Project2 合併到主版本，但相依性仍然存在。

最佳做法

• 檢查是否至少準備好所取用的專案中任務，以確保其有效。

• 避免設計在專案之間造成循環或相互相依性的管道。

• 如果您打算在租用戶之間匯出和匯入專案，則在租用戶中保留空間和專案的相同名稱會更容易。如果名稱不同，您將需要在匯入專案時對應專案和任務。

• 如果要使用匯出和匯入變更資料平台，則所有具有相依性的專案必須位於相同平台上。

  請按照以下步驟，安全、輕鬆地變更平台。在此範例中，取用的專案稱為已取用，從已取用讀取的專案稱為取用者。

  1. 匯出已取用和取用者。

  2. 將已取用匯入至 Consumed_New，變更為新的資料平台。

  3. 將取用者匯入至 Consumer_New，變更為與 Consumed_New 相同的資料平台，並將來源專案 (已取用) 替換為 Consumed_New。

資料管道專案中的操作

您可以執行可用於資料任務且與專案操作相同的操作。這可讓您協調資料管道中的操作。

• 開啟或關閉排程

• 執行設計操作

• 開始和停止資料任務執行

• 刪除資料任務

按一下操作以檢視進行中的操作狀態，或最近執行的操作。

您可以按一下停止操作以停止進行中的操作。進行中的資料任務不會停止，但將會取消任何尚未開始的任務。

開啟或關閉排程

您可以在專案層級控制資料任務的排程。

• 按一下 ...，然後按一下排程。

  您可以開啟或關閉所有資料任務或所選任務的排程。只會顯示已定義排程的任務。

  資訊備註此選項無法用於以 Qlik Cloud 作為資料平台的專案。

如需更多關於排程個別資料任務的資訊，請參閱：

• 排程載入並比較登陸資料任務

• 排程儲存任務

• 排程轉換任務

• 排程資料超市任務

執行設計操作

您可以對專案中的所有資料任務或所選任務執行設計操作。這可以更輕鬆地控制專案中的資料集任務，而不必在每個任務中分別執行設計操作。

• 驗證

  按一下驗證以驗證所有任務或所選任務。會預先選取自上次驗證操作以來已變更的資料任務。

  資料任務以管道順序驗證。

• 準備

  按一下準備以準備所有任務或所選任務。會預先選取自上次準備操作以來已變更的資料任務。

  您可以選取以重新建立需要資料平台不支援的結構變更的資料集。這會導致資料損失。

• 重新建立

  按一下 ...，然後按一下重新建立，以從所有任務或所選任務的來源重新建立資料集。

執行資料任務

您可以發起執行專案中的所有資料任務或所選任務，而非個別執行任務。例如，您可以透過基於時間的排程執行所有任務。這將會透過基於事件的排程發起下游任務。

• 執行

  按一下執行以發起執行所有任務或所選任務。這會發起執行所有選取的任務，並在開始執行後立即完成。

  您可以從準備好執行的所有任務中選取 。會預先選取具有基於時間之排程的任務和使用 CDC 的任務。不會預先選取具有基於事件之排程的任務，因為這會在有資料要處理時執行。

  在以 Qlik Cloud 作為資料平台的專案中，會預先選取所有登陸和儲存任務。

  資訊備註所有資料任務都會平行執行。這表示，相依性檢查可能會阻止某些任務執行。

• 停止

  按一下停止以停止所有任務或所選任務。

  您可以從正在執行的任務中選取 。

刪除資料任務

• 按一下刪除以刪除專案中的所有資料任務或所選任務。

變更專案的檢視畫面

有兩個不同的專案檢視畫面。您可以按一下管道檢視，以在檢視畫面之間切換。

• 管道檢視顯示資料任務的資料流程。

  您可按一下圖層，以選擇要為資料任務顯示多少資訊。開啟或關閉下列資訊：

  • 狀態

  • 資料有效

  • 排程

  • 跨專案輸出

    這將會顯示取用此專案中任務的其他專案中的任務。目前專案以外的所有任務皆為灰色。

• 卡片檢視顯示卡片檢視畫面與關於資料任務的資訊。

  您可以篩選資產類型和擁有者。

檢視資料

您可以檢視資料樣本，以在設計資料管道時查看並驗證資料形態。

需要具備以下權限：

• 會在 管理 於租用戶層級啟用檢視資料。

  啟用設定 > 特徵控制 > 在 資料整合 中檢視資料。

• 會向您指派連線所在空間中的可以檢視資料角色。

• 會向您指派專案所在空間中的可以檢視角色。

若要檢視資料管道檢視中的樣本資料：

1. 在管道檢視底部按一下預覽橫幅中的 。

2. 選取要對哪個資料任務預覽資料。

就會顯示資料樣本。您可以透過列數設定要在樣本中納入多少資料列。

匯出並匯入專案

您可以將專案匯出為 JSON 檔案，其中包含重新建構專案所需的一切。可以在相同的租用戶或另一個租用戶匯入已匯出的 JSON 檔案。例如，您可以使用此將專案從某個租用戶移動至另一個租用戶，或製作專案的備份副本。

如需詳細資訊，請參閱匯出並匯入資料管道。

變更專案的擁有者

資料任務在所屬專案擁有者的內容中運作。您可以變更專案的擁有者，以將對資料專案中所有任務的控制權轉移給其他使用者。例如，如果存在由已刪除的使用者擁有的專案，則該功能非常有用。

• 在專案檢視中，按一下 ...，然後按一下變更擁有者。

擁有權變更將套用至專案中的所有任務。由專案中的任務所建立的所有編目資料集也將變更擁有者。

專案設定

您能設定對專案來說為一般的屬性，且全部皆包含資料任務。

• 按一下設定。

如需詳細資訊，請參閱資料管道專案設定。