建立資料管道

您可以使用資料任務，在專案中建立資料通道進行所有資料整合。線上移動內部部署或雲端的資料來源進入專案中，並儲存資料於準備好消耗的資料集。您也可以進行轉換並建立資料超市，利用產生和轉換的資料集。資料管道可以是簡單的線性管道，或複雜、消耗多個資料來源並產生多個輸出的管道。

所有資料集將建立在相同歸屬的專案空間中。

您也可以檢視譜系，以追溯資料和資料轉換的原始來源，並執行影響分析，這顯示資料任務、資料集或欄位相依性的前瞻性下游檢視。如需詳細資訊，請參閱在 資料整合 中使用譜系和影響分析。

目標資料平台

專案與用於作為所有輸出目標的資料平台相關。

如需更多關於所支援的資料平台資訊，請參閱 設定前往目標的連線。

專案影片簡介

建立專案的範例

以下範例執行線上資料、轉換資料和建立資料超市。這將建立您能透過上線更多資料來源、建立更多轉換和新增產生的資料集至資料超市拓展的簡單線性資料管道。

1. 建立新的專案。

   在資料整合 > 專案中，按一下建立專案。

   1. 輸入專案名稱和說明，再選取要建立專案的空間。所有資料集將建立在歸屬的專案空間中。

   2. 在使用案例中選取資料管道。

   3. 選取專案使用的資料平台。

   4. 選取想要在專案使用的雲端資料倉庫連線。這將用於登陸資料檔案和儲存資料集和檢視。如果您尚未準備連線，使用 新增連線 建立資料連線。

      如果選取 Google BigQuery、Databricks 或 Microsoft Azure Synapse Analytics 作為資料平台，您也需要連線至分段區域。

   5. 如果您選取 Qlik Cloud 作為資料平台：

      您可以儲存資料在 Qlik 受管儲存區或您管理的 Amazon S3 值區。如果想要使用自己的 Amazon S3 值區，您需要選取連線至該值區的連線。

      在上述兩個情況下，您也需要選取連線至 Amazon S3 分段區域的連線。如果您使用在前一步定義的相同值區，請確保您在分段值區中使用另一個資料夾。

   6. 按一下建立。

      已建立專案，再來您可以透過新增資料任務建立資料管道。

2. 資料上線

   在專案中，按一下新增，然後按一下上線資料。

   如需詳細資訊，請參閱上線資料。

   這將會建立登陸資料任務和儲存空間資料任務。如要開始複寫資料，您需要：

   • 準備和執行登陸資料任務。

     如需詳細資訊，請參閱從資料來源登陸資料。

   • 準備和執行儲存空間資料任務。

     如需詳細資訊，請參閱儲存資料集。

3. 轉換資料

   建立完儲存空間資料任務時，前往專案。您現在可以在已建立的資料集進行轉換。
   

   按一下儲存空間資料任務的 ... 並選取轉換資料，依據此儲存空間資料任務建立轉換資料任務。更多關於轉換的說明，請參閱 轉換資料。

4. 建立資料超市

   您可以依據儲存空間資料任務或轉換資料任務建立資料超市。

   按一下資料任務的 ... 並選取建立資料超市 以建立資料超市資料任務。更多關於建立資料超市的說明，請參閱：

   建立和管理資料超市

舉例來說，當第一次完整載入儲存和轉換的資料集和資料超市之後，即可在分析應用程式中使用它們。如需更多關於建立分析應用程式的資訊，請參閱 使用由 Qlik Talend Data Integration 產生資料集建立分析應用程式。

您也可以透過上線更多資料來源拓展資料管道，並在轉換或資料超市中做結合。

專案中的操作

您可以執行可用於資料任務且與專案操作相同的操作。這可讓您協調資料管道中的操作。

• 開啟或關閉排程

• 執行設計操作

• 開始和停止資料任務執行

• 刪除資料任務

按一下操作以檢視進行中的操作狀態，或最近執行的操作。

您可以按一下停止操作以停止進行中的操作。進行中的資料任務不會停止，但將會取消任何尚未開始的任務。

開啟或關閉排程

您可以在專案層級控制資料任務的排程。

• 按一下 ...，然後按一下排程。

  您可以開啟或關閉所有資料任務或所選任務的排程。只會顯示已定義排程的任務。

  資訊備註此選項無法用於以 Qlik Cloud 作為資料平台的專案。

如需更多關於排程個別資料任務的資訊，請參閱：

• 排程載入並比較登陸資料任務

• 排程儲存任務

• 排程轉換任務

• 排程資料超市任務

執行設計操作

您可以對專案中的所有資料任務或所選任務執行設計操作。這可以更輕鬆地控制專案中的資料集任務，而不必在每個任務中分別執行設計操作。

• 驗證

  按一下驗證以驗證所有任務或所選任務。會預先選取自上次驗證操作以來已變更的資料任務。

  資料任務以管道順序驗證。

• 準備

  按一下準備以準備所有任務或所選任務。會預先選取自上次準備操作以來已變更的資料任務。

  您可以選取以重新建立需要資料平台不支援的結構變更的資料集。這會導致資料損失。

• 重新建立

  按一下 ...，然後按一下重新建立，以從所有任務或所選任務的來源重新建立資料集。

執行資料任務

您可以發起執行專案中的所有資料任務或所選任務，而非個別執行任務。例如，您可以透過基於時間的排程執行所有任務。這將會透過基於事件的排程發起下游任務。

• 執行

  按一下執行以發起執行所有任務或所選任務。這會發起執行所有選取的任務，並在開始執行後立即完成。

  您可以從準備好執行的所有任務中選取 。會預先選取具有基於時間之排程的任務和使用 CDC 的任務。不會預先選取具有基於事件之排程的任務，因為這會在有資料要處理時執行。

  在以 Qlik Cloud 作為資料平台的專案中，會預先選取所有登陸和儲存任務。

  資訊備註所有資料任務都會平行執行。這表示，相依性檢查可能會阻止某些任務執行。

• 停止

  按一下停止以停止所有任務或所選任務。

  您可以從正在執行的任務中選取 。

刪除資料任務

• 按一下刪除以刪除專案中的所有資料任務或所選任務。

變更專案的檢視畫面

有兩個不同的專案檢視畫面。您可以按一下管道檢視，以在檢視畫面之間切換。

• 管道檢視顯示資料任務的資料流程。

  您可按一下圖層，以選擇要為資料任務顯示多少資訊。開啟或關閉下列資訊：

  • 狀態

  • 資料有效

  • 排程

• 卡片檢視顯示卡片檢視畫面與關於資料任務的資訊。

  您可以篩選資產類型和擁有者。

檢視資料

您可以檢視資料樣本，以在設計資料管道時查看並驗證資料形態。

需要具備以下權限：

• 會在 管理 於租用戶層級啟用檢視資料。

  啟用設定 > 特徵控制 > 在 資料整合 中檢視資料。

• 會向您指派連線所在空間中的可以檢視資料角色。

• 會向您指派專案所在空間中的可以檢視角色。

若要檢視資料管道檢視中的樣本資料：

1. 在管道檢視底部按一下預覽橫幅中的 。

2. 選取要對哪個資料任務預覽資料。

就會顯示資料樣本。您可以透過列數設定要在樣本中納入多少資料列。

匯出並匯入專案

您可以將專案匯出為 JSON 檔案，其中包含重新建構專案所需的一切。可以在相同的租用戶或另一個租用戶匯入已匯出的 JSON 檔案。例如，您可以使用此將專案從某個租用戶移動至另一個租用戶，或製作專案的備份副本。

如需詳細資訊，請參閱匯出並匯入資料管道。

專案設定

您能設定對專案來說為一般的屬性，且全部皆包含資料任務。

• 按一下設定。

如需詳細資訊，請參閱資料管道專案設定。