透過 Qlik Talend Cloud 啟動器 訂閱複寫資料

使用任務設定精靈，只要按幾下，就可以輕鬆設定複寫任務。

顯示在精靈中的設定反映所選的目標類型。例如，複寫至 Amazon S3 等儲存目標時，將會提示您儲存位置。不過，複寫至 Amazon Redshift 等需要暫存區域的目標時，將會提示您定義或選取暫存區域。

下表將會根據預定目標協助您導覽此主題。

複寫至沒有暫存的資料庫和資料倉庫

此區段說明如何設定對不需要獨立暫存區域的資料庫和資料倉庫的複寫任務。

要執行的操作：

1. 在 資料整合 > 首頁中，按一下複寫資料。

   就會開啟複寫資料精靈。

2. 在一般索引標籤中，進行下列事項：

   • 任務名稱

     指定任務名稱。

   • 描述

     也可以選擇輸入任務的說明。

   • 專案

     執行下列其中一個動作：

     • 選取現有專案

     • 指定新專案的名稱，然後按一下專案欄位之下的新增專案：<your-project-name>。

       專案名稱將會新增至專案欄位。

   • 空間

     選取複寫專案的資料空間。若您尚未建立任何資料空間，請進行下列事項之一：

     • 選取資料-空間 (預設租用戶資料空間)

       資訊備註資料-空間對所有成員有完整權限。您之後可以編輯每個成員擁有的角色和權限，如 資料空間角色和權限 中所述。

     • 取消精靈、建立自己的資料空間，如建立資料空間中所述，然後重新執行精靈。

     如需更多關於資料空間的資訊，請參閱 在 Qlik Talend Data Integration 的空間中工作。

3. 按一下下一步。在選取來源連線索引標籤中，選取前往來源資料的連線。您也可以從動作欄功能表選取編輯，以編輯連線設定。

   若您尚未建立前往資料來源的連線，則需要在索引標籤右上方按一下建立連線，以便建立。

   您可以使用左側的篩選器篩選連線清單。可以根據來源類型、閘道、空間和擁有者篩選連線。連線清單上方的所有篩選按鈕顯示目前的篩選數量。您可以使用此按鈕關閉或開啟左側的篩選面板。目前作用中的篩選也會顯示在可用連線清單上方。

   您也可以從右側的下拉式清單中選取上次修改、上次建立或按字母順序，以排序清單。按一下清單的向右箭頭以變更排序順序。

   選取資料來源連線之後，可以選擇按一下索引標籤右上方的測試連線 (建議)，然後按一下下一步。

4. 在選取資料集索引標籤中，選取表格和/或檢視，以包括在複寫任務中。您也可以使用萬用字元並建立選取規則，如 從資料庫中選取資料 中所述。

5. 在選取目標連線索引標籤中，從可用連線清單中選取目標，然後按一下下一步。在功能方面，索引標籤與先前描述的選取來源連線索引標籤相同。

6. 在設定索引標籤中，可以選擇變更下列設定，然後按一下下一步。

   複寫模式

   資訊備註從 SaaS 應用程式來源複寫時，依照預設會啟用完整載入複寫模式，並且無法停用。
   • 完整載入：將資料從所選來源表格載入到目標平台，並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生，但如有需要，也可以手動執行。

   • 套用變更：以對來源表格所做的任何變更更新目標表格。

   • 儲存變更：在變更表格 (每個來源表格一個)中將變更儲存至來源表格。

     如需詳細資訊，請參閱 儲存變更。

   變更資料擷取頻率由排程器設定決定。預設變更擷取間隔為每六小時一次。如需詳細資訊，請參閱 在不使用 資料移動閘道 時排程任務。

   自訂結構描述

   • 目標資料集結構描述：也可以選取您希望在目標建立的資料集所採用的結構描述。
   • 控制表格結構描述：也可以選取您希望在目標建立的控制表格所採用的結構描述。

   複寫排程器

   • 複寫資料間隔：您可以排程從資料來源擷取變更的頻率，並設定開始時間和開始日期。 若來源資料集支援 CDC (變更資料擷取)，只會複寫來源資料的變更並套用至對應的目標表格。若來源資料集不支援 CDC (例如檢視畫面)，則會將所有來源資料載入到對應的目標表格，以套用變更。若有些來源資料集支援 CDC，而有些不支援，將會建立兩個獨立的子任務 (假設套用變更或選取了儲存變更複寫選項)：一個用於載入不支援 CDC 的資料集，另一個用於對支援 CDC 的資料集擷取變更。

     任務設定精靈可讓您排程每小時間隔。在您完成設定任務之後，您可以探索不同的排程選項，如 在不使用 資料移動閘道 時排程任務 中所述。

   如需關於根據資料來源類型和訂閱層級的最低排程間隔的資訊，請參閱 最低允許的排程間隔。

   您之後可以變更設定，如 資料複寫任務設定 中所述。

7. 在摘要索引標籤中，會顯示資料管道的視覺。選擇下列建立管道之後動作之一：

   • 開啟 <name> 專案 (預設)

   • 開啟 <name> 資料任務

     資訊備註若部分選取的資料集不支援 CDC，將會顯示兩個管道：一個用於 CDC 任務，另一個用於載入任務。

   然後按一下建立並執行 (預設) 或建立以建立任務而不執行。

   若點選了建立並執行，將會建立任務並開始執行 (可能需要一些時間)。

8. 若點選了建立，根據您先前選取的建立管道之後動作，將會發生下列事項之一：

   • 專案將會開啟，顯示新建立的任務。

   • 任務將會在資料集索引標籤開啟。資料集索引標籤會顯示所選來源表格的結構和中繼資料。這包括所有明確列出的表格，以及符合選取規則的表格。

     若您想要從資料來源新增更多表格，按一下選取來源資料。

9. 您可以執行資料集轉換、篩選資料或新增欄。

   如需詳細資訊，請參閱管理資料集。

10. 您已新增所需的轉換之後，可按一下驗證資料集以驗證資料集。如果驗證失敗，請先解決錯誤再繼續進行。

    如需詳細資訊，請參閱 驗證和調整資料集。

11. 若您準備就緒，按一下準備並執行以準備並執行資料任務。

    如需關於復原任務和其他任務執行方法的資訊，請參閱 進階執行選項。

12. 即可開始複寫任務，您可在監控中看見進度。如需詳細資訊，請參閱 監控個別資料任務

複寫至有暫存的資料倉庫

此區段說明如何設定對需要獨立暫存區域的資料倉庫的複寫任務。

要執行的操作：

1. 在 資料整合> 首頁中，按一下複寫資料。

   就會開啟複寫資料精靈。

2. 在一般索引標籤中，進行下列事項：

   • 任務名稱

     指定任務名稱。

   • 描述

     也可以選擇輸入任務的說明。

   • 專案

     執行下列其中一個動作：

     • 選取現有專案

     • 指定新專案的名稱，然後按一下專案欄位之下的新增專案：<your-project-name>。

       專案名稱將會新增至專案欄位。

   • 空間

     選取複寫專案的資料空間。若您尚未建立任何資料空間，請進行下列事項之一：

     • 選取資料-空間 (預設租用戶資料空間)

       資訊備註資料-空間對所有成員有完整權限。您之後可以編輯每個成員擁有的角色和權限，如 資料空間角色和權限 中所述。

     • 取消精靈、建立自己的資料空間，如建立資料空間中所述，並重新執行精靈。

     如需更多關於資料空間的資訊，請參閱 在 Qlik Talend Data Integration 的空間中工作。

3. 按一下下一步。在選取來源連線索引標籤中，選取前往來源資料的連線。您也可以從動作欄功能表選取編輯，以編輯連線設定。

   若您尚未建立前往資料來源的連線，則需要在索引標籤右上方按一下建立連線，以便建立。

   您可以使用左側的篩選器篩選連線清單。可以根據來源類型、閘道、空間和擁有者篩選連線。連線清單上方的所有篩選按鈕顯示目前的篩選數量。您可以使用此按鈕關閉或開啟左側的篩選面板。目前作用中的篩選也會顯示在可用連線清單上方。

   您也可以從右側的下拉式清單中選取上次修改、上次建立或按字母順序，以排序清單。按一下清單的向右箭頭以變更排序順序。

   選取資料來源連線之後，可以選擇按一下索引標籤右上方的測試連線 (建議)，然後按一下下一步。

4. 在選取資料集索引標籤中，選取表格和/或檢視，以包括在複寫任務中。您也可以使用萬用字元並建立選取規則，如 從資料庫中選取資料 中所述。

5. 在選取目標連線索引標籤中，從可用連線清單中選取目標，然後按一下下一步。在功能方面，索引標籤與先前描述的選取來源連線索引標籤相同。

6. 在設定索引標籤中，可以選擇變更下列設定，然後按一下下一步。

   複寫模式

   資訊備註從 SaaS 應用程式來源複寫時，依照預設會啟用完整載入複寫模式，並且無法停用。
   • 完整載入：將資料從所選來源表格載入到目標平台，並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生，但如有需要，也可以手動執行。

   • 套用變更：以對來源表格所做的任何變更更新目標表格。

   • 儲存變更：在變更表格 (每個來源表格一個)中將變更儲存至來源表格。

     如需詳細資訊，請參閱 儲存變更。

   變更資料擷取頻率由排程器設定決定。預設變更擷取間隔為每六小時一次。如需詳細資訊，請參閱 在不使用 資料移動閘道 時排程任務。

   連線至分段區域

   複寫至下列資料倉庫時，您需要設定暫存區域。會先在暫存區域中處理並準備資料，再傳輸至倉庫。

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   選取現有的暫存區域，或按一下新建以定義新的暫存區域，並按照 連線至雲端儲存空間 中的說明。

   若要編輯連線設定，按一下編輯。若要測試連線 (建議)，按一下測試連線。

   如需資料倉庫支援哪些暫存區域的資訊，請參閱 目標平台使用案例和支援版本 中的作為暫存區域受到支援欄。

   自訂結構描述

   • 目標資料集結構描述：也可以選取您希望在目標建立的資料集所採用的結構描述。
   • 控制表格結構描述：也可以選取您希望在目標建立的控制表格所採用的結構描述。

   複寫排程器

   • 複寫資料間隔：您可以排程從資料來源擷取變更的頻率，並設定開始時間和開始日期。 若來源資料集支援 CDC (變更資料擷取)，只會複寫來源資料的變更並套用至對應的目標表格。若來源資料集不支援 CDC (例如檢視畫面)，則會將所有來源資料載入到對應的目標表格，以套用變更。若有些來源資料集支援 CDC，而有些不支援，將會建立兩個獨立的子任務 (假設套用變更或選取了儲存變更複寫選項)：一個用於載入不支援 CDC 的資料集，另一個用於對支援 CDC 的資料集擷取變更。

     任務設定精靈可讓您排程每小時間隔。在您完成設定任務之後，您可以探索不同的排程選項，如 在不使用 資料移動閘道 時排程任務 中所述。

   您之後可以變更設定，如 資料複寫任務設定 中所述。

7. 在摘要索引標籤中，會顯示資料管道的視覺。選擇下列建立管道之後動作之一：

   • 開啟 <name> 專案 (預設)

   • 開啟 <name> 資料任務

     資訊備註若部分選取的資料集不支援 CDC，將會顯示兩個管道：一個用於 CDC 任務，另一個用於載入任務。

   然後按一下建立並執行 (預設) 或建立以建立任務而不執行。

   若點選了建立並執行，將會建立任務並開始執行 (可能需要一些時間)。

8. 若點選了建立，根據您先前選取的建立管道之後動作，將會發生下列事項之一：

   • 專案將會開啟，顯示新建立的任務。

   • 任務將會在資料集索引標籤開啟。資料集索引標籤會顯示所選來源表格的結構和中繼資料。這包括所有明確列出的表格，以及符合選取規則的表格。

     若您想要從資料來源新增更多表格，按一下選取來源資料。

9. 您可以執行資料集轉換、篩選資料或新增欄。

   如需詳細資訊，請參閱管理資料集。

10. 您已新增所需的轉換之後，可按一下驗證資料集以驗證資料集。如果驗證失敗，請先解決錯誤再繼續進行。

    如需詳細資訊，請參閱 驗證和調整資料集。

11. 若您準備就緒，按一下準備並執行以準備並執行資料任務。

    如需關於復原任務和其他任務執行方法的資訊，請參閱 進階執行選項。

12. 即可開始複寫任務，您可在監控中看見進度。如需詳細資訊，請參閱 監控個別資料任務

複寫至雲端儲存

此區段說明如何設定對雲端儲存的複寫任務。

要執行的操作：

1. 在 資料整合> 首頁中，按一下複寫資料。

   就會開啟複寫資料精靈。

2. 在一般索引標籤中，進行下列事項：

   • 任務名稱

     指定任務名稱。

   • 描述

     也可以選擇輸入任務的說明。

   • 專案

     執行下列其中一個動作：

     • 選取現有專案

     • 指定新專案的名稱，然後按一下專案欄位之下的新增專案：<your-project-name>。

       專案名稱將會新增至專案欄位。

   • 空間

     選取複寫專案的資料空間。若您尚未建立任何資料空間，請進行下列事項之一：

     • 選取資料-空間 (預設租用戶資料空間)

       資訊備註資料-空間對所有成員有完整權限。您之後可以編輯每個成員擁有的角色和權限，如 資料空間角色和權限 中所述。

     • 取消精靈、建立自己的資料空間，如建立資料空間中所述，並重新執行精靈。

     如需更多關於資料空間的資訊，請參閱 在 Qlik Talend Data Integration 的空間中工作。

3. 按一下下一步。在選取來源連線索引標籤中，選取前往來源資料的連線。您也可以從動作欄功能表選取編輯，以編輯連線設定。

   若您尚未建立前往資料來源的連線，則需要在索引標籤右上方按一下建立連線，以便建立。

   您可以使用左側的篩選器篩選連線清單。可以根據來源類型、閘道、空間和擁有者篩選連線。連線清單上方的所有篩選按鈕顯示目前的篩選數量。您可以使用此按鈕關閉或開啟左側的篩選面板。目前作用中的篩選也會顯示在可用連線清單上方。

   您也可以從右側的下拉式清單中選取上次修改、上次建立或按字母順序，以排序清單。按一下清單的向右箭頭以變更排序順序。

   選取資料來源連線之後，可以選擇按一下索引標籤右上方的測試連線 (建議)，然後按一下下一步。

4. 在選取資料集索引標籤中，選取表格和/或檢視，以包括在複寫任務中。您也可以使用萬用字元並建立選取規則，如 從資料庫中選取資料 中所述。

5. 在選取目標連線索引標籤中，從可用連線清單中選取目標，然後按一下下一步。在功能方面，索引標籤與先前描述的選取來源連線索引標籤相同。

6. 在設定索引標籤中，可以選擇變更下列設定，然後按一下下一步。

   更新方法

   • 變更資料擷取 (CDC)：資料湖登陸任務以完整載入開始 (在此期間，會登陸所有選取的表格)。然後登陸資料會使用 CDC (變更資料擷取) 技術保持最新狀態。

     資訊備註不支援 DDL 操作的 CDC (變更資料擷取)。

     變更資料擷取頻率由排程器設定決定。預設變更擷取間隔為每六小時一次。如需詳細資訊，請參閱 在不使用 資料移動閘道 時排程任務。

   • 載入：執行完整載入以將資料從所選來源表格載入到目標平台，並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生，但也可以根據需要手動執行或安排定期進行。

   若您選取變更資料擷取 (CDC)，且資料也包含不支援 CDC 或檢視的表格，將會建立兩個資料管道。一個管道具有支援 CDC 的所有表格，另一個管道具有使用載入所有其他表格和檢視。

   要使用的資料夾

   根據您希望檔案寫入到哪個值區資料夾，選取下列內容之一：

   • 預設資料夾：預設資料夾格式為 <your-project-name>/<your-task-name>
   • 根資料夾：檔案將會直接寫入到值區。

   • 資料夾：輸入資料夾名稱。若不存在，將會在資料湖登陸任務期間建立資料夾。

     資訊備註 資料夾名稱不可包括特殊字元 (例如 @、#、! 等)。

   複寫排程器

   • 複寫資料間隔：您可以排程從資料來源擷取變更的頻率，並設定開始時間和開始日期。 若來源資料集支援 CDC (變更資料擷取)，只會複寫來源資料的變更並套用至對應的目標表格。若來源資料集不支援 CDC (例如檢視畫面)，則會將所有來源資料載入到對應的目標表格，以套用變更。若有些來源資料集支援 CDC，而有些不支援，將會建立兩個獨立的子任務 (假設變更資料擷取 (CDC) 更新方法是)：一個用於載入不支援 CDC 的資料集，另一個用於對支援 CDC 的資料集擷取變更。

     任務設定精靈可讓您排程每小時間隔。在您完成設定任務之後，您可以探索不同的排程選項，如 在不使用 資料移動閘道 時排程任務 中所述。

   您之後可以變更任務設定，如 雲端儲存目標的設定 中所述。

7. 在摘要索引標籤中，會顯示資料管道的視覺。選擇下列建立管道之後動作之一：

   • 開啟 <name> 專案 (預設)

   • 開啟 <name> 資料任務

     資訊備註若部分選取的資料集不支援 CDC，將會顯示兩個管道：一個用於 CDC 任務，另一個用於載入任務。

   然後按一下建立並執行 (預設) 或建立以建立任務而不執行。

   若點選了建立並執行，將會建立任務並開始執行 (可能需要一些時間)。

8. 若點選了建立，根據您先前選取的建立管道之後動作，將會發生下列事項之一：

   • 專案將會開啟，顯示新建立的任務。

   • 任務將會在資料集索引標籤開啟。資料集索引標籤會顯示所選來源表格的結構和中繼資料。這包括所有明確列出的表格，以及符合選取規則的表格。

     若您想要從資料來源新增更多表格，按一下選取來源資料。

9. 您可以執行資料集轉換、篩選資料或新增欄。

   如需詳細資訊，請參閱管理資料集。

10. 您已新增所需的轉換之後，可按一下驗證資料集以驗證資料集。如果驗證失敗，請先解決錯誤再繼續進行。

    如需詳細資訊，請參閱 驗證和調整資料集。

11. 若您準備就緒，按一下準備並執行以準備並執行資料任務。

    如需關於復原任務和其他任務執行方法的資訊，請參閱 進階執行選項。

12. 即可開始複寫任務，您可在監控中看見進度。如需詳細資訊，請參閱 監控個別資料任務

設定資料集的載入優先順序

您可以透過為每個資料集指定載入優先順序，控制資料任務中資料集的載入順序。例如，如果您希望在大型資料集之前先載入較小的資料集，這會很有用。

1. 按一下載入優先順序。

2. 為每個資料集選擇一種載入優先順序。

   預設的載入優先順序為一般。資料集將會依照下列優先順序載入：

   • 最高

   • 較高

   • 高

   • 正常

   • 低

   • 較低

   • 最低

   具有相同優先順序的資料集不會按特定順序載入。

3. 按一下確定。

正在重新整理中繼資料

您可以在任務的設計檢視中重新整理任務中的中繼資料，以符合來源中繼資料中的變更。對於使用 Metadata Manager 的 SaaS 應用程式，必須先重新整理 Metadata Manager，才能重新整理資料任務中的中繼資料。

1. 您可以進行以下任一項：

   • 按一下 ...，然後按一下重新整理中繼資料，以對任務中的所有資料集重新整理中繼資料。

   • 在資料集中的資料集按一下 ...，然後按一下重新整理中繼資料，以對單一資料集重新整理中繼資料。

   您可以在畫面下方部分的重新整理中繼資料之下檢視中繼資料重新整理狀態。您可以在 之下查看上次重新整理中繼資料的時間。

2. 準備資料任務以套用變更。

   準備資料任務並套用變更後，會從重新整理中繼資料移除變更。

您必須準備取用此任務的儲存任務以散佈變更。

若移除欄，會新增具有 Null 值的轉換，以確保儲存不會失去歷史資料。

限制

• 若有相同的資料類型和資料長度，則在此之前於相同時段以捨棄的欄重新命名，將會轉譯為捨棄的欄重新命名。

  範例：  

  之前：a b c d

  之後：a c1 d

  在此範例中，捨棄了 b，而 c 重新命名為 c1，且 b 和 c 有相同的資料類型和資料長度。

  這將會識別為從 b 重新命名為 c1 並捨棄 c。

• 不會辨識最後一欄重新命名，即使已捨棄最後一欄並重新命名前一欄，也是如此。

  範例：  

  之前：a b c d

  之後：a b c1

  在此範例中，捨棄了 d 且 c 重新命名為 c1。

  這將會識別為捨棄 c 和 d，並新增 c1。

• 會假設新的欄在末尾新增。若在中間新增資料類型與下一欄相同的欄，可能會解譯為捨棄並重新命名。