管理資料集

您可以管理包含在 登陸、儲存、轉換、資料超市、串流登陸、串流轉換 和 複寫 資料任務中的資料集，以建立轉換、篩選資料和新增欄。

包含的資料集列在 設計 檢視中的 資料集 下。您可以使用欄選擇器 () 選擇要顯示的欄。

轉換規則和明確轉換

您可以執行全域和明確轉換。

轉換規則

您可以透過建立在範圍內使用 % 作為萬用字元的轉換規則來執行全域轉換，以套用至所有相符的資料集。

• 按一下 規則，然後按一下 新增規則 以建立新的轉換規則。

  如需詳細資訊，請參閱 建立規則以轉換資料集。

轉換規則會以受影響屬性上的深紫色角落表示。

明確轉換

在下列情況下會建立明確轉換：

• 當您使用 編輯 變更欄屬性時

• 當您對資料集使用 重新命名 時。

• 當您新增欄時。

明確轉換會覆寫全域轉換，並以受影響屬性上的淺紫色角落表示。

資料集模型

資料集可以是基於來源或基於目標，這取決於任務類型和任務中的作業。使用的資料集模型會影響管道在來源變更時的行為，以及您可以執行的作業。

• 基於來源的資料集

  資料集基於來源資料集，且僅保留中繼資料的變更。來源資料的變更會自動套用，這可能會導致所有下游任務發生變更。無法變更欄順序或變更來源資料集。

  下列任務類型一律使用基於來源的資料集模型：登陸、儲存、已註冊資料、複寫和資料湖中的登陸。

• 基於目標的資料集

  資料集基於目標中繼資料。如果從來源新增或移除欄，則不會自動套用至下一個下游任務。您可以變更欄順序，並變更來源資料集。這表示任務更加獨立，並讓您控制來源變更的影響。

  下列任務類型可以使用基於目標的資料集模型：轉換、資料超市。在某些情況下，會根據作業對轉換任務使用基於來源的模型。

  • 如果 SQL 轉換或轉換流程執行欄選取，則資料集將基於目標。例如，如果您在 SQL 轉換中使用 SELECT A, B, C from XYZ，或在轉換流程中使用 選取欄 處理器。

  • 如果維護預設欄，則資料集基於來源。例如，如果您在 SQL 轉換中使用 SELECT * from XYZ。

將專案從基於來源的模型更新為基於目標的模型

現有專案會在適用時更新為基於目標的資料集模型。首次開啟專案時，系統會引導您完成更新程序。匯入和匯出具有不同資料集模型的專案時，需要考量一些事項。

• 無法將具有基於來源模型的專案匯入至具有基於目標模型的專案。

  將具有基於來源模型的專案匯入至新專案，更新新專案，然後匯出產生的專案。您現在可以將此專案重新匯入至具有基於目標模型的專案。

• 無法將具有基於目標模型的專案匯入至具有基於來源模型的專案。

  在匯入具有基於目標模型的專案之前，請先將專案更新為基於目標的模型。

篩選資料集

如有需要，您可以篩選資料以建立資料列的子集。

• 按一下 篩選。

如需詳細資訊，請參閱 篩選資料集。

重新命名資料集

您可以重新命名資料集。

• 按一下資料集上的 ，然後按一下 編輯。

新增欄

如有需要，您可以透過列層級轉換新增欄。

• 按一下 新增欄

如需詳細資訊，請參閱 新增欄至資料集。

編輯欄

您可以透過選取欄並按一下 編輯 來編輯欄屬性。

• 名稱

• 索引鍵

  將欄設定為主索引鍵。您也可以透過在 索引鍵 欄中選取或取消選取來設定索引鍵。

• 可為 Null

• 資料類型

  設定欄的資料類型。對於某些資料類型，您可以設定其他屬性，例如 長度。

  資訊備註當您變更欄的資料類型或資料類型大小時，這可能會對使用該資料集的任務產生影響。如需詳細資訊，請參閱 管理資料類型。

移除欄

您可以從資料集中移除一或多個欄。

• 選取要移除的欄，然後按一下 移除。

如果您想要查看已移除的欄，請按一下 顯示已移除的欄。已移除的欄會以刪除線文字表示。您可以透過選取已移除的欄並按一下 還原 來擷取該欄。

還原對欄的明確變更

您可以還原對一或多個欄的所有明確變更。

• 選取要還原變更的欄，然後按一下 還原。

來自全域轉換規則的變更將不會被還原。

如果您還原已新增的欄，該欄將被移除。

資料集設定

您可以變更資料集的設定。預設設定是繼承資料任務的設定，但您也可以將設定明確變更為開啟或關閉。

• 按一下資料集上的 ，然後按一下 設定。

檢視資料

在設計資料管道時，您可以檢視資料樣本以查看並驗證資料的形狀。

必須符合下列需求：

• 在 管理 活動中心的租用戶層級已啟用檢視資料。

  若要啟用它，請前往 設定 頁面，選取 功能控制 索引標籤，然後開啟 在 資料整合 中檢視資料。

• 在連線所在的空間中，您被指派了 可檢視資料 角色。

• 在專案所在的空間中，您被指派了 可檢視 角色。

檢視樣本資料

若要在 設計 檢視的 資料集 索引標籤中檢視樣本資料：

• 按一下 實體物件 中的 檢視資料。

會顯示資料的樣本。您可以使用 列數 設定樣本中要包含的資料列數。

在資料集和表格之間變更

若要在資料集和表格之間變更：

• 選取 資料集 以檢視資料的邏輯表示。

• 選取 實體物件 以檢視資料庫中作為表格和檢視的實體表示。

  最新消息備註如果尚未建立實體表示，則無法使用此選項。

篩選

您可以透過兩種方式篩選樣本資料：

• 使用 來篩選要擷取的樣本資料。

  例如，如果您使用篩選條件 ${OrderYear}>2023 且 列數 設定為 10，您將獲得 10 筆 2024 年訂單的樣本。

• 依特定欄篩選樣本資料。

  這只會影響現有的樣本資料。如果您使用 僅包含 2024 年的訂單，並將欄篩選條件設定為顯示 2022 年的訂單，則結果將是空白樣本。

排序

您也可以依特定欄對資料樣本進行排序。排序只會影響現有的樣本資料。如果您使用 僅包含 2024 年的訂單並反轉排序順序，樣本資料仍將僅包含 2024 年的訂單。

隱藏欄

您可以在資料檢視中隱藏欄：

• 透過按一下欄上的 ，然後按一下 隱藏欄 來隱藏單一欄。

• 透過按一下任何欄上的 ，然後按一下 顯示欄 來隱藏多個欄。這可讓您控制檢視中所有欄的可見性。

下載樣本資料

您可以下載顯示的樣本資料：

• 按一下 以下載樣本資料檢視的內容。

樣本資料會以 CSV 檔案格式下載至您的瀏覽器下載項目中。

驗證和調整資料集

您可以驗證包含在資料任務中的所有資料集。

展開 驗證和調整 以查看所有驗證錯誤和設計變更。

驗證資料集

• 按一下 驗證資料集 以驗證資料集。

驗證包括檢查：

• 所有表格都有主索引鍵

• 沒有遺漏的屬性。

• 沒有重複的表格或欄名稱。

您還會獲得與來源相比的設計變更清單：

• 新增的表格和欄

• 捨棄的表格和欄

• 重新命名的表格和欄

• 變更的主索引鍵和資料類型

展開 驗證和調整 以查看所有驗證錯誤和設計變更。

• 修正驗證錯誤，然後再次驗證資料集。

• 大多數設計變更都可以自動調整，但變更的主索引鍵或資料類型除外。在這種情況下，您需要同步資料集。

準備資料集

如果可能，您可以準備資料集以在不遺失資料的情況下調整設計變更。如果有無法在不遺失資料的情況下調整的設計變更，您將獲得從來源重新建立表格的選項，這會導致資料遺失。

這需要停止任務。

• 按一下 ，然後按一下 準備。

準備好資料集後，請在重新啟動儲存任務之前驗證資料集。

重新建立資料集

您可以從來源重新建立資料集。當您重新建立資料集時，將會遺失資料。只要您有來源資料，就可以從來源重新載入。

這需要停止任務。

• 按一下 ，然後按一下 重新建立表格。

下載驗證資料

您可以從 驗證錯誤、設計變更 和 準備進度 下載資料：

• 按一下 以下載。

資料會以 CSV 檔案格式下載至您的瀏覽器下載項目中。

限制

• 在 Google BigQuery 中，如果您刪除或重新命名欄，這將重新建立表格並導致資料遺失。