轉換資料
您可建立能重複使用並且以規則為基礎的的資料轉換,做為資料管道的一部份。可在資料上線之中執行轉換,也可建立能重複使用的轉換資料任務。您可以執行列層級轉換並建立具體化為表格,或在執行中進行轉換建立為檢視的資料集。
-
您可以執行明確的資料集轉換,或建立轉換多個資料集的全域規則。也可篩選資料集,建立以列組成的子集。
-
您可以新增 SQL 轉換。SQL 轉換可讓您在管道中輸入 SQL SELECT 查詢,以定義複雜或簡單的轉換。
-
您可以使用來源、處理器和目標新增視覺轉換流程,以定義複雜或簡單的轉換。
建立轉換資料任務
建立轉換資料任務最簡單的方式是在儲存空間資料任務上按一下 ...,選取轉換資料。
也可在資料專案中按一下新增,選取轉換資料。此情況下,您需要定義所要使用的來源資料任務。
-
在轉換中定義來源資料和目標。
您可以:
-
執行資料集轉換
選取來源資料集,按一下新增至目標以加入至目標。
然後您可以執行基本資料集轉換,例如在資料集中篩選資料或新增欄。
如需詳細資訊,請參閱管理資料集。
-
新增 SQL 轉換
選取來源資料集並按一下新增 SQL 轉換。
SQL 轉換可讓您在管道中輸入 SQL SELECT 查詢,以定義複雜或簡單的轉換。
如需詳細資訊,請參閱新增 SQL 轉換。
-
新增轉換流程
選取來源資料集並按一下新增轉換流程。
流程設計工具可讓您使用來源、處理器和目標建立轉換流程,以定義複雜或簡單的轉換
如需詳細資訊,請參閱新增轉換流程。
提示備註您也可以按一下選取來源資料,從其他儲存空間資料任務新增更多資料集。 -
-
您已新增所需的轉換之後,按一下驗證資料集以驗證資料集。如果驗證後發現錯誤,請先修正錯誤再繼續進行。
如需詳細資訊,請參閱驗證和調整資料集。
-
建立資料模型
按一下模型以設定所包含的資料集之間的關係。
如需詳細資訊,請參閱 建立資料模型。
-
按一下準備以準備資料任務和所需全部成品。這需花一些時間。
您可以在畫面下方的準備進度之下追蹤進度。
-
當狀態顯示已準備好時,您即可執行資料任務。
按一下 ... 再按執行。
這時資料任務會開始建立轉換資料用的資料集。
排程轉換任務
您可以排程定期更新轉換任務。您可以設定基於時間的排程,或設定為在輸入資料任務完成執行後執行任務。
按一下資料任務上的 ... 並選取排程以建立排程。預設排程設定繼承自資料專案中的設定。如需關於預設設定的詳細資訊,請參閱 賺換預設值。
您一律需要將排程設定為開啟以啟用排程。
基於時間的排程
無論不同的輸入來源於何時更新,您都可以使用基於時間的排程以執行任務。
在執行資料任務中選取在特定時間。
您可以設定每小時、每日、每週或每月排程。
基於事件的排程
您可以使用基於事件的排程,以在輸入資料任務完成執行後執行任務。
在執行資料任務中選取在特定事件。
您可以選取想要在任何輸入任務成功完成後執行任務,或是在任何輸入任務選項成功完成後執行任務。
監控轉換任務
您可以按一下監控,監控轉換任務的狀態和進度。
如需詳細資訊,請參閱監控個別資料任務。
載入資料
若資料具體化為實體表格,您可以執行手動表格載入。若一個或多個表格有問題,這很實用。
開啟資料任務並選取監控索引標籤。
選取您要載入的表格。
按一下載入表格。
載入將會發生在下次執行任務時。載入流程根據每個資料集的歷史記錄設定和轉換類型,會有不同的運作方式。這表示,資料任務中的資料集之間可能會有不同的載入流程。
會透過截斷並載入的方法載入資料集轉換。
可以截斷並載入,或比較並套用,以載入 SQL 轉換和轉換流程。比較並套用是最佳做法。
您可以按一下取消載入,為等待載入的表格取消載入。這不會影響已載入的表格,且將會完成目前正在執行的載入。
將會載入下游任務以套用變更,並避免提早進行。
對下游的影響取決於執行的載入操作類型,以及直接下游資料集的類型。標準處理表示資料集將會使用對特定資料集設定的方法,反映並處理資料。
範例: 透過截斷並載入來載入資料集
若下一個資料集使用資料集轉換,將會在下次執行時透過截斷並載入來載入。
若下一個資料集是 SQL 轉換或轉換流程,將會使用比較並套用來載入。
載入不含歷史記錄的資料集
在此情況下,沒有要考慮的歷史記錄。若要降低對目標的處理程度,載入可透過以下方式執行:
截斷表格。
從上游資料任務載入目前資料。
將會載入下游任務以套用變更。
載入啟用歷史記錄的資料集
載入透過以下方式執行:
截斷目前表格、之前表格和變更表格。
從上游資料任務載入資料,包括之前表格。
根據 SQL 轉換或轉換流程載入資料集
截斷並載入
資訊備註此選項可能會造成歷史記錄損失。截斷目前表格和變更表格。
執行查詢並載入到目前表格。
載入並比較
執行查詢並與目前表格比較。
新增變更。
轉換的設定
您可為轉換資料任務設定屬性。
按一下設定。
一般設定
資料庫
要在資料來源中使用的資料庫。
資料任務結構描述
您可以變更儲存資料任務結構描述的名稱。預設名稱是 store。
內部架構
您可變更內部儲存空間架構的名稱。預設名稱是 store__internal。
- 用於所有表格和檢視的前置詞
您可以為透過此任務建立的所有表格和檢視畫面設定前置詞。
資訊備註若您想要在數個資料任務中使用一個資料庫結構描述,則必須使用唯一前置詞。 具體化
您可選擇僅建立即時執行轉換 (非具體化) 的檢視,或同時建立表格和檢視 (具體化)。
歷程記錄
您可以保留歷史變更資料,讓您輕鬆重新建立在特定時間點的資料。您可以使用歷史記錄檢視和即時歷史記錄檢視以查看歷史資料。
執行時間設定
平行執行
您可用 1 到 5 的數字設定完整載入資料連線的最大數目。
倉庫
雲端資料倉庫的名稱。
限制
選取非具體化選項時,無法變更轉換資料任務中的資料類型。
基於 SQL 的非具體化資料集僅提供完整結果集,不支援增量篩選。基於 SQL 的非具體化資料集也僅提供目前的資料,不保留歷史記錄。