中繼資料檔案描述
若選取在目標資料夾中建立中繼資料檔案選項，則對於每個 CSV/JSON/Parquet 檔案，資料湖登陸任務將會在指定的目標資料夾之下建立對應的中繼資料檔案。
中繼資料檔案提供幾個優點，例如讓自訂批次處理能夠執行更好的驗證、支援更深入的自動化、提供譜系資訊並改善處理可靠性。
中繼資料檔案於下表描述。
所有時間戳記都採用 ISO-8601 格式，例如 2016-08-02T10:05:04.802。
| 欄位 | 描述 |
|---|---|
|
名稱 |
資料湖登陸任務的名稱。 |
|
sourceEndpoint |
來源端點設定中定義的名稱。 |
|
sourceEndpointType |
來源連接器類型 (例如 Oracle、MySQL 等)。 |
|
sourceEndpointUser |
來源端點設定中定義的使用者。 |
|
replicationServer |
安裝 資料移動閘道 的機器主機名稱。 |
|
操作 |
若已建立目標資料檔案，此欄位將會包含下列值：dataProduced |
| 欄位 | 描述 |
|---|---|
|
名稱 |
不含副檔名的資料檔案名稱。 |
|
副檔名 |
資料檔案的副檔名 (.csv 或 .json，視所選的目標檔案格式而定)。 |
|
位置 |
資料檔案的位置。 |
|
startWriteTimestamp |
指示何時開始寫入到檔案的 UTC 時間戳記。 |
|
endWriteTimestamp |
指示何時結束寫入到檔案的 UTC 時間戳記。 |
|
firstTransactionTimestamp |
檔案中第一個記錄的 UTC 時間戳記。 |
|
lastTransactionTimestamp |
檔案中最後一個記錄的 UTC 時間戳記。 |
|
內容 |
值可以是 data (適用於完整載入登陸) 或 changes (適用於 CDC 登陸)，視對應 CSV 檔案中的資料而定。 |
|
recordCount |
檔案中的記錄數量。 |
|
errorCount |
檔案建立期間遇到的資料錯誤數量。 |
| 欄位 | 描述 |
|---|---|
|
格式 |
根據所選目標檔案格式的 delimited 或 json 。 |
|
選項 |
delimited 檔案格式的選項。json 格式下不會顯示這些選項，因為不相關。 |
|
recordDelimiter |
用來在目標檔案中分隔記錄 (列) 的分隔符號。預設為新行 (\n)。 |
|
fieldDelimiter |
用來在目標檔案中分隔欄位 (欄) 的分隔符號。預設為逗號。 |
|
nullValue |
用來在目標檔案中指示 Null 值的字串。 |
|
quoteChar' |
在欄的開頭和結尾使用的字元。預設為雙引號字元 (")。 |
|
escapeChar |
以雙引號括起包含字串的字串和欄時用來逸出字串的字元。請注意，將會移除字串的引號，除非已逸出。 範例 (其中 " 是引號字元，而 \ 是逸出字元)： 1955,"old, \"rare\", Chevrolet",$1000 |
| 欄位 | 描述 |
|---|---|
|
customInfo |
此區段包含使用 dfmCustomProperties 內部屬性設定的任何自訂屬性。 必須以下列格式指定 dfmCustomProperties 內部參數： Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 範例： Color=Blue;Size=Large;Season=Spring 如需如何設定內部屬性的說明，請參閱 Amazon S3。 |
| 欄位 | 描述 |
|---|---|
|
sourceSchema |
包含來源表格的結構描述。 |
|
sourceTable |
來源表格的名稱。 |
|
targetSchema |
目標表格結構描述的名稱 (若來源結構描述名稱已變更)。 |
|
targetTable |
目標表格的名稱 (若來源表格名稱已變更)。 |
|
tableVersion |
資料湖登陸任務會向表格指派內部版本編號。只要來源表格中發生 DDL 變更，版本編號就會增加。 |
|
欄 |
關於表格欄的資訊。 |
|
順序 |
記錄中欄的位置 (1、2、3 等)。 |
|
名稱 |
欄名稱。 |
|
類型 |
欄資料類型。如需更多資訊，請參閱Supported data types。 |
|
寬度 |
欄許可的資料大小上限 (位元組)。 |
|
刻度 |
對數字的小數點右側許可的位數上限。 |
|
primaryKeyPos |
表格的主要金鑰或唯一索引中的欄位置。若欄不屬於表格的主要金鑰，值是零。 |