メタデータ ファイルの説明
[ターゲット フォルダにメタデータ ファイルを作成] オプションが選択されている場合、CSV/JSON/Parquet ファイルごとに、データ レイク ランディング タスクによって、指定されたターゲット フォルダーの下に対応するメタデータ ファイルが作成されます。
メタデータ ファイルには、カスタム バッチ プロセスによる検証の向上、より詳細な自動化のサポート、系列情報の提供、処理の信頼性の向上など、いくつかの利点があります。
以下の表で、メタデータ ファイルについて説明します。
すべてのタイムスタンプは ISO-8601 形式です (例: 2016-08-02T10:05:04.802 ) 。
| 項目 | 説明 |
|---|---|
|
名前 |
データ レイクのランディング タスクの名前。 |
|
sourceEndpoint |
ソース エンドポイント設定で定義された名前。 |
|
sourceEndpointType |
ソース接続の種類 (Oracle、MySQL など)。 |
|
sourceEndpointUser |
ソース エンドポイント設定で定義されたユーザー。 |
|
replicationServer |
Data Movement gateway がインストールされているマシンのホスト名。 |
|
operation |
ターゲット データ ファイルが作成されている場合、この項目には次の値が含まれます。 dataProduced |
| 項目 | 説明 |
|---|---|
|
名前 |
拡張子を除いたデータ ファイルの名前。 |
|
拡張機能 |
データ ファイルの拡張子 (選択したターゲット ファイル形式に応じて .csv または .json)。 |
|
location |
データ ファイルの場所。 |
|
startWriteTimestamp |
ファイルへの書き込みが開始された時間を示す UTC タイムスタンプ。 |
|
endWriteTimestamp |
ファイルへの書き込みが終了した時間を示す UTC タイムスタンプ。 |
|
firstTransactionTimestamp |
ファイルの最初のレコードの UTC タイムスタンプ。 |
|
lastTransactionTimestamp |
ファイルの最後のレコードの UTC タイムスタンプ。 |
|
content |
値は、対応する CSV ファイルのデータに応じて、data (フルロード ラディングの場合) または changes (CDC ランディングの場合) のいずれかになります。 |
|
recordCount |
ファイルのレコードの数。 |
|
errorCount |
ファイルの作成中に発生したデータ エラーの数。 |
| 項目 | 説明 |
|---|---|
|
format |
選択したターゲット ファイル形式に応じて delimited または json 。 |
|
オプション |
delimited ファイル形式のオプション。これらのオプションは、json 形式には関係ないため表示されません。 |
|
recordDelimiter |
ターゲット ファイルのレコード (行) を区切るために使用される区切り記号。既定は改行 (\n) です。 |
|
fieldDelimiter |
ターゲット ファイルの項目 (列) を区切るために使用される区切り記号。既定はカンマです。 |
|
nullValue |
ターゲット ファイルで Null 値を示すために使用される文字列。 |
|
quoteChar |
列の最初と最後に使用される文字。既定は二重引用符 (") です。 |
|
escapeChar |
文字列とその文字列を含む列の両方が二重引用符で囲まれている場合に、文字列をエスケープするために使用される文字。文字列の引用符は、エスケープしない限り削除されることに注意してください。 例 (" は引用符、\ はエスケープ文字): 1955,"old, \"rare\", Chevrolet",$1000 |
| 項目 | 説明 |
|---|---|
|
customInfo |
このセクションには、dfmCustomProperties 内部プロパティを使用して設定されたカスタム プロパティが含まれます。 dfmCustomProperties 内部パラメーターは、次の形式で指定する必要があります。 Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 例: Color=Blue;Size=Large;Season=Spring 内部プロパティの設定方法の説明については、「Amazon S3」を参照してください。 |
| 項目 | 説明 |
|---|---|
|
sourceSchema |
ソース テーブルを含むスキーマ。 |
|
sourceTable |
ソース テーブルの名前。 |
|
targetSchema |
ターゲット テーブル スキーマの名前 (ソース スキーマ名が変更された場合)。 |
|
targetTable |
ターゲット テーブルの名前 (ソース テーブル名が変更された場合)。 |
|
tableVersion |
データ レイクのランディング タスクは、テーブルに内部バージョン番号を割り当てます。バージョン番号は、ソース テーブルで DDL の変更が発生するたびに増加します。 |
|
columns |
テーブルの列に関する情報。 |
|
序数 |
レコードの列の位置 (1、2、3 など)。 |
|
名前 |
列名。 |
|
タイプ |
列のデータ型。詳細については、「Supported data types」 を参照してください。 |
|
width |
列に許可されるデータの最大サイズ (バイト単位)。 |
|
スケール |
数値に許可される小数点以下の最大桁数。 |
|
primaryKeyPos |
テーブルの主キーまたは一意のインデックスの列の位置。列がテーブルの主キーの一部ではない場合、値はゼロになります。 |