Beschreibung der Metadatendatei
Wenn die Option Metadatendateien im Zielordner erstellen ausgewählt ist, erstellt die Data Lake-Bereitstellungsaufgabe für jede CSV/JSON/Parquet-Datei eine entsprechende Metadatendatei unter dem angegebenen Zielordner.
Die Metadatendatei bietet verschiedene Vorteile: bessere Validierung mit benutzerdefinierten Prozessen, Unterstützung detaillierterer Automatisierung, Bereitstellung von Herkunftsinformationen und zuverlässigere Verarbeitung.
Die Metadatendateien werden in den Tabellen unten beschrieben.
Alle Zeitstempel haben das ISO-8601-Format, beispielsweise 2016-08-02T10:05:04.802.
| Feld | Beschreibung |
|---|---|
|
fehlt |
Der Name der Data Lake-Bereitstellungsaufgabe. |
|
sourceEndpoint |
Der in den Quellendpunkt-Einstellungen definierte Name. |
|
sourceEndpointType |
Der Quellkonnektortyp (z. B Oracle, MySQL usw.). |
|
sourceEndpointUser |
Der in den Quellendpunkt-Einstellungen definierte Benutzer. |
|
replicationServer |
Der Hostname des Computers, auf dem das Data Movement Gateway installiert ist. |
|
operation |
Wenn eine Zieldatendatei erstellt wurde, enthält dieses Feld den folgenden Wert: dataProduced |
| Feld | Beschreibung |
|---|---|
|
fehlt |
Der Name der Datendatei ohne die Erweiterung. |
|
extension |
Die Erweiterung der Datendatei (.csv oder .json, je nach dem ausgewählten Zieldateiformat). |
|
location |
Der Speicherort der Datendatei. |
|
startWriteTimestamp |
UTC-Zeitstempel, der angibt, wann mit dem Schreiben der Datei begonnen wurde. |
|
endWriteTimestamp |
UTC-Zeitstempel, der angibt, wann das Schreiben der Datei beendet wurde. |
|
firstTransactionTimestamp |
UTC-Zeitstempel des ersten Datensatzes in der Datei. |
|
lastTransactionTimestamp |
UTC-Zeitstempel des letzten Datensatzes in der Datei. |
|
content |
Die Werte können entweder data (für Bereitstellung mit vollständigem Laden) oder changes (für CDC-Bereitstellung) sein, je nach den Daten in der zugehörigen CSV-Datei. |
|
recordCount |
Die Anzahl der Datensätze in der Datei. |
|
errorCount |
Die Anzahl der Datenfehler, die während der Dateierstellung gefunden wurden. |
| Feld | Beschreibung |
|---|---|
|
format |
delimited oder json , je nach dem ausgewählten Zieldateiformat. |
|
options |
Die Optionen für das delimited -Dateiformat. Diese Optionen werden für das json -Format nicht angezeigt, da sie nicht relevant sind. |
|
recordDelimiter |
Das Trennzeichen, das zum Trennen von Datensätzen (Zeilen) in den Zieldateien verwendet wird. Der Standardwert ist „neue Zeile“ (\n). |
|
fieldDelimiter |
Das Trennzeichen, das zum Trennen von Feldern (Spalten) in den Zieldateien verwendet wird. Das Standardzeichen ist ein Komma. |
|
nullValue |
Die Zeichenfolge, die zum Angeben eines Null-Werts in der Zieldatei verwendet wird. |
|
quoteChar |
Das Zeichen, das am Anfang und am Ende einer Spalte verwendet wird. Der Standardwert sind gerade doppelte Anführungszeichen ("). |
|
escapeChar |
Das Zeichen, das als Escape-Zeichen einer Zeichenfolge verwendet wird, wenn sowohl die Zeichenfolge als auch die Spalte, die die Zeichenfolge enthält, in doppelte Anführungszeichen eingeschlossen sind. Beachten Sie, dass die Anführungszeichen der Zeichenfolge entfernt werden, wenn keine Escape-Zeichen vorhanden sind. Beispiel (wobei " das Anführungszeichen und \ das Escape-Zeichen ist): 1955,"old, \"rare\", Chevrolet",$1000 |
| Feld | Beschreibung |
|---|---|
|
customInfo |
Dieser Abschnitt enthält alle benutzerdefinierten Eigenschaften, die mit der internen Eigenschaft dfmCustomProperties festgelegt wurden. Der interne Parameter dfmCustomProperties muss in folgendem Format angegeben werden: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Beispiel: Color=Blue;Size=Large;Season=Spring Eine Erläuterung zum Festlegen interner Eigenschaften finden Sie unter Amazon S3. |
| Feld | Beschreibung |
|---|---|
|
sourceSchema |
Das Schema, das die Quelltabelle enthält. |
|
sourceTable |
Der Name der Quelltabelle. |
|
targetSchema |
Der Name des Zieltabellenschemas (wenn der Name des Quellschemas geändert wurde). |
|
targetTable |
Der Name der Zieltabelle (wenn der Name der Quelltabelle geändert wurde). |
|
tableVersion |
Die Data Lake-Bereitstellungsaufgabe weist der Tabelle eine interne Versionsnummer zu. Die Versionsnummer wird erhöht, sooft eine DDL-Änderung in der Quelltabelle eintritt. |
|
columns |
Informationen über die Tabellenspalten. |
|
ordinal |
Die Position der Spalte im Datensatz (1, 2, 3 usw.). |
|
fehlt |
Der Spaltenname. |
|
type |
Der Spaltendatentyp. Weitere Informationen finden Sie unter Supported data types. |
|
Breite |
Die maximale Größe der Daten (in Byte), die für die Spalte zulässig ist. |
|
scale |
Die maximale Anzahl Stellen rechts neben dem Dezimalpunkt, die für eine Zahl zulässig sind. |
|
primaryKeyPos |
Die Position der Spalte im Primärschlüssel oder eindeutigen Index der Tabelle. Der Wert ist Null, wenn die Spalte nicht zum Primärschlüssel der Tabelle gehört. |