Beschrijving van het metagegevensbestand
Als de optie Metagegevensbestanden maken in de doelmap is geselecteerd, voor elk CSV/JSON/Parquet‑bestand als de datalake-tussenopslagtaak een bijbehorend metagegevensbestand maakt in de opgegeven doelmap.
Het metagegevensbestand biedt vele voordelen, zoals het inschakelen van aangepaste batchprocessen voor betere validaties, ondersteuning van diepgaande automatiseringen, het bieden van herkomstgegevens en het verbeteren van de betrouwbaarheid van verwerkingen.
De metagegevensbestanden worden in de onderstaande tabellen beschreven.
Alle tijdstempels hebben de ISO-860-indeling, zoals 2016-08-02T10:05:04.802.
| Veld | Beschrijving |
|---|---|
|
name |
De naam van de tussenopslagtaak voor de datalake. |
|
sourceEndpoint |
De naam die is gedefinieerd in de eindpuntinstellingen van de bron. |
|
sourceEndpointType |
Het bronconnectortype (bijv. Oracle, MySQL, etc.). |
|
sourceEndpointUser |
De gebruiker die is gedefinieerd in de eindpuntinstellingen van de bron. |
|
replicationServer |
De hostnaam van de machine waarop Gateway voor gegevensverplaatsing wordt geïnstalleerd. |
|
bewerking |
Als het doelgegevensbestand is gemaakt, bevat dit veld de volgende waarde: dataProduced |
| Veld | Beschrijving |
|---|---|
|
name |
De naam van het gegevensbestand zonder de extensie. |
|
uitbreiding |
De extensie van het gegevensbestand (.csv of .json afhankelijk van de geselecteerde indeling van het doelbestand). |
|
locatie |
De locatie van het gegevensbestand. |
|
startWriteTimestamp |
UTC-tijdstempel die aangeeft wanneer het schrijven naar het bestand is gestart. |
|
endWriteTimestamp |
UTC-tijdstempel die aangeeft wanneer het schrijven naar het bestand is geëindigd. |
|
firstTransactionTimestamp |
UTC-tijdstempel van het eerste record in het bestand. |
|
lastTransactionTimestamp |
UTC-tijdstempel van het laatste record in het bestand. |
|
inhoud |
De waarden kunnen data (voor tussenopslag van volledige lading) of changes (voor tussenopslag van CDC) zijn, op basis van de gegevens in het bijbehorende CSV-bestand. |
|
recordCount |
Het aantal records in het bestand. |
|
errorCount |
Het aantal gegevensfouten dat is gevonden tijdens het maken van het bestand. |
| Veld | Beschrijving |
|---|---|
|
opmaak |
delimited of json op basis van de geselecteerde indeling van het doelbestand. |
|
opties |
De opties voor de bestandsindeling delimited . Deze opties worden niet getoond voor de indeling json omdat ze niet relevant zijn. |
|
recordDelimiter |
Het scheidingsteken dat wordt gebruikt om records (rijen) in de doelbestanden te scheiden. De standaardinstelling is regeleinde (\n). |
|
fieldDelimiter |
Het scheidingsteken dat wordt gebruikt om velden (kolommen) in de doelbestanden te scheiden. De standaardinstelling is een komma. |
|
nullValue |
De tekenreeks die wordt gebruikt om een nullwaarde in het doelbestand aan te geven. |
|
quoteChar |
Het teken dat wordt gebruikt aan het begin en einde van een kolom. De standaardinstelling is dubbele aanhalingstekens ("). |
|
escapeChar |
Het teken dat wordt gebruikt om een tekenreeks niet meer te gebruiken als de tekenreeks en de kolom die de tekenreeks bevat tussen aanhalingstekens zijn geplaatst. De aanhalingstekens van de tekenreeks worden verwijderd tenzij ze niet meer worden gebruikt. Voorbeeld (waarbij " het aanhalingsteken en \ het wisselteken is): 1955,"old, \"rare\", Chevrolet",$1000 |
| Veld | Beschrijving |
|---|---|
|
customInfo |
Deze sectie bevat aangepaste parameters die zijn ingesteld met behulp van de interne parameter dfmCustomProperties. De interne parameter dfmCustomProperties moet in de volgende indeling worden opgegeven: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Voorbeeld: Color=Blue;Size=Large;Season=Spring Raadpleeg Amazon S3 voor een uitleg over het instellen van interne parameters. |
| Veld | Beschrijving |
|---|---|
|
sourceSchema |
Het schema dat de brontabel bevat. |
|
sourceTable |
De naam van de brontabel. |
|
targetSchema |
De naam van het doeltabelschema (als de naam van de brontabel is gewijzigd). |
|
targetTable |
De naam van het doeltabel (als de naam van de brontabel is gewijzigd). |
|
tableVersion |
De tussenopslagtaak van de datalake wijst een intern versienummer toe aan de tabel. Het versienummer neemt toe als er een DDL-wijziging plaatsvindt in de brontabel. |
|
kolommen |
Informatie over de tabelkolommen. |
|
ordinal |
De positie van de kolom in het record (1, 2, 3, enz.). |
|
name |
De kolomnaam. |
|
type |
Het type kolomgegevens. Raadpleeg Supported data types voor meer informatie. |
|
Breedte |
De maximumgroote van de gegevens (in bytes) die voor de kolom is toegestaan. |
|
schaal |
Het maximumaantal cijfers dat rechts van de decimale komma is toegestaan voor een getal. |
|
primaryKeyPos |
De positie van de kolom in de primaire sleutel of unieke index van de tabel. De waarde is nul als de kolom geen onderdeel is van de primaire sleutel van de tabel. |