Description du fichier de métadonnées
Lorsque l'option Créer des fichiers de métadonnées dans le dossier cible est sélectionnée, pour chaque fichier CSV/JSON/Parquet, la tâche de dépôt temporaire de lac de données crée un fichier de métadonnées correspondant sous le dossier cible spécifié.
Le fichier de métadonnées offre plusieurs avantages tels que l'amélioration de la validation des processus par lots personnalisés, la prise en charge d'une automatisation plus approfondie, la fourniture d'informations de traçabilité et le renforcement de la fiabilité du traitement.
Les fichiers de métadonnées sont décrits dans les tableaux ci-dessous.
Tous les horodatages sont au format ISO-8601, par exemple, 2016-08-02T10:05:04.802.
| Champ | Description |
|---|---|
|
name |
Nom de la tâche de dépôt temporaire de lac de données. |
|
sourceEndpoint |
Nom défini dans les paramètres du point de terminaison source. |
|
sourceEndpointType |
Type de connecteur source (par ex., Oracle, MySQL, etc.). |
|
sourceEndpointUser |
Utilisateur défini dans les paramètres du point de terminaison source. |
|
replicationServer |
Nom d'hôte du poste sur lequel la Data Movement gateway est installée. |
|
operation |
Si un fichier de données cible a été créé, ce champ contient la valeur suivante : dataProduced |
| Champ | Description |
|---|---|
|
name |
Nom du fichier de données sans l'extension. |
|
extension |
Extension du fichier de données (.csv ou .json, suivant le format de fichier cible sélectionné). |
|
location |
Emplacement du fichier de données. |
|
startWriteTimestamp |
Horodatage au format UTC indiquant à quel moment l'écriture dans le fichier a démarré. |
|
endWriteTimestamp |
Horodatage au format UTC indiquant à quel moment l'écriture dans le fichier s'est terminée. |
|
firstTransactionTimestamp |
Horodatage au format UTC du premier enregistrement du fichier. |
|
lastTransactionTimestamp |
Horodatage au format UTC du dernier enregistrement du fichier. |
|
content |
La valeur peut être soit data (pour le dépôt temporaire de type Chargement complet), soit changes (pour le dépôt temporaire de type CDC), suivant les données du fichier CSV correspondant. |
|
recordCount |
Nombre d'enregistrements du fichier. |
|
errorCount |
Nombre d'erreurs de données trouvées lors de la création de fichier. |
| Champ | Description |
|---|---|
|
format |
delimited ou json , suivant le format de fichier cible sélectionné. |
|
options |
Options du format de fichier delimited . Ces options n'apparaîtront pas pour le format json , car elles ne le concernent pas. |
|
recordDelimiter |
Délimiteur utilisé pour séparer les enregistrements (lignes) dans les fichiers cibles. Le comportement par défaut est une nouvelle ligne (\n). |
|
fieldDelimiter |
Délimiteur utilisé pour séparer les champs (colonnes) dans les fichiers cibles. Par défaut, il s'agit d'une virgule. |
|
nullValue |
Chaîne utilisée pour indiquer une valeur nulle dans le fichier cible. |
|
quoteChar |
Caractère utilisé au début et à la fin d'une colonne. La valeur par défaut est le caractère de guillemet double ("). |
|
escapeChar |
Caractère utilisé pour échapper une chaîne lorsque la chaîne et la colonne contenant la chaîne sont encadrées de guillemets doubles. Notez que tant que les guillemets de la chaîne ne seront pas échappés, ils seront supprimés. Exemple (où " est le caractère de guillemet et \ le caractère d'échappement) : 1955,"old, \"rare\", Chevrolet",$1000 |
| Champ | Description |
|---|---|
|
customInfo |
Cette section contient tous les paramètres personnalisés définis via le paramètre interne dfmCustomProperties. Le paramètre interne dfmCustomProperties doit être spécifié au format suivant : Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Exemple : Color=Blue;Size=Large;Season=Spring Pour savoir comment définir des paramètres internes, voir Amazon S3. |
| Champ | Description |
|---|---|
|
sourceSchema |
Schéma contenant la table source. |
|
sourceTable |
Nom de la table source. |
|
targetSchema |
Nom du schéma de table cible (si le nom de schéma source a été modifié). |
|
targetTable |
Nom de la table cible (si le nom de table source a été modifié). |
|
tableVersion |
La tâche de dépôt temporaire de lac de données affecte un numéro de version interne à la table. Le numéro de version augmente chaque fois qu'il se produit un changement de DDL dans la table source. |
|
columns |
Informations sur les colonnes de table. |
|
ordinal |
Position de la colonne dans l'enregistrement (1, 2, 3, etc.). |
|
name |
Nom de colonne. |
|
type |
Type de données de la colonne. Voir Supported data types pour plus d'informations. |
|
width |
Taille maximale des données (en octets) autorisée pour la colonne. |
|
scale |
Nombre maximal de chiffres à droite du point décimal autorisé pour un nombre. |
|
primaryKeyPos |
Position de la colonne dans la clé primaire ou l'index unique de la table. La valeur est zéro, si la colonne ne fait pas partie de la clé primaire de la table. |