Accéder au contenu principal

Description du fichier de métadonnées

Lorsque l'option Créer des fichiers de métadonnées dans le dossier cible est sélectionnée, pour chaque fichier CSV/JSON/Parquet, la tâche de dépôt temporaire de lac de données crée un fichier de métadonnées correspondant sous le dossier cible spécifié.

Le fichier de métadonnées offre plusieurs avantages tels que l'amélioration de la validation des processus par lots personnalisés, la prise en charge d'une automatisation plus approfondie, la fourniture d'informations de traçabilité et le renforcement de la fiabilité du traitement.

Les fichiers de métadonnées sont décrits dans les tableaux ci-dessous.

Note Informations

Tous les horodatages sont au format ISO-8601, par exemple, 2016-08-02T10:05:04.802.

Fichier d'informations sur la tâche
Champ Description

Name

Nom de la tâche de dépôt temporaire de lac de données.

sourceEndpoint

Nom défini dans les paramètres du point de terminaison source.

sourceEndpointType

Type de connecteur source (par ex., Oracle, MySQL, etc.).

sourceEndpointUser

Utilisateur défini dans les paramètres du point de terminaison source.

replicationServer

Nom d'hôte du poste sur lequel la Data Movement gateway est installée.

operation

Si un fichier de données cible a été créé, ce champ contient la valeur suivante : dataProduced

Fichier d'informations sur le fichier
Champ Description

Name

Nom du fichier de données sans l'extension.

extension

Extension du fichier de données (.csv ou .json, suivant le format de fichier cible sélectionné).

location

Emplacement du fichier de données.

startWriteTimestamp

Horodatage au format UTC indiquant à quel moment l'écriture dans le fichier a démarré.

endWriteTimestamp

Horodatage au format UTC indiquant à quel moment l'écriture dans le fichier s'est terminée.

firstTransactionTimestamp

Horodatage au format UTC du premier enregistrement du fichier.

lastTransactionTimestamp

Horodatage au format UTC du dernier enregistrement du fichier.

content

La valeur peut être soit data (pour le dépôt temporaire de type Chargement complet), soit changes (pour le dépôt temporaire de type CDC), suivant les données du fichier CSV correspondant.

recordCount

Nombre d'enregistrements du fichier.

errorCount

Nombre d'erreurs de données trouvées lors de la création de fichier.

Fichier d'informations sur le format
Champ Description

format

delimited ou json , suivant le format de fichier cible sélectionné.

options

Options du format de fichier delimited . Ces options n'apparaîtront pas pour le format json , car elles ne le concernent pas.

recordDelimiter

Délimiteur utilisé pour séparer les enregistrements (lignes) dans les fichiers cibles. Le comportement par défaut est une nouvelle ligne (\n).

fieldDelimiter

Délimiteur utilisé pour séparer les champs (colonnes) dans les fichiers cibles. Par défaut, il s'agit d'une virgule.

nullValue

Chaîne utilisée pour indiquer une valeur nulle dans le fichier cible.

quoteChar

Caractère utilisé au début et à la fin d'une colonne. La valeur par défaut est le caractère de guillemet double (").

escapeChar

Caractère utilisé pour échapper une chaîne lorsque la chaîne et la colonne contenant la chaîne sont encadrées de guillemets doubles. Notez que tant que les guillemets de la chaîne ne seront pas échappés, ils seront supprimés.

Exemple (où " est le caractère de guillemet et \ le caractère d'échappement) :

1955,"old, \"rare\", Chevrolet",$1000

Fichier d'informations personnalisées
Champ Description

customInfo

Cette section contient toutes les propriétés personnalisées définies via la propriété interne dfmCustomProperties.

Le paramètre interne dfmCustomProperties doit être spécifié au format suivant :

Parameter1=Value1;Parameter2=Value2;Parameter3=Value3

Exemple :

Color=Blue;Size=Large;Season=Spring

Pour savoir comment définir des propriétés internes, consultez Amazon S3.

Fichier d'informations sur les données
Champ Description

sourceSchema

Schéma contenant la table source.

sourceTable

Nom de la table source.

targetSchema

Nom du schéma de table cible (si le nom de schéma source a été modifié).

targetTable

Nom de la table cible (si le nom de table source a été modifié).

tableVersion

La tâche de dépôt temporaire de lac de données affecte un numéro de version interne à la table. Le numéro de version augmente chaque fois qu'il se produit un changement de DDL dans la table source.

columns

Informations sur les colonnes de table.

ordinal

Position de la colonne dans l'enregistrement (1, 2, 3, etc.).

Name

Nom de colonne.

type

Type de données de la colonne. Voir Supported data types pour plus d'informations.

Largeur

Taille maximale des données (en octets) autorisée pour la colonne.

Échelle

Nombre maximal de chiffres à droite du point décimal autorisé pour un nombre.

primaryKeyPos

Position de la colonne dans la clé primaire ou l'index unique de la table. La valeur est zéro, si la colonne ne fait pas partie de la clé primaire de la table.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !