Descripción del archivo de metadatos
Cuando se selecciona la opción Crear archivos de metadatos en la carpeta de destino, para cada archivo de datos CSV/JSON/Parquet la tarea de aterrizaje en el lago de datos crea un archivo de metadatos correspondiente en la carpeta de destino especificada.
El archivo de metadatos ofrece varios beneficios, como permitir procesos por lotes personalizados para realizar una mejor validación, admitir una automatización más profunda, ofrecer información de linaje y mejorar la confiabilidad del procesamiento.
Los archivos de metadatos se describen en las tablas siguientes.
Todas las marcas de tiempo están en formato ISO-8601, por ejemplo 2016-08-02T10:05:04.802.
| Campo | Descripción |
|---|---|
|
name |
El nombre de la tarea de aterrizaje en el lago de datos. |
|
sourceEndpoint |
El nombre definido en la configuración del punto de conexión de origen. |
|
sourceEndpointType |
El tipo de conector de origen (por ejemplo, Oracle, MySQL, etc.). |
|
sourceEndpointUser |
El usuario definido en la configuración del punto de conexión de origen. |
|
replicationServer |
El nombre de host de la máquina en la que Pasarela de datos de movimiento de datos está instalado. |
|
Operación |
Si se ha creado un archivo de datos de destino, este campo contendrá el siguiente valor: dataProduced |
| Campo | Descripción |
|---|---|
|
name |
El nombre del archivo de datos sin la extensión. |
|
extension |
La extensión del archivo de datos (.csv o.json según el formato de archivo de destino seleccionado). |
|
location |
La ubicación del archivo de datos. |
|
startWriteTimestamp |
Marca de tiempo UTC que indica cuándo comenzó la escritura en el archivo. |
|
endWriteTimestamp |
Marca de tiempo UTC que indica cuándo finalizó la escritura en el archivo. |
|
firstTransactionTimestamp |
Marca de tiempo UTC del primer registro del archivo. |
|
lastTransactionTimestamp |
Marca de tiempo UTC del último registro del archivo. |
|
content |
Los valores pueden ser data (para aterrizaje de Carga completa) o changes (para aterrizaje CDC), según los datos del archivo CSV correspondiente. |
|
recordCount |
El número de registros en el archivo. |
|
errorCount |
El número de errores de datos encontrados durante la creación del archivo. |
| Campo | Descripción |
|---|---|
|
format |
delimited o json según el formato de archivo de destino seleccionado. |
|
options |
Las opciones para el formato de archivo delimited . Estas opciones no se mostrarán para el formato json porque no son relevantes. |
|
recordDelimiter |
El delimitador utilizado para separar registros (filas) en los archivos de destino. El valor predeterminado es una nueva línea (\n). |
|
fieldDelimiter |
El delimitador que se utilizará para separar campos (columnas) en los archivos de destino. El valor predeterminado es una coma. |
|
nullValue |
La cadena que se utilizará para indicar un valor nulo en el archivo de destino. |
|
quoteChar |
El carácter que se utilizará al principio y al final de una columna. Por defecto se utiliza el carácter de comillas dobles ("). |
|
escapeChar |
El carácter utilizado para salir de una cadena cuando tanto la cadena como la columna que contiene la cadena están entre comillas dobles. Tenga en cuenta que las comillas de la cadena se eliminarán a menos que se utilicen caracteres de escape. Ejemplo (donde " es el carácter de entrecomillado y \ es el carácter de salida): 1955,"viejo, \"raro\", Chevrolet",$1000 |
| Campo | Descripción |
|---|---|
|
customInfo |
Esta sección contiene cualquier parámetro personalizado que se haya establecido mediante el parámetro interno dfmCustomProperties. El parámetro interno dfmCustomProperties debe especificarse en el siguiente formato: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Ejemplo: Color=Blue;Size=Large;Season=Spring Para saber cómo configurar los parámetros internos, vea Amazon S3. |
| Campo | Descripción |
|---|---|
|
sourceSchema |
El esquema que contiene la tabla de origen. |
|
sourceTable |
El nombre de la tabla de origen. |
|
targetSchema |
El nombre del esquema de la tabla de destino (si se cambió el nombre del esquema de origen). |
|
targetTable |
El nombre de la tabla de destino (si se cambió el nombre de la tabla de origen). |
|
tableVersion |
La tarea de aterrizaje en el lago de datos asigna un número de versión interna a la tabla. El número de versión aumenta cada vez que se produce un cambio DDL en la tabla de origen. |
|
columns |
Información sobre las columnas de la tabla. |
|
ordinal |
La posición de la columna en el registro (1, 2, 3, etc.). |
|
name |
El nombre de la columna. |
|
tipo |
El tipo de datos de la columna. Vea Supported data types si desea más información. |
|
ancho |
El tamaño máximo de los datos (en bytes) permitido para la columna. |
|
Escala: |
El número máximo de dígitos a la derecha del punto decimal permitido para un número. |
|
primaryKeyPos |
La posición de la columna en la clave principal o índice único de la tabla. El valor es cero si la columna no forma parte de la clave principal de la tabla. |