Metadatos y mensajes de datos

Este tema describe la estructura y el contenido de los mensajes de metadatos y datos producidos por el destino del conector Kafka conector.

Mensaje de metadatos

Mensaje de metadatos
Campo	Tipo	Descripción
schemaId	Cadena de caracteres	El identificador único del esquema Avro.
linaje	Estructura	Información sobre el origen de los datos (servidor de Qlik Talend Data Integration, tarea, tabla, etc.)
servidor	Cadena de caracteres	El nombre del servidor de Qlik Talend Data Integration.
tarea	Cadena de caracteres	El nombre de la tarea.
esquema (Nombre del esquema)	Cadena de caracteres	El nombre del esquema de la base de datos.
tabla (Nombre de la tabla)	Cadena de caracteres	El nombre de la tabla.
tableVersion	Entero	Qlik Talend Data Integration mantiene un número de versión de la estructura de la tabla de origen. Tras un cambio DDL en el origen, la versión se incrementa y se produce un nuevo mensaje de metadatos.
timestamp	Cadena de caracteres	La fecha y hora del mensaje de metadatos.
tableStructure	Estructura	Describe la estructura de la tabla.
tableColumns	Estructura	Contiene la lista de columnas y sus propiedades.
{columnas}	Estructura	Para cada columna, un registro con las siguientes propiedades.
ordinal	Entero	La posición de la columna en el registro.
type	Cadena de caracteres	El tipo de datos de la columna.
largo	Entero	El tamaño máximo de los datos (en bytes) permitido para la columna.
precision	Entero	Para el tipo de datos NUMERIC, el número máximo de dígitos necesarios para representar el valor.
scale	Entero	Para el tipo de datos NUMERIC, el número máximo de dígitos a la derecha del punto decimal permitido para un número.
primaryKeyPosition	Entero	La posición de la columna en la clave principal o índice único de la tabla. El valor es cero si la columna no forma parte de la clave principal de la tabla.
dataSchema	Cadena de caracteres	El esquema Avro para deserializar los mensajes de datos.

Mensaje de datos

Mensaje de datos
Campo	Tipo	Descripción
esquema (nombre)	Cadena de caracteres	El nombre del esquema de la base de datos de origen que contiene la(s) tabla(s) de origen replicada(s).
tabla (nombre)	Cadena de caracteres	El nombre de la tabla de origen.
cabeceras	Estructura	Información sobre el registro actual.
operation (Operación)	Enumeración	El tipo de operación. Carga completa - Carga inicial de los datos de origen al/a los tema(s) de destino REFRESH – Inserción de un registro en el destino durante la Carga completa CDC - Aplica los cambios de la tabla de origen al tema relevante INSERT – Inserción de un nuevo registro de destino UPDATE – Actualización de un registro de destino existente DELETE – Eliminación de un registro de destino
changeSequence (Secuencia de cambios)	Cadena de caracteres	Un secuenciador de cambios que aumenta monótonamente y que es común a todas las tablas de cambios de una tarea. Utilice este campo para ordenar los registros en orden cronológico. Aplicable a operaciones de CDC solamente.
timestamp (Marca de tiempo)	Cadena de caracteres	La marca de tiempo UTC original del cambio. Aplicable únicamente a operaciones de CDC.
streamPosition	Cadena de caracteres	La posición del flujo CDC de origen. Aplicable únicamente a operaciones de CDC.
transactionId (ID de transacción)	Cadena de caracteres	El ID de la transacción a la que pertenece el registro de cambios. Utilice este campo para agrupar todos los cambios de una transacción específica. Aplicable únicamente a operaciones de CDC.
changeMask (Máscara de cambio)	Cadena de caracteres	Indica qué columnas de datos se modificaron en la tabla de origen. La máscara de cambio es una cadena de dígitos hexadecimales, que representa una máscara de bits de columnas de datos en orden little-endian. La posición del bit en la máscara de cambios se basa en el ordinal de la columna en el mensaje de metadatos de esa tabla. Esto significa que si hay 10 columnas de datos, ocupan los bits 0 al 9 en la máscara de bits. Si la máscara UPDATE es 0B hexadecimal, que es 1011 binario, significa que las columnas en los ordinales 1, 2 y 4 se cambiaron. A continuación se describe la semántica de bits: Para registros INSERT, todas las columnas insertadas tienen los bits asociados establecidos. Para registros DELETE, solo las columnas de clave primaria (o índice único) tienen los bits asociados establecidos. Esto permite a un aplicador construir una sentencia DELETE sin tener que encontrar los campos de clave primaria desde otra fuente. Para los registros UPDATE, cada columna con un valor cambiado tendrá el bit asociado activo. Nota informativa Las columnas LOB no se incluyen en el bit changeMask.
columnMask (Máscara de columna)	Cadena de caracteres	Indica qué columnas de datos están presentes en el mensaje. Normalmente esto incluirá todas las columnas de la tabla. Nota informativa Cuando se desplaza (mover) desde un origen de Oracle sin registro suplementario completo, algunas columnas podrían no estar presentes en los datos, ya que no pudieron ser movidas (desplazado). La máscara de columna es una cadena de dígitos hexadecimales, que representa una máscara de bits de columnas de datos en orden little-endian. La posición del bit en la máscara de columna se basa en el ordinal de la columna en el mensaje de metadatos para esa tabla. Esto permite al aplicador distinguir un valor nulo que es el valor real de la columna, de un valor nulo que representa una columna que no pudo desplazarse (desplazado) desde la base de datos de origen.
externalSchemaId	Cadena de caracteres	El ID del esquema. Este solo se mostrará si la casilla de verificación Incluir ID de esquema externo del encabezado está seleccionada. Como el ID de esquema cambia cada vez que se realiza una DDL en la tabla de origen, las aplicaciones que consumen dicho esquema pueden usar esta información para determinar si el esquema del mensaje ha cambiado.
transactionEventCounter (Contador de eventos de transacción)	Long	El número de secuencia de la operación actual en la transacción. Esto se puede utilizar para determinar el orden de las operaciones dentro de una transacción.
transactionLastEvent (Último evento de la transacción)	Booleano	"Verdadero" indica que es el registro final de la transacción, mientras que "Falso" indica que no se han procesado todos los registros.
data	Estructura	Los datos del registro de la tabla
{columns}		Los nombres y los valores de las columnas en el registro actual.
beforeData	Estructura	Los datos del registro de la tabla, antes del cambio
{columns}		Los nombres y valores de las columnas, antes del cambio. Aplicable a la operación UPDATE.

¿Esta página le ha sido útil?

Si encuentra algún problema con esta página o su contenido (errores tipográficos, pasos que faltan o errores técnicos), no dude en ponerse en contacto con nosotros.

Deje aquí sus comentarios