# 元数据和数据消息 本主题描述了由Kafka目标连接器生成的元数据和数据消息的结构和内容。 ## 元数据消息 元数据消息 | 字段 | 类型 | 描述 | | --- | --- | --- | | schemaId | 字符串 | Avro 架构的唯一标识符。 | | 世系 | 結構 | 有关数据来源的信息（Qlik Talend Data Integration 服务器、任务、表等等） | | 服务器 | 字符串 | Qlik Talend Data Integration 服务器的名称。 | | 任务 | 字符串 | 任务的名称。 | | 模式 (模式名称) | 字符串 | 数据库模式的名称。 | | 表 (表格名称) | 字符串 | 表格的名称。 | | tableVersion | 整数 | Qlik Talend Data Integration 维护源表结构的版本号。当源上发生 DDL 更改时，版本会增加，并生成新的元数据消息。 | | 时间戳 | 字符串 | 元数据消息的日期和时间。 | | 表结构 | 結構 | 描述表的结构。 | | 表列 | 結構 | 包含列及其属性的列表。 | | {列} | 結構 | 对于每列，一个包含以下属性的记录。 | | 初始 | 整数 | 列在记录中的位置。 | | 类型 | 字符串 | 列数据类型。 | | 长度 | 整数 | 该列允许的最大数据大小（以字节为单位）。 | | 精度 | 整数 | 对于 NUMERIC 数据类型，表示值所需的最大位数。 | | 刻度 | 整数 | 对于 NUMERIC 数据类型，一个数字允许的小数点右边的最大位数。 | | primaryKeyPosition | 整数 | 列在表的主键或唯一索引中的位置。如果列不是表主键的一部分，则该值为零。 | | dataSchema | 字符串 | 用于反序列化数据消息的 Avro 模式。 | ## 数据消息 数据消息 | 字段 | 类型 | 描述 | | --- | --- | --- | | 模式 (名称) | 字符串 | 包含复制的源表的源数据库模式的名称。 | | 表格 (名称) | 字符串 | 源表的名称。 | | 标题 | 結構 | 有关当前记录的信息。 | | 操作 (Operation) | 枚举 | 操作类型。

全量加载 - 将源数据初始加载到目标主题

刷新 – 在完全加载期间向目标插入记录

CDC - 将源表更改应用到相关主题

INSERT – 插入新的目标记录

UPDATE – 将现有目标记录 UPDATE

DELETE – 删除目标记录 | | changeSequence (更改序列) | 字符串 | 单调递增的变更序列器，对于任务的所有变更表都是通用的。

使用此字段按时间顺序对记录进行排序。

仅适用于 CDC 操作。 | | 时间戳 (时间戳) | 字符串 | 原始更改 UTC 时间戳。

仅适用于 CDC 操作。 | | 数据流位置 | 字符串 | 源 CDC 流位置。

仅适用于 CDC 操作。 | | 事务 ID (事务 ID) | 字符串 | 更改记录所属事务的 ID。

使用此字段收集特定事务的所有更改。

仅适用于 CDC 操作。 | | changeMask（更改掩码） | 字符串 | 指示源表中更改了哪些数据列。

更改掩码是一个十六进制数字字符串，表示小端序数据列的位掩码。更改掩码中的位位置基于该表的元数据消息中列的序号。

这意味着，如果有 10 个数据列，它们在位掩码中占据位 0 到 9。

如果 UPDATE 掩码是十六进制的 0B（即二进制的 1011），则表示序号为 1、2 和 4 的列已更改。

以下描述了位语义：



信息注释

LOB 列不包含在 changeMask 位中。 | | columnMask (列掩码) | 字符串 | 指示消息中存在哪些数据列。通常，这将包含所有表列。

信息注释

当 移动 来自未启用完全补充日志记录的 Oracle 源时，某些列可能不会出现在数据中，因为它们无法 已移动。

列掩码是一个十六进制数字字符串，表示以小端序排列的数据列的位掩码。列掩码中的位位置基于该表的元数据消息中列的序号。

这使得应用器能够区分作为列的*实际*值的空值，以及表示无法从源数据库中已移动的列的空值。 | | 外部架构ID | 字符串 | 架构ID。仅当选中包含外部架构ID标头复选框时，才会显示此项。

由于每次对源表执行 DDL 操作时，架构 ID 都会更改，因此消费者应用程序可以使用此信息来确定消息架构是否已更改。 | | transactionEventCounter (事务事件计数器) | Long | 事务中当前操作的序列号。

这可用于确定事务中的操作顺序。 | | transactionLastEvent (事务最后事件) | 布尔值 | “True”表示它是事务中的最终记录，而“False”表示并非所有记录都已处理。 | | 数据 | 結構 | 表记录的数据 | | {列} | | 当前记录中的列名和值。 | | 之前数据 | 結構 | 表记录变更前的数据 | | {列} | | 变更前的列名和值。

适用于 UPDATE 操作。 |