Метаданные и сообщения данных
В этой теме описывается структура и содержимое сообщений метаданных и данных, создаваемых Kafka целевым объектом коннектор.
Сообщение метаданных
| Поле | Тип | Описание |
|---|---|---|
| schemaId | Строка | Уникальный идентификатор схемы Avro. |
| происхождение | Структура | Информация о происхождении данных (Qlik Talend Data Integration сервер, задача, таблица и т. д.) |
|
сервер |
Строка | Имя Qlik Talend Data Integration сервера. |
|
задача |
Строка | Имя задачи. |
|
схема (Имя схемы) |
Строка | Имя схемы базы данных. |
|
таблица (Имя таблицы) |
Строка | Имя таблицы. |
|
tableVersion |
Целое | Qlik Talend Data Integration поддерживает номер версии структуры исходной таблицы. При изменении DDL в источнике версия увеличивается и создается новое сообщение метаданных. |
|
метка времени |
Строка | Дата и время сообщения метаданных. |
| структура таблицы | Структура | Описывает структуру таблицы. |
|
столбцы таблицы |
Структура | Содержит список столбцов и их свойств. |
|
{Столбцы} |
Структура | Для каждого столбца запись со следующими свойствами. |
|
ordinal |
Целое | Позиция столбца в записи. |
|
type |
Строка | Тип данных столбца. |
|
длина |
Целое | Максимальный размер данных (в байтах), разрешенный для столбца. |
|
точность |
Целое | Для типа данных NUMERIC максимальное количество цифр, необходимое для представления значения. |
|
scale |
Целое | Для типа данных NUMERIC, максимальное количество знаков справа от десятичной точки, разрешенное для числа. |
|
primaryKeyPosition |
Целое | Позиция столбца в первичном ключе или уникальном индексе таблицы. Значение 0, если столбец не включен в первичный ключ таблицы. |
| dataSchema | Строка | Схема Avro для десериализации сообщений данных. |
Сообщение данных
| Поле | Тип | Описание |
|---|---|---|
| Имя схемы | Строка | Имя схемы исходной базы данных, содержащей реплицируемые исходные таблицы. |
| Имя таблицы | Строка | Имя исходной таблицы. |
|
Заголовки |
Структура | Информация о текущей записи. |
|
операция (Операция) |
Перечисление | Тип операции. Полная загрузка — Начальная загрузка исходных данных в целевые разделы ОБНОВЛЕНИЕ – Вставка записи в целевую таблицу во время полной загрузки CDC – Применяет изменения исходной таблицы к соответствующему разделу ВСТАВКА – Вставка новой целевой записи ОБНОВЛЕНИЕ – Обновление существующей целевой записи УДАЛЕНИЕ – Удаление целевой записи |
|
changeSequence (Последовательность изменений) |
Строка |
Генератор изменений с монотонным увеличением, используемый совместно всеми таблицами изменений в задаче. Используйте это поле для упорядочивания записей в хронологическом порядке. Применимо только к операциям CDC. |
|
timestamp (Метка времени) |
Строка |
Исходная метка времени изменения в формате UTC. Применимо только к операциям CDC. |
|
позиция потока |
Строка |
Исходная позиция потока CDC. Применимо только к операциям CDC. |
|
идентификаторТранзакции (Идентификатор транзакции) |
Строка |
Идентификатор транзакции, к которой относится запись изменения. Используйте это поле для сбора всех изменений определенной транзакции. Применимо только к операциям CDC. |
|
changeMask (Маска изменений) |
Строка |
Указывает, какие столбцы данных были изменены в исходной таблице. Маска изменений представляет собой строку шестнадцатеричных цифр, представляющую битовую маску столбцов данных в порядке с прямым порядком байтов. Позиция бита в маске изменений основана на порядковом номере столбца в сообщении метаданных этой таблицы. Это означает, что если имеется 10 столбцов данных, они занимают биты 0—9 в битовой маске. Если маска UPDATE (ОБНОВИТЬ) имеет значение 0B в шестнадцатеричном формате, что соответствует 1011 в двоичном формате, это означает, что столбцы с порядковыми номерами 1, 2 и 4 были изменены. Ниже приводится описание семантики битов:
Примечание к информации
Столбцы LOB не включаются в бит changeMask. |
|
columnMask (Маска столбца) |
Строка |
Указывает, какие столбцы данных присутствуют в сообщении. Обычно это включает все столбцы таблицы. Примечание к информации
При перемещение из источника Oracle без полного дополнительного журналирования, некоторые столбцы могут отсутствовать в данных, так как они не могли быть перенесено. Маска столбца представляет собой строку шестнадцатеричных цифр, представляющую битовую маску столбцов данных в порядке с младшим байтом вперед. Позиция бита в маске столбца основана на порядковом номере столбца в сообщении метаданных для этой таблицы. Это позволяет модулю применения отличить нулевое значение, которое является фактическим значением столбца, от нулевого значения, которое представляет столбец, который не удалось перенесено извлечь из исходной базы данных. |
|
externalSchemaId |
Строка |
Идентификатор схемы. Это будет отображаться только в том случае, если установлен флажок Включить внешний идентификатор схемы заголовок. Поскольку идентификатор схемы изменяется всякий раз, когда выполняется DDL над исходной таблицей, потребительские приложения могут использовать эту информацию, чтобы определить, изменилась ли схема сообщения. |
|
transactionEventCounter (Счетчик событий транзакции) |
Long (Длинный) |
Порядковый номер текущей операции в транзакции. Это можно использовать для определения порядка операций в транзакции. |
|
transactionLastEvent (Последнее событие транзакции) |
Булево |
«True» указывает, что это последняя запись в транзакции, тогда как «False» указывает, что не все записи были обработаны. |
|
данные |
Структура | Данные записи таблицы |
|
{столбцы} |
Имена столбцов и значения в текущей записи. | |
|
beforeData |
Структура | Данные записи таблицы до изменения |
|
{Столбцы} |
Имена и значения столбцов до изменения. Применимо к операции UPDATE. |