Mensagens de metadados e dados
Este tópico descreve a estrutura e o conteúdo das mensagens de metadados e dados produzidas pelo conector de destino Kafka.
Mensagem de metadados
| Campo | Tipo | Descrição |
|---|---|---|
| schemaId | String | O identificador exclusivo do esquema Avro. |
| lineage | Estrutura | Informações sobre a origem dos dados (servidor, tarefa, tabela Qlik Talend Data Integration e assim por diante) |
|
server |
String | O nome do servidor Qlik Talend Data Integration. |
|
task |
String | O nome da tarefa. |
|
schema (Nome do esquema) |
String | O nome do esquema do banco de dados. |
|
table (Nome da tabela) |
String | O nome da tabela. |
|
tableVersion |
Inteiro | O Qlik Talend Data Integration mantém um número de versão da estrutura da tabela de origem. Após uma alteração de DDL na origem, a versão é incrementada e uma nova mensagem de metadados é produzida. |
|
carimbo de data/hora |
String | A data e hora da mensagem de metadados. |
| tableStructure | Estrutura | Descreve a estrutura da tabela. |
|
tableColumns |
Estrutura | Contém a lista de colunas e suas propriedades. |
|
{columns} |
Estrutura | Para cada coluna, um registro com as propriedades abaixo. |
|
ordinal |
Inteiro | A posição da coluna no registro. |
|
tipo |
String | O tipo de dados da coluna. |
|
comprimento |
Inteiro | O tamanho máximo dos dados (em bytes) permitido para a coluna. |
|
precisão |
Inteiro | Para o tipo de dados NUMERIC, o número máximo de dígitos necessários para representar o valor. |
|
scale |
Inteiro | Para o tipo de dados NUMERIC, o número máximo de dígitos permitidos à direita da vírgula decimal em um número. |
|
primaryKeyPosition |
Inteiro | A posição da coluna na chave primária ou no índice exclusivo da tabela. O valor é zero se a coluna não fizer parte da chave primária da tabela. |
| dataSchema | String | O esquema Avro para desserializar as mensagens de dados. |
Mensagem de dados
| Campo | Tipo | Descrição |
|---|---|---|
| schema (nome) | String | O nome do esquema do banco de dados de origem que contém as tabelas de origem replicadas. |
| table (nome) | String | O nome da tabela de origem. |
|
headers |
Estrutura | Informações sobre o registro atual. |
|
operation (Operação) |
Enum | O tipo de operação. Carregamento total – carregamento inicial dos dados de origem para os tópicos de destino REFRESH – inserção de um registro no destino durante o carregamento total CDC – aplica as alterações da tabela de origem ao tópico relevante INSERT – inserção de novo registro de destino UPDATE – atualização de um registro de destino existente DELETE – exclusão de um registro de destino |
|
changeSequence (Alterar aequência) |
String |
Um sequenciador de mudanças monotonicamente crescente que é comum a todas as tabelas de alterações de uma tarefa. Use este campo para ordenar os registros em ordem cronológica. Aplicável somente às operações de CDC. |
|
timestamp (Carimbo de data/hora) |
String |
O carimbo de data/hora em UTC da alteração original. Aplicável somente às operações de CDC. |
|
streamPosition |
String |
A posição do fluxo de CDC de origem. Aplicável somente às operações de CDC. |
|
transactionId (ID da transação) |
String |
O ID da transação à qual pertence o registro de alteração. Use este campo para reunir todas as alterações de uma transação específica. Aplicável somente às operações de CDC. |
|
changeMask (Máscara de alteração) |
String |
Indica quais colunas de dados foram alteradas na tabela de origem. A máscara de alteração é uma sequência de dígitos hexadecimais, representando uma máscara de bits das colunas de dados em ordem little-endian. A posição do bit na máscara de alteração é baseada no ordinal da coluna na mensagem de metadados dessa tabela. Isso significa que, se houver 10 colunas de dados, elas ocuparão os bits 0 a 9 na máscara de bits. Se a máscara UPDATE for 0B em hexadecimal, que corresponde a 1011 em binário, significa que as colunas nas posições ordinais 1, 2 e 4 foram alteradas. O seguinte descreve a semântica dos bits:
Nota informativa
As colunas LOB não estão incluídas no bit changeMask. |
|
columnMask (Máscara de coluna) |
String |
Indica quais colunas de dados estão presentes na mensagem. Geralmente, isso incluirá todas as colunas da tabela. Nota informativa
Ao movendo de uma fonte Oracle sem registro complementar completo, algumas colunas podem não estar presentes nos dados, já que não puderam ser movido. A máscara de coluna é uma sequência de dígitos hexadecimais, representando uma máscara de bits das colunas de dados em ordem little-endian. A posição do bit na máscara de coluna é baseada no ordinal da coluna na mensagem de metadados dessa tabela. Isso permite ao aplicador distinguir um valor nulo que é o valor real da coluna, de um valor nulo que representa uma coluna que não pôde ser movido do banco de dados de origem. |
|
externalSchemaId |
String |
O ID do esquema. Isso só será exibido se a caixa de seleção do cabeçalho Incluir ID do esquema externo for marcada. Como o ID do esquema muda sempre que uma DDL é executada na tabela de origem, os aplicativos consumidores podem usar essas informações para determinar se o esquema da mensagem foi alterado. |
|
transactionEventCounter (Contador de eventos de transação) |
Longo |
O número de sequência da operação atual na transação. Isso pode ser usado para determinar a ordem das operações dentro de uma transação. |
|
transactionLastEvent (Último evento da transação) |
Booleano |
"Verdadeiro" indica que é o registro final na transação, enquanto "Falso" indica que nem todos os registros foram processados. |
|
dados |
Estrutura | Os dados do registro da tabela |
|
{columns} |
Os nomes das colunas e os valores no registro atual. | |
|
beforeData |
Estrutura | Os dados do registro da tabela, antes da alteração |
|
{columns} |
Os nomes e valores das colunas, antes da alteração. Aplicável à operação UPDATE. |