Metadata och datameddelanden

Detta ämne beskriver strukturen och innehållet i metadata- och datameddelanden som produceras av Kafka mål koppling.

Metadatameddelande

Metadatameddelande
Fält	Typ	Beskrivning
schemaId	Sträng	Den unika identifieraren för Avro-schemat.
ursprung	Struktur	Information om datans ursprung (Qlik Talend Data Integration server, uppgift, tabell och så vidare)
server	Sträng	Namnet på Qlik Talend Data Integration-servern.
uppgift	Sträng	Namnet på uppgiften.
schema (Schemanamn)	Sträng	Namnet på databasschemat.
tabell (Tabellnamn)	Sträng	Tabellens namn.
tabellversion	Heltal	Qlik Talend Data Integration upprätthåller ett versionsnummer för källtabellens struktur. Vid DDL-ändring på källan ökar versionen och ett nytt metadata-meddelande produceras.
tidsmarkör	Sträng	Datum och tid för metadata-meddelandet.
tableStructure	Struktur	Beskriver strukturen för tabellen.
tableColumns	Struktur	Innehåller listan över kolumner och deras egenskaper.
{kolumner}	Struktur	För varje kolumn, en post med nedanstående egenskaper.
ordningstal	Heltal	Kolumnens position i posten.
typ av	Sträng	Kolumndatatypen:
längd	Heltal	Den maximala tillåtna bredden för data (i bytes) för kolumnen.
precision	Heltal	För datatypen NUMERIC, det maximala antalet siffror som krävs för att representera värdet.
Skala	Heltal	För datatypen NUMERIC, det maximala tillåtna antalet siffror till höger om decimalkommat för ett tal.
primaryKeyPosition	Heltal	Kolumnens position i tabellens Primärnyckel eller Unika index. Värdet är noll om kolumnen inte ingår i tabellens Primärnyckel.
dataSchema	Sträng	Avro-schemat för deserialisering av datameddelandena.

Datameddelande

Datameddelande
Fält	Typ	Beskrivning
schemanamn	Sträng	Namnet på källdatabasschemat som innehåller de replikerade källtabellerna.
tabellnamn	Sträng	Namnet på källtabellen.
Rubriker	Struktur	Information om den aktuella posten.
operation (Operation)	Enum	Åtgärdstyp. Fullständig laddning – Initial laddning av källdata till målämnet/målämnena UPPDATERING – Infogning av en post till målet under fullständig inläsning CDC – Tillämpar källtabelländringar på det relevanta ämnet INFOGNING – Infogning av ny målpost UPPDATERING – Uppdatering av en befintlig målpost RADERING – Radering av en målpost
ändringssekvens (Ändringssekvens)	Sträng	En monotont ökande ändringssekvens som är gemensam för alla ändringstabeller för en uppgift. Använd det här fältet för att ordna posterna i kronologisk ordning. Gäller endast för CDC-åtgärder.
tidsmarkör (Tidsmarkör)	Sträng	Den ursprungliga ändringens UTC-tidsmarkör. Gäller endast för CDC-åtgärder.
strömposition	Sträng	Strömpositionen för käll-CDC. Gäller endast för CDC-åtgärder.
transaktions-ID (Transaktions-ID)	Sträng	ID:t för den transaktion som ändringsposten tillhör. Använd det här fältet för att samla alla ändringar för en specifik transaktion. Gäller endast CDC-åtgärder.
changeMask (Ändringsmask)	Sträng	Anger vilka datakolumner som ändrades i källtabellen. Ändringsmasken är en sträng av hexadecimala siffror som representerar en bitmask av datakolumner i little-endian-ordning. Bit-positionen i ändringsmasken baseras på kolumnens ordningstal i metadata-meddelandet för den tabellen. Det innebär att om det finns 10 datakolumner tar de upp bitarna 0 till 9 i bitmasken. Om UPDATE-masken är 0B hexadecimal, vilket är 1011 binärt – innebär det att kolumnerna vid ordinalerna 1, 2 och 4 ändrades. Nedan beskrivs bit-semantiken: För INSERT-poster har de associerade bitarna ställts in för alla infogade kolumner. För DELETE-poster har bara primärnyckel- (eller unikt index-) kolumner de tillhörande bitarna inställda. På så sätt kan en tillämpare konstruera en DELETE-sats utan att behöva leta upp primärnyckelfälten från en annan källa. För UPDATE-poster kommer varje kolumn med ett ändrat värde att ha den associerade biten inställd. Anteckning om information LOB-kolumner ingår inte i changeMask-biten.
columnMask (Kolumnmask)	Sträng	Anger vilka datakolumner som finns i meddelandet. Vanligtvis kommer detta att inkludera alla tabellkolumner. Anteckning om information När flyttar från en Oracle-källa utan fullständig kompletterande loggning, kanske vissa kolumner inte finns i data, eftersom de inte kunde flyttad. Kolumnmasken är en sträng av hexadecimala siffror, som representerar en bitmask av datakolumner i little-endian-ordning. Bit-positionen i kolumnmasken baseras på kolumnens ordningstal i metadata-meddelandet för den tabellen. Detta gör att tillämparen kan skilja ett nullvärde som är kolumnens faktiska värde, från ett nullvärde som representerar en kolumn som inte kunde flyttad från källdatabasen.
externalSchemaId	Sträng	Schema-ID:t. Detta visas endast om kryssrutan Inkludera externt schema-ID rubrik är markerad. Eftersom schema-ID ändras närhelst en DDL utförs på källtabellen, kan konsumentapplikationer använda denna information för att avgöra om meddelandeschemat har ändrats.
transactionEventCounter (Transaktionshändelseräknare)	Lång	Sekvensnumret för den aktuella åtgärden i transaktionen. Detta kan användas för att fastställa ordningen på åtgärderna inom en transaktion.
transactionLastEvent (Transaktionens sista händelse)	Booleansk	"True" indikerar att det är den sista posten i transaktionen medan "False" indikerar att inte alla poster har behandlats.
Data	Struktur	Data för tabellposten
{Kolumner}		Kolumnnamnen och värdena i den aktuella posten.
beforeData	Struktur	Datan för tabellposten, före ändringen
{kolumner}		Kolumnnamnen och värdena, före ändringen. Gäller för UPDATE-åtgärden.

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!

Lämna din feedback här