Metadata en gegevensberichten
Dit onderwerp beschrijft de structuur en inhoud van de metagegevens- en gegevensberichten die worden geproduceerd door de Kafka doel connector.
Metagegevensbericht
| Veld | Type | Beschrijving |
|---|---|---|
| schemaId | Tekenreeks | De unieke identificatie van het Avro-schema. |
| herkomst | Structuur | Informatie over de herkomst van de gegevens (Qlik Talend Data Integration-server, taak, tabel, enzovoort) |
|
server |
Tekenreeks | De naam van de Qlik Talend Data Integration-server. |
|
taak |
Tekenreeks | De naam van de taak. |
|
schema (Schemanaam) |
Tekenreeks | De naam van het databaseschema. |
|
tabel (Tabelnaam) |
Tekenreeks | De naam van de tabel. |
|
tableVersion |
Geheel getal | Qlik Talend Data Integration handhaaft een versienummer van de structuur van de brontabel. Bij een DDL-wijziging op de bron wordt de versie verhoogd en wordt een nieuw metadatabericht geproduceerd. |
|
tijdstempel |
Tekenreeks | De datum en tijd van het metadatabericht. |
| tabelstructuur | Structuur | Beschrijft de structuur van de tabel. |
|
tabelkolommen |
Structuur | Bevat de lijst met kolommen en hun eigenschappen. |
|
{kolommen} |
Structuur | Voor elke kolom, een record met de onderstaande eigenschappen. |
|
ordinaal |
Geheel getal | De positie van de kolom in het record. |
|
type |
Tekenreeks | Het type kolomgegevens. |
|
Lengte |
Geheel getal | De maximumgroote van de gegevens (in bytes) die voor de kolom is toegestaan. |
|
precisie |
Geheel getal | Voor het gegevenstype NUMERIC, het maximum aantal cijfers dat nodig is om de waarde weer te geven. |
|
schaal |
Geheel getal | Voor het gegevenstype NUMERIC, het maximumaantal cijfers dat rechts van de decimale komma is toegestaan voor een getal. |
|
primaryKeyPosition |
Geheel getal | De positie van de kolom in de primaire sleutel of unieke index van de tabel. De waarde is nul als de kolom geen onderdeel is van de primaire sleutel van de tabel. |
| dataSchema | Tekenreeks | Het Avro-schema voor het deserialiseren van de gegevensberichten. |
Gegevensbericht
| Veld | Type | Beschrijving |
|---|---|---|
| schemanaam | Tekenreeks | De naam van het brondatabaseschema dat de gerepliceerde brontabel(len) bevat. |
| tabelnaam | Tekenreeks | De naam van de brontabel. |
|
Kopteksten |
Structuur | Informatie over de huidige record. |
|
bewerking (Operatie) |
Enum | Het bewerkingstype. Volledige lading - Initiële lading van de brongegevens naar het/de doelonderwerp(en) VERVERSEN – Invoegen van een record in het doel tijdens Volledige Lading CDC - Past wijzigingen in de brontabel toe op het relevante onderwerp INVOEGEN – Invoegen van een nieuw doelrecord BIJWERKEN – Bijwerken van een bestaand doelrecord VERWIJDEREN – Verwijderen van een doelrecord |
|
wijzigingsreeks (Wijzigingsreeks) |
Tekenreeks |
Een monotoon toenemende wijzigingsreeks die voorkomt bij alle wijzigingstabellen van een taak. Gebruik dit veld om de records in chronologische volgorde te ordenen. Alleen van toepassing op CDC-bewerkingen. |
|
tijdstempel (Tijdstempel) |
Tekenreeks |
De oorspronkelijke wijziging UTC-tijdstempel. Alleen van toepassing op CDC-bewerkingen. |
|
streamPositie |
Tekenreeks |
De positie van de CDC-stream van de bron. Alleen van toepassing op CDC-bewerkingen. |
|
transactieId (Transactie-ID) |
Tekenreeks |
De id van de transactie waartoe het wijzigingsrecord behoort. Gebruik dit veld om alle wijzigingen van een specifieke transactie te verzamelen. Alleen van toepassing op CDC-bewerkingen. |
|
changeMask (Wijzigingsmasker) |
Tekenreeks |
Geeft aan welke gegevenskolommen zijn gewijzigd in de brontabel. Het wijzigingsmasker is een tekenreeks van hexadecimale cijfers, die een bitmasker van gegevenskolommen in little-endian volgorde vertegenwoordigt. De bitpositie in het wijzigingsmasker is gebaseerd op de kolompositie in het metadatabericht van die tabel. Dit betekent dat als er 10 gegevenskolommen zijn, ze bits 0 tot 9 innemen in het bitmasker. Als het UPDATE-masker 0B hexadecimaal is, wat 1011 binair is – betekent dit dat de kolommen op ordinaal 1, 2 en 4 zijn gewijzigd. Hieronder wordt de semantiek van bits beschreven:
Informatie
LOB-kolommen zijn niet opgenomen in de changeMask-bit. |
|
columnMask (Kolommasker) |
Tekenreeks |
Geeft aan welke gegevenskolommen aanwezig zijn in het bericht. Gewoonlijk zal dit alle tabelkolommen omvatten. Informatie
Wanneer moving van een Oracle-bron zonder volledige aanvullende logging, zijn sommige kolommen mogelijk niet aanwezig in de gegevens, aangezien ze niet konden worden verplaatst. Het kolommasker is een reeks hexadecimale cijfers, die een bitmasker van gegevenskolommen vertegenwoordigt in little-endian-volgorde. De bitpositie in het kolommasker is gebaseerd op de kolompositie in het metadatabericht voor die tabel. Hierdoor kan de applier een null-waarde die de werkelijke waarde van de kolom is, onderscheiden van een null-waarde die een kolom vertegenwoordigt die niet kon worden verplaatst uit de brondatabase. |
|
externeSchema-ID |
Tekenreeks |
De schema-ID. Dit wordt alleen weergegeven als het selectievakje Externe schema-ID opnemen header is ingeschakeld. Aangezien de Schema-ID verandert telkens wanneer een DDL wordt uitgevoerd op de brontabel, kunnen consumer apps deze informatie gebruiken om te bepalen of het berichtschema is gewijzigd. |
|
transactionEventCounter (Transactiegebeurtenisteller) |
Long |
Het volgnummer van de huidige bewerking in de transactie. Dit kan worden gebruikt om de volgorde van bewerkingen binnen een transactie te bepalen. |
|
transactionLastEvent (Laatste transactiegebeurtenis) |
Booleaanse waarde |
"True" geeft aan dat het de laatste record in de transactie is, terwijl "False" aangeeft dat niet alle records zijn verwerkt. |
|
gegevens |
Structuur | De gegevens van de tabelrecord |
|
{kolommen} |
De kolomnamen en waarden in de huidige record. | |
|
beforeData |
Structuur | De gegevens van de tabelrecord, vóór de wijziging |
|
{kolommen} |
De kolomnamen en -waarden, vóór de wijziging. Van toepassing op de UPDATE-bewerking. |