# Meta veri ve veri iletileri Bu konu, Kafka hedef connector tarafından üretilen meta veri ve veri mesajlarının yapısını ve içeriğini açıklar. ## Meta veri mesajı Meta veri mesajı | Alan | Tür | Açıklama | | --- | --- | --- | | schemaId | Dize | Avro şemasının benzersiz tanımlayıcısı. | | köken | Yapı | Verilerin kökeni hakkında bilgi (Qlik Talend Data Integration sunucu, görev, tablo vb.) | | sunucu | Dize | Qlik Talend Data Integration sunucusunun adı. | | görev | Dize | Görevin adı. | | şema (Şema Adı) | Dize | Veritabanı şemasının adı. | | tablo (Tablo Adı) | Dize | Tablonun adı. | | tabloSürümü | Tamsayı | Qlik Talend Data Integration kaynak tablonun yapısının bir sürüm numarasını sürdürür. Kaynakta DDL değişikliği olduğunda, sürüm artırılır ve yeni bir meta veri mesajı üretilir. | | zaman damgası | Dize | Meta veri mesajının tarihi ve saati. | | tableStructure | Yapı | Tablonun yapısını açıklar. | | tableColumns | Yapı | Sütunların ve özelliklerinin listesini içerir. | | {Sütunlar} | Yapı | Her sütun için aşağıdaki özelliklere sahip bir kayıt. | | sıralı | Tamsayı | Sütunun kayıttaki konumu. | | tür | Dize | Sütun veri türü. | | uzunluk | Tamsayı | Sütun için izin verilen maksimum veri boyutu (bayt cinsinden). | | kesinlik | Tamsayı | SAYISAL veri türü için, değeri temsil etmek için gereken maksimum basamak sayısı. | | ölçek | Tamsayı | SAYISAL veri türü için, bir sayı için izin verilen ondalık noktanın sağındaki maksimum basamak sayısı. | | primaryKeyPosition | Tamsayı | Sütunun tablonun Birincil Anahtarındaki veya Benzersiz Dizinindeki konumu. Sütun tablonun Birincil Anahtarının bir parçası değilse değer sıfırdır. | | dataSchema | Dize | Veri mesajlarını seri durumdan çıkarmak için Avro şeması. | ## Veri mesajı Veri mesajı | Alan | Tür | Açıklama | | --- | --- | --- | | şema (adı) | Dize | Çoğaltılan kaynak tablo(lar)ı içeren kaynak veritabanı şemasının adı. | | tablo (adı) | Dize | Kaynak tablonun adı. | | Üst bilgiler | Yapı | Geçerli kayıt hakkında bilgi. | | işlem (İşlem) | Enum | İşlem türü.

Tam Yükleme - Kaynak verilerinin hedef konu(lar)a ilk yüklemesi

YENİLE – Tam Yükleme sırasında hedefe bir kayıt eklenmesi

CDC - Kaynak tablo değişikliklerini ilgili konuya uygular

EKLE – Yeni hedef kaydının eklenmesi

GÜNCELLE – Mevcut bir hedef kaydının güncellenmesi

SİL – Bir hedef kaydının silinmesi | | changeSequence (Sıra Değiştir) | Dize | Bir görevin tüm değişiklik tabloları için ortak olan ve monoton olarak artan bir değişiklik sıralayıcısı.

Kayıtları kronolojik sıraya göre sıralamak için bu alanı kullanın.

Yalnızca CDC işlemleri için geçerlidir. | | timestamp (Zaman Damgası) | Dize | Orijinal değişiklik UTC zaman damgası.

Yalnızca CDC işlemleri için geçerlidir. | | klasörKonumu | Dize | Kaynak CDC akış konumu.

Yalnızca CDC işlemleri için geçerlidir. | | transactionId (İşlem Kimliği) | Dize | Değişiklik kaydının ait olduğu işlemin kimliği.

Belirli bir işlemin tüm değişikliklerini toplamak için bu alanı kullanın.

Yalnızca CDC işlemleri için geçerlidir. | | changeMask (Değişim Maskesi) | Dize | Kaynak tabloda hangi veri sütunlarının değiştirildiğini belirtir.

Değişim maskesi, little-endian sırasıyla veri sütunlarının bir bit maskesini temsil eden onaltılık basamaklardan oluşan bir dizedir. Değişim maskesindeki bit konumu, o tablonun meta veri mesajındaki sütunun sıralamasına dayanır.

Bu, 10 veri sütunu varsa bunların 0 ila 9 bitlerini bit maskesinde işgal ettiği anlamına gelir.

GÜNCELLEME maskesi 0B onaltılık, yani ikili olarak 1011 ise, bu, 1, 2 ve 4. sıralardaki sütunların değiştirildiği anlamına gelir.

Aşağıda bit semantiği açıklanmaktadır:



Bilgi notu

LOB sütunları changeMask bitine dahil değildir. | | columnMask (Sütun Maskesi) | Dize | Mesajda hangi veri sütunlarının bulunduğunu belirtir. Genellikle bu, tablonun tüm sütunlarını içerir.

Bilgi notu

Tam ek günlük kaydı olmayan bir Oracle kaynağından moving yapıldığında, bazı sütunlar moved olamadıkları için verilerde bulunmayabilir.

Sütun maskesi, little-endian sırasıyla veri sütunlarının bir bit maskesini temsil eden onaltılık basamaklardan oluşan bir dizedir. Sütun maskesindeki bit konumu, o tabloya ait meta veri mesajındaki sütunun sıralamasına dayanır.

Bu, uygulayıcının, sütunun *gerçek* değeri olan bir boş değeri, kaynak veritabanından moved edilemeyen bir sütunu temsil eden bir boş değerden ayırmasını sağlar. | | externalSchemaId | Dize | Şema Kimliği. Bu, yalnızca Harici Şema Kimliğini Dahil Et üst bilgi onay kutusu seçiliyse görüntülenir.

Kaynak tabloda bir DDL gerçekleştirildiğinde Şema Kimliği değiştiği için, tüketici uygulamaları mesaj şemasının değişip değişmediğini belirlemek için bu bilgiyi kullanabilir. | | transactionEventCounter (İşlem Olay Sayacı) | Uzun | İşlemdeki mevcut operasyonun sıra numarası.

Bu, bir işlem içindeki operasyonların sırasını belirlemek için kullanılabilir. | | transactionLastEvent (İşlem Son Olayı) | Boolean | "True", işlemin son kaydı olduğunu gösterirken, "False" ise tüm kayıtların işlenmediğini gösterir. | | veri | Yapı | Tablo kaydının verileri | | {sütunlar} | | Geçerli kayıttaki sütun adları ve değerleri. | | beforeData | Yapı | Tablo kaydının verileri, değişiklikten önce | | {sütunlar} | | Sütun adları ve değerleri, değişiklikten önce.

GÜNCELLEME işlemi için geçerlidir. |