Kafka Hedef

Bu konuda, Kafka hedef bağlayıcısı kullanılarak bir Kafka hedefine bağlantının nasıl yapılandırılacağı açıklanmaktadır. Kafka sadece çoğaltma görevlerinde hedef olarak kullanılabilir.

Hedef olarak Kafka ayarlamak şunları içerir:

Ön koşulların yerine getirilmesi
öğesine bağlantı yapılandırmaKafka

Bağlantı özelliklerini ayarlama

Bağlayıcıyı yapılandırmak için aşağıdakileri yapın:

Bağlantılar'da Bağlantı oluştur'a tıklayın.
Kafka hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:

Veri hedefi

Veri ağ geçidi

Veri Hareketi ağ geçidi bu abonelik kademesiyle desteklenmediğinden bu alan, Qlik Talend Cloud Başlangıç Kılavuzu aboneliğiyle kullanılamaz.

Verileri Amazon MSK'ya taşırken, bir Veri Hareketi ağ geçidi yalnızca Amazon MSK'ya Qlik Cloud öğesinden erişilemiyorsa ve yalnızca bir Özel Bağlantı kullanılarak erişilebiliyorsa gereklidir (örneğin, bir Sanal Özel Bulutta bulunuyorsa). Bu durumda, hedef veritabanına erişmek istediğiniz Veri Hareketi ağ geçidi öğesini seçin. Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri taşımak için dağıtılanVeri Hareketi ağ geçidi ile aynı ya da farklı bir veri kaynağı olacaktır.

Verileri Qlik Cloud konumundan doğrudan erişilebilen bir Amazon MSK örneğine taşıyorsanız, Yok öğesini seçin.

Verileri şirket içi Kafka'ya taşıyorsanız (aşağıdaki Bulut sağlayıcı bölümüne bakın), Kafka'ya Qlik Cloud konumundan doğrudan erişilip erişilemediğine bakılmaksızın bir Veri Hareketi ağ geçidi seçmelisiniz.
Veri Hareketi ağ geçidi kullanmanız gerekiyorsa, 2025.5.40 veya sonraki bir sürüm gereklidir.

Veri Hareketi ağ geçidi kullanım durumları hakkında bilgi için bkz. Veri Hareketi ağ geçidi ne zaman gereklidir? ve Yaygın kullanım durumları.

Bulut sağlayıcı

Şirket içinde Kafka kullanmak için Yok seçeneğini veya Amazon MSK kullanmak için Amazon MSK seçeneğini seçin.

Aracı sunucular

Bir veya daha fazla aracı sunucuyu aşağıdaki biçimi kullanarak belirtin (yüksek kullanılabilirlik için):

server1[:port1][,server2[:port2]]

Örnek:

192.168.1.100:9092,192.168.1.101:9093

Veri görevi, ilk uygun ana bilgisayara bağlanacaktır. Bir ana bilgisayar bağlantı noktası belirtilmeden belirtilirse, 9092 numaralı bağlantı noktası varsayılan olarak kullanılacaktır.

SSL veya Kerberos kimlik doğrulaması kullanırken, aracı FQDN'sini (yani IP adresi değil) belirtmeniz gerekir.

Kümenizdeki tüm aracı sunucularının Veri Hareketi ağ geçidi makinesinden erişilebilir olması gerekir. Ancak, tüm sunucuları belirtmenize gerek yoktur Aracı sunucuları alanına yapıştırın. Bunun nedeni, Veri Hareketi ağ geçidi kümedeki diğer sunucuların Bağlantı ayrıntılarını almak için yalnızca sunuculardan birine bağlanması gerektiğidir. Bu nedenle, görev çalıştırıldığında en yüksek olasılıkla kullanılabilir olacak sunucuları belirtmek en iyi uygulamadır. Veri görevinin mesaj ürettiği sunucular, konu ve bölümleme konusu ile bölümleme ayarlarına göre belirlenir.

Hesap özellikleri

Kimlik Doğrulama yöntemi

Şunlardan birini seçin:

Yok: Kimlik doğrulama yok.
Sertifika: Bu seçeneği belirlerseniz, aşağıdaki bilgileri de sağlamanız gerekir:

NotGenel ve özel anahtar dosyaları PEM biçiminde olmalıdır.
- Genel anahtar dosyası: PEM biçimindeki genel anahtar dosyasına göz atın. Kaydet öğesine tıkladığınızda, dosya Qlik Talend Cloud konumuna yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi konumuna dağıtılacaktır.
- Özel anahtar dosyası: PEM biçimindeki özel anahtar dosyasına göz atın. Kaydet'e tıkladığınızda, dosya Qlik Talend Cloud'e yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi'e dağıtılacaktır.
- Özel anahtar parolası: Özel anahtar dosyasının parolası.
Kerberos (SASL/GSSAPI): Kafka kümesine Kerberos kullanarak kimlik doğrulaması yapmak için seçin.

Bilgi notu
Seçilen Bulut sağlayıcısı Amazon MSK olduğunda bu kimlik doğrulama yöntemi kullanılamaz.
- Asıl: Aracı sunucusuna/sunucularına karşı kimlik doğrulaması yapmak için kullanılan Kerberos asılı.
- Keytab dosyası: Keytab dosyasına göz atın. Kaydet'e tıkladığınızda, dosya Qlik Talend Cloud konumuna yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi konumuna dağıtılacaktır.
Bilgi notu
Linux'ta Kerberos kimlik doğrulamasını kullanmak için, Kerberos istemci (iş istasyonu) paketi yüklenmelidir.
Kullanıcı adı ve parola (SASL/PLAIN): Kendinizi bir kullanıcı adı ve parola (SASL/PLAIN) kullanarak doğrulamak için bu seçeneği belirleyebilirsiniz. Parolanın açık metin olarak gönderilmesini önlemek için, TLS'yi Etkinleştir seçeneğini de etkinleştirmeniz şiddetle tavsiye edilir.

Bilgi notu
Seçilen Bulut sağlayıcısı Amazon MSK olduğunda bu kimlik doğrulama yöntemi kullanılamaz.
Kullanıcı Adı ve Parola (SASL/SCRAM-SHA-256): Kendinizi bir kullanıcı adı ve parola (SASL/SCRAM-SHA-256) kullanarak doğrulamak için bu seçeneği belirleyebilirsiniz.

Bu seçeneği belirlemenin, her bir aracının server.properties dosyasının ilgili SASL/SCRAM mekanizmasıyla yapılandırılmasını da gerektirdiğini unutmayın.

Bilgi notu
Seçilen Bulut sağlayıcısı Amazon MSK olduğunda bu kimlik doğrulama yöntemi kullanılamaz.
Kullanıcı Adı ve Parola (SASL/SCRAM-SHA-512): Kendinizi bir kullanıcı adı ve parola (SASL/SCRAM-SHA-512) kullanarak doğrulamak için bu seçeneği belirleyebilirsiniz.

Bu seçeneği belirlemenin, her bir aracının server.properties dosyasının ilgili SASL/SCRAM mekanizmasıyla yapılandırılmasını da gerektirdiğini unutmayın.

SSL seçenekleri

TLS'yi Etkinleştir (TLS 1.0, 1.1 ve 1.2'yi destekler)

Qlik Talend Cloud ile aracı sunucu(lar) arasındaki iletişimi şifrelemek için bu seçeneği belirleyin. Aracılar SSL gerektirecek şekilde yapılandırılmışsa, o zaman bu seçeneği mutlaka belirlemelisiniz.

CA dosyası: PEM biçimindeki CA sertifikasına göz atın. Kaydet'e tıkladığınızda, dosya Qlik Talend Cloud konumuna yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi konumuna dağıtılacaktır.

Bilgi notu
Seçilen Bulut sağlayıcısı Amazon MSK olduğunda gerekli değildir.

Meta veri mesajı yayınlama

Şema kayıt defteri, meta veri mesajı yayınlamak için kullanılabilir olacaktır

Açılır listeden aşağıdakilerden birini seçin:

Hayır

Bu seçenek belirlendiğinde, yalnızca veri mesajları yayınlanacaktır.

Confluent şema kayıt defteri

Bu seçeneği belirlerseniz, ayrıca aşağıda açıklanan Şema kayıt defteri bağlantı özelliklerini yapılandırmanız gerekir.

Confluent Şema Kayıt Defteri seçenekleri yalnızca Avro mesaj biçimini destekler.
Şema mesajlarını veri mesajlarıyla aynı konuya yayınlamamanız şiddetle tavsiye edilir.
Konular mevcut değilse, veri görevinin çalışma zamanında konuları oluşturmasını sağlamak için aracıları auto.create.topics.enable=true ile yapılandırın. Aksi takdirde görev başarısız olacaktır.

Mesaj biçimi

Mesaj formatı olarak JSON veya Avro seçin. Confluent şema kayıt defteri seçtiyseniz, Avro tek kullanılabilir seçenek olacaktır.

Şema kayıt defteri bağlantı özellikleri

Şema kayıt defteri sunucuları

Yüksek erişilebilirlik için bir veya daha fazla Şema Kayıt Defteri sunucusunu aşağıdaki formatı kullanarak belirtin:

Veri şemalarını Confluent Şema Kayıt Defteri'ne yayımlarken:

server1:port1[,server2[:port2]]

Örnek:

192.168.1.100:8081,192.168.1.101:8081

Veri görevi, ilk uygun ana bilgisayara bağlanacaktır.

Veri şemalarını Hortonworks Şema Kayıt Defteri'ne yayımlarken:

server1:port1[,server2[:port2]]

Örnek:

192.168.1.100:7788,192.168.1.101:7788

Veri görevi, ilk uygun ana bilgisayara bağlanacaktır.

Kimlik Doğrulama yöntemi

Aşağıdaki Şema Kayıt kimlik doğrulama seçeneklerinden birini seçin:

Yok: Kimlik doğrulama yok.
Kerberos: Kerberos kullanarak kimlik doğrulaması yapmak için seçin.

Bilgi notu
Linux'ta Kerberos kimlik doğrulamasını kullanmak için Kerberos istemci (iş istasyonu) paketi yüklü olmalıdır.

Sorumlu: Şema Kayıt Defteri'ne karşı kimlik doğrulaması yapmak için kullanılan Kerberos sorumlusu.
Keytab dosyası: Keytab dosyasına göz atın. Kaydet üzerine tıkladığınızda, dosya Qlik Talend Cloud konumuna yüklenecek ve bağlayıcı ayarlarında seçilen herhangi bir Veri Hareketi ağ geçidi öğesine dağıtılacaktır.

Sertifika: Sertifika kullanarak kimlik doğrulaması yapmak için seçin.

Bilgi notu
Bu seçenek yalnızca Confluent Şema Kayıt Defteri'ne yayınlarken desteklenir.

Bu seçeneği belirlerseniz, aşağıdaki bilgileri de sağlamanız gerekir:

Ortak anahtar dosyası: PEM biçimindeki ortak anahtar dosyasına göz atın. Kaydet'e tıkladığınızda, dosya Qlik Talend Cloud'e yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi'e dağıtılacaktır.
Özel anahtar dosyası: PEM biçimindeki özel anahtar dosyasına göz atın. Kaydet'e tıkladığınızda, dosya Qlik Talend Cloud'e yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi'e dağıtılacaktır.
Özel anahtar parolası: Özel anahtar dosyası parolası.

Kullanıcı adı ve parola: Kullanıcı adı ve parola ile kimlik doğrulaması yapmak için seçin. Ardından, oturum açma kimlik bilgilerinizi Kullanıcı adı ve parola alanlarına girin.

Bilgi notu
Bu seçenek yalnızca Confluent Schema Registry'ye yayınlarken desteklenir.
Sertifika + Kullanıcı adı ve parola: Hem sertifika hem de kullanıcı adı ve parola kullanarak kimlik doğrulaması yapmak için seçin.

Bu seçenek belirlendiğinde, yukarıda açıklanan Ortak anahtar dosyası, Özel anahtar dosyası, Özel anahtar parolası, Kullanıcı adı ve Parola alanlarına gerekli bilgileri girin.

Bilgi notu
Bu seçenek yalnızca Confluent Şema Kayıt Defteri'ne yayımlarken desteklenir.
TLS'yi Etkinleştir (TLS 1.0, 1.1 ve 1.2'yi destekler): Veri Hareketi ağ geçidi makinesi ile Şema Kayıt Defteri sunucuları arasındaki verileri şifrelemek için bu seçeneği belirleyin. Sunucular SSL gerektirecek şekilde yapılandırılmışsa, bu seçeneği mutlaka belirlemelisiniz.
- CA dosyası: PEM biçimindeki CA sertifikasına göz atın. Kaydet'e tıkladığınızda, dosya Qlik Talend Cloud konumuna yüklenecek ve bağlayıcı ayarlarında seçilen Veri Hareketi ağ geçidi konumuna dağıtılacaktır.

Dahili özellikler

Dahili özellikler özel kullanım durumları içindir ve bu nedenle diyalog penceresinde gösterilmez. Bunları yalnızca Qlik Desteği tarafından talimat verildiği takdirde kullanmalısınız.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

Bağlantının görünen adı.

Önkoşullar

Kafka'yı hedef olarak kullanabilmeniz için aşağıdaki ön koşulların karşılanması gerekir:

Veri Hareketi ağ geçidi makinesinden tüm aracılara TCP bağlantı noktalarını açın
Veri görevinin hedef konulara yazmasını sağlayacak izinleri ayarlayın. Bunu yapmanın bir yolu, Kafka ACL'leri komut dosyasını (kafka-acls) kullanmaktır.
Veri görevini başlatmadan önce attrep_apply_exceptions adında bir konu oluşturun veya aracıları auto.create.topics.enable=true ile yapılandırın.

Unutmayın ki, bu konu mevcut değilse, görev bir veri hatasıyla karşılaştığında, hata işleme politikasından bağımsız olarak her zaman başarısız olur.

attrep_apply_exceptions kontrol tablosunun açıklaması için İstisnaları uygula bölümüne bakınız.

Sınırlamalar ve dikkate alınacak noktalar

Kafka hedef bağlayıcı olarak bir görev tanımlarken, aşağıdaki sınırlamalar geçerlidir:

Desteklenmeyen görev ayarları:
- Kafka hedef bağlayıcısı sınırsız LOB boyutunu desteklemez. Bu nedenle, LOB sütunları içeren kaynak tablolardan veri taşırken, Sınırsız LOB boyutuna izin ver seçeneğini seçmekten kaçının.
- Store Changes modu desteklenmemektedir.
- Toplu iyileştirme uygulama modu desteklenmiyor. Kafka her zaman İşlemsel uygulama modunda çalışır.
- ALTER'ı Yoksay Değişiklikleri Uygula ayarı, kaynak veri türlerindeki değişiklikler ve tablo yeniden adlandırma için desteklenmiyor.
- Hedef Tablo Hazırlığı alanının Tabloyu Bırak ve Oluştur seçeneği desteklenmiyor.
- Hedef Tablo Hazırlığı alanının Yüklemeden önce Kırp seçeneği desteklenmiyor.
- Değişiklik Verisi Bölümleme Kontrol tablosu desteklenmez.
Genel sınırlamalar:
- Kafka konu adları boşluk içeremez veya 255 karakteri (Kafka 0.10'dan itibaren 249) aşamaz ve yalnızca aşağıdaki karakterleri içerebilir:
  a-z|A-Z|0-9|. (nokta)|_(alt çizgi)|-(eksi)
  Kaynak tablo adları izin verilen maksimum uzunluğu aşarsa veya desteklenmeyen karakterler içeriyorsa, görevi başlatmadan önce adları değiştirmeniz veya genel bir dönüşüm tanımlamanız gerekir.
- Sütun adları [A-Za-z_] (harfler veya alt çizgi) ile başlamalı, ardından [A-Za-z0-9_] (harfler, rakamlar veya alt çizgi) gelmelidir. Örneğin, _Test_ geçerli bir sütun adı iken &Test geçerli değildir.
  Bir kaynak sütun adı bu kurala uymuyorsa, sütunu yeniden adlandırmak için bir dönüşüm kullanılmalıdır.
- Kaynak tabloyu bırakma veya yeniden adlandırma desteklenmez.

Veri türleri

Aşağıdaki tabloda Qlik Cloud kullanırken desteklenen Kafka veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşleme gösteriliyor.

JSON mesaj biçimi kullanılırken, ikili değerler onaltılık basamaklar olarak temsil edilir.

Kafka veri eşlemesi
Qlik Cloud Veri Türleri	Şema Mesajlarında Kafka Hedef Veri Türleri
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (uzunluk)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4 Bilgi notu 2^31-1'den büyük değerler desteklenmez.	UINT4 (10)
UINT8 Bilgi notu 2^63-1'den büyük değerler desteklenmez.	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (Uzunluk)
WSTRING	STRING (Uzunluk)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

JSON ve Avro'ya Eşleme

Avro mesaj formatı, veri türünün daha hassas bir şekilde temsil edilmesi için mantıksal türler kullanır.

Qlik Cloud veri türleri, Belirli veri türleri için mantıksal veri türlerini kullan onay kutusu seçiliyse yalnızca desteklenen Avro mantıksal veri türlerine eşlenir.

Veri türü eşlemeleri
Qlik Cloud veri türleri	JSON	Avro Mantıksal veri türleri
DATE	STRING	DATE Bir Avro INT'i açıklar.
TIME	STRING	TIME-MILLIS Bir Avro INT'i açıklar.
TIMESTAMP	STRING	TIMESTAMP-MICROS Bir Avro LONG'u açıklar.
STRING	STRING	-
WSTRING	STRING	-
CLOB	STRING	-
NCLOB	STRING	-
NUMERIC	STRING	DECIMAL (p,s) Bir Avro BYTES'a açıklama ekler.
BYTES	BYTES	-
BLOB	BYTES	-
REAL4	FLOAT	-
REAL8	DOUBLE	-
INT1	INT	-
INT2	INT	-
INT4	INT	-
UINT1	INT	-
UINT2	INT	-
UINT4	LONG	-
INT8	LONG	-
UINT8	STRING	DECIMAL (20,0) Bir Avro BYTES'a açıklama ekler.
BOOLEAN	BOOLEAN	-

Confluent Cloud ile çalışma

Aşağıdaki bölüm, Kafka bağlayıcısının Confluent Cloud ile çalışacak şekilde nasıl yapılandırılacağını açıklar.

Confluent Cloud'da bir küme oluşturun.
Küme ayarlarından Önyükleme sunucusu değerini, bağlayıcı ayarlarının Genel sekmesindeki Aracı sunucuları alanına kopyalayın.
Bağlayıcı ayarlarında, Kimlik doğrulama yöntemi açılır listesinden Kullanıcı Adı ve Parola (SASL/PLAIN) seçin.
Confluent Kümenizin API erişimi ekranında, bir API anahtar çifti oluşturun.
Anahtarı ve gizli anahtarı, Kafka bağlayıcısının Kullanıcı adı ve Parola alanlarına sırasıyla kopyalayın.
Kafka bağlayıcı ayarlarında, TLS'yi Etkinleştir seçeneğini belirleyin ve CA dosyasının tam yolunu CA yolu alanına belirtin. CA dosyası, Confluent'in yönergelerine göre oluşturulmalı ve tüm Confluent Cloud sertifikalarını imzalayan CA'yı ve ayrıca Kök CA İmzalayıcısını içermelidir.

Artık Confluent Cloud ile çalışmaya hazırsınız.

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız lütfen bize bildirin!

Geri bildiriminizi buradan iletin

Kafka Hedef

Bağlantı özelliklerini ayarlama

Veri hedefi

Veri ağ geçidi

Bulut sağlayıcı

Aracı sunucular

Hesap özellikleri

Kimlik Doğrulama yöntemi

SSL seçenekleri

Meta veri mesajı yayınlama

Şema kayıt defteri, meta veri mesajı yayınlamak için kullanılabilir olacaktır

Mesaj biçimi

Şema kayıt defteri bağlantı özellikleri

Şema kayıt defteri sunucuları

Kimlik Doğrulama yöntemi

Dahili özellikler

Ad

Önkoşullar

Sınırlamalar ve dikkate alınacak noktalar

Veri türleri

JSON ve Avro'ya Eşleme

Confluent Cloud ile çalışma

Bu sayfa size yardımcı oldu mu?