Kafka-Ziel

In diesem Thema wird erläutert, wie die Verbindung zu einem Kafka-Ziel anhand des Kafka-Zielkonnektors konfiguriert wird. Kafka kann nur als Ziel in einer Replikationsaufgabe verwendet werden.

Das Einrichten von Kafka als Ziel beinhaltet:

Erfüllen der Voraussetzungen
Konfigurieren einer Verbindung zu Kafka

Einrichten von Verbindungseigenschaften

Gehen Sie wie folgt vor, um den Konnektor zu konfigurieren:

Klicken Sie in Verbindungen auf Verbindung erstellen.
Wählen Sie den Konnektor für denKafka-Zielkonnektor aus und geben Sie dann die folgenden Einstellungen an:

Datenziel

Daten-Gateway

Dieses Feld ist für Qlik Talend Cloud Starter-Abonnements nicht verfügbar, da Data Movement Gateway für diese Abonnementstufe nicht unterstützt wird.

Beim Verschieben von Daten zu Amazon MSK ist ein Data Movement Gateway nur erforderlich, wenn die Zieldatenbank nicht über Qlik Cloud, sondern nur über einen privaten Link erreichbar ist (wenn sie sich z. B. lokal hinter einer Firewall oder in einer Virtual Private Cloud befindet). Wählen Sie in einem solchen Fall das Data Movement Gateway aus, über das Sie auf die Zieldatenbank zugreifen möchten. Abhängig von Ihrem Anwendungsfall ist dies das gleiche Data Movement Gateway, das zum Verschieben von Daten aus der Datenquelle bereitgestellt wurde, oder ein anderes.

Wenn Sie Daten in eine Amazon MSK-Instanz verschieben, die direkt über Qlik Cloud zugänglich ist, wählen Sie Keine aus.

Wenn Sie Daten zu Kafka lokal verschieben (siehe Cloudanbieter unten), müssen Sie ein Data Movement Gateway auswählen, unabhängig davon, ob Kafka direkt über Qlik Cloud zugänglich ist oder nicht.
Wenn Sie Data Movement Gateway verwenden müssen, ist Version 2025.5.40 oder höher erforderlich.

Informationen zu Anwendungsfällen für Data Movement Gateway finden Sie unter Wann ist Data Movement Gateway erforderlich? und Häufige Anwendungsfälle.

Cloudanbieter

Wählen Sie Keine für Kafka lokal oder Amazon MSK für Amazon MSK aus.

Broker-Server

Geben Sie einen oder mehrere Broker-Server im folgenden Format an (für Hochverfügbarkeit):

server1[:port1][,server2[:port2]]

Beispiel:

192.168.1.100:9092,192.168.1.101:9093

Die Datenaufgabe stellt eine Verbindung mit dem ersten verfügbaren Host her. Wenn ein Host ohne Port angegeben wird, wird Port 9092 als Standard verwendet.

Bei Verwendung der SSL- oder Kerberos-Authentifizierung müssen Sie den Broker-FQDN angeben (d. h. nicht die IP-Adresse).

Alle Broker-Server in Ihrem Cluster müssen vom Data Movement Gateway-Rechner aus zugänglich sein. Sie müssen jedoch nicht alle Server im Feld Broker-Server angeben. Dies liegt daran, dass Data Movement Gateway sich nur mit einem der Server verbinden muss, um die Verbindungsdetails für die anderen Server im Cluster abzurufen. Es ist daher bewährte Praxis, die Server anzugeben, die am wahrscheinlichsten verfügbar sind, wenn die Aufgabe ausgeführt wird. Die Server, an die die Datenaufgabe Nachrichten sendet, werden durch das Thema und das Partitionierungsthema sowie die Partitionierungseinstellungen bestimmt.

Kontoeigenschaften

Authentifizierungsmethode

Wählen Sie eine der folgenden Optionen aus:

Keine: Keine Authentifizierung.

Informationshinweis
Nicht verfügbar, wenn der ausgewählte Cloudanbieter Amazon MSK ist.
Zertifikat: Wenn Sie diese Option auswählen, müssen Sie auch die folgenden Informationen angeben:

Notiz Die Dateien für den öffentlichen und privaten Schlüssel müssen im PEM-Format vorliegen.
- Datei für den öffentlichen Schlüssel: Navigieren Sie zur Datei für den öffentlichen Schlüssel im PEM-Format. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.
- Datei für den privaten Schlüssel: Navigieren Sie zur Datei für den privaten Schlüssel im PEM-Format. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.
- Kennwort des privaten Schlüssels: Das Kennwort für die Datei des privaten Schlüssels.
Kerberos (SASL/GSSAPI): Wählen Sie diese Option, um sich mithilfe von Kerberos beim Kafka-Cluster zu authentifizieren.

Informationshinweis
Diese Authentifizierungsmethode ist nicht verfügbar, wenn der ausgewählte Cloudanbieter Amazon MSK ist.
- Prinzipal: Der Kerberos-Prinzipal, der zur Authentifizierung bei Broker-Servern verwendet wird.
- Keytab-Datei: Navigieren Sie zu der Keytab-Datei. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.
Informationshinweis
Um die Kerberos-Authentifizierung unter Linux zu verwenden, muss das Kerberos-Client-(Workstation-)Paket installiert sein.
Benutzername und Kennwort (SASL/PLAIN): Sie können diese Option auswählen, um sich mithilfe eines Benutzernamens und Kennworts (SASL/PLAIN) zu authentifizieren. Um zu verhindern, dass das Kennwort im Klartext gesendet wird, wird dringend empfohlen, auch die Option TLS aktivieren zu aktivieren.

Informationshinweis
Diese Authentifizierungsmethode ist nicht verfügbar, wenn der ausgewählte Cloudanbieter Amazon MSK ist.
Benutzername und Kennwort (SASL/SCRAM-SHA-256): Sie können diese Option auswählen, um sich mithilfe eines Benutzernamens und Kennworts (SASL/SCRAM-SHA-256) zu authentifizieren.

Beachten Sie, dass die Auswahl dieser Option auch erfordert, dass die server.properties-Datei jedes Brokers mit dem entsprechenden SASL/SCRAM-Mechanismus konfiguriert wird.

Informationshinweis
Diese Authentifizierungsmethode ist nicht verfügbar, wenn der ausgewählte Cloudanbieter Amazon MSK ist.
Benutzername und Kennwort (SASL/SCRAM-SHA-512): Sie können diese Option auswählen, um sich mithilfe eines Benutzernamens und Kennworts (SASL/SCRAM-SHA-512) zu authentifizieren.

Beachten Sie, dass die Auswahl dieser Option auch erfordert, dass die server.properties-Datei jedes Brokers mit dem entsprechenden SASL/SCRAM-Mechanismus konfiguriert wird.

SSL-Optionen

TLS aktivieren (unterstützt TLS 1.0, 1.1 und 1.2)

Wählen Sie diese Option, um die Kommunikation zwischen Qlik Talend Cloud und den Broker-Servern zu verschlüsseln. Wenn die Broker so konfiguriert sind, dass sie SSL erfordern, dann müssen Sie diese Option auswählen.

CA-Datei: Navigieren Sie zum Zertifikat der Zertifizierungsstelle im PEM-Format. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.

Informationshinweis
Nicht erforderlich, wenn der ausgewählte Cloudanbieter Amazon MSK ist.

Veröffentlichung von Metadatennachrichten

Die Schemaregistrierung ist für die Veröffentlichung von Metadaten-Nachrichten verfügbar

Wählen Sie eine der folgenden Optionen aus der Dropdown-Liste aus:

Nein

Wenn diese Option ausgewählt ist, werden nur die Datennachrichten veröffentlicht.

Confluent-Schemaregistrierung

Wenn Sie diese Option auswählen, müssen Sie auch die unten beschriebenen Schemaregistrierungs-Verbindungseigenschaften konfigurieren.

WarnhinweisWenn Confluent-Schemaregistrierung ausgewählt ist, müssen Sie die folgende interne Eigenschaft festlegen: CsrSkipGlobalConfig=false

Die Optionen für die Confluent-Schemaregistrierung unterstützen nur das Avro-Nachrichtenformat.
Es wird dringend empfohlen, Schemanachrichten nicht im selben Thema wie Datennachrichten zu veröffentlichen.
Wenn die Themen nicht existieren, konfigurieren Sie die Broker mit auto.create.topics.enable=true, damit die Datenaufgabe die Themen zur Laufzeit erstellen kann. Andernfalls schlägt die Aufgabe fehl.

Nachrichtenformat

Wählen Sie JSON oder Avro als Nachrichtenformat. Avro ist die einzige verfügbare Option, wenn Sie Confluent-Schemaregistrierung ausgewählt haben.

Schemaregistrierungs-Verbindungseigenschaften

Schemaregistrierungs-Server

Geben Sie einen oder mehrere Schemaregistrierungs-Server im folgenden Format an (für Hochverfügbarkeit):

Beim Veröffentlichen von Datenschemata in der Confluent-Schemaregistrierung:

server1:port1[,server2[:port2]]

Beispiel:

192.168.1.100:8081,192.168.1.101:8081

Die Datenaufgabe stellt eine Verbindung mit dem ersten verfügbaren Host her.

Authentifizierungsmethode

Wählen Sie eine der folgenden Authentifizierungsoptionen für die Schemaregistrierung aus:

Keine: Keine Authentifizierung.
Zertifikat: Wählen Sie diese Option zur Authentifizierung mit einem Zertifikat aus.
Wenn Sie diese Option auswählen, müssen Sie auch die folgenden Informationen angeben:

Datei für den öffentlichen Schlüssel: Navigieren Sie zur Datei für den öffentlichen Schlüssel im PEM-Format. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.
Private key file: Navigieren Sie zur Datei für den privaten Schlüssel im PEM-Format. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.
Kennwort des privaten Schlüssels: Das Kennwort für die Datei des privaten Schlüssels.

Benutzername und Kennwort: Wählen Sie diese Option, um sich mit einem Benutzernamen und Kennwort zu authentifizieren. Geben Sie dann Ihre Anmeldeinformationen in die Felder Benutzername und Kennwort ein.
Zertifikat + Benutzername und Kennwort: Wählen Sie diese Option, um sich sowohl mit einem Zertifikat als auch mit einem Benutzernamen und Kennwort zu authentifizieren.
Wenn diese Option ausgewählt ist, geben Sie die erforderlichen Informationen in die oben beschriebenen Felder Datei für öffentlichen Schlüssel, Datei für privaten Schlüssel, Kennwort für privaten Schlüssel, Benutzername und Kennwort ein.
TLS aktivieren (unterstützt TLS 1.0, 1.1 und 1.2): Wählen Sie diese Option aus, um die Daten zwischen dem Data Movement Gateway-Rechner und den Schemaregistrierungs-Servern zu verschlüsseln. Wenn die Server so konfiguriert sind, dass sie SSL erfordern, dann müssen Sie diese Option auswählen.
- CA-Datei: Navigieren Sie zum Zertifikat der Zertifizierungsstelle im PEM-Format. Wenn Sie auf Speichern klicken, wird die Datei in Qlik Talend Cloud hochgeladen und auf dem in den Konnektoreinstellungen ausgewählten Data Movement Gateway bereitgestellt.

Interne Eigenschaften

Interne Eigenschaften sind für besondere Anwendungsfälle vorgesehen und werden daher nicht im Dialogfenster angezeigt. Sie sollten sie nur verwenden, wenn Sie vom Qlik Support dazu angewiesen werden.

Verwenden Sie die Schaltflächen Neu erstellen und Abbrechen rechts neben den Feldern, um Eigenschaften wie erforderlich hinzuzufügen oder zu entfernen.

Name

Der Anzeigename für die Verbindung.

Voraussetzungen

Bevor Sie Kafka als Ziel verwenden können, müssen die folgenden Voraussetzungen erfüllt sein:

Öffnen Sie TCP-Ports für alle Broker über den Data Movement Gateway-Rechner.
Legen Sie Berechtigungen fest, die der Datenaufgabe das Schreiben in die Zielthemen ermöglichen. Eine Möglichkeit hierfür ist die Verwendung des Kafka ACLs-Skripts (kafka-acls).
Erstellen Sie entweder ein Thema namens attrep_apply_exceptions, bevor Sie die Datenaufgabe starten, oder konfigurieren Sie die Broker mit auto.create.topics.enable=true.

Beachten Sie: Wenn dieses Thema nicht existiert, schlägt die Aufgabe immer fehl, wenn ein Datenfehler auftritt, unabhängig von der Fehlerbehandlungsrichtlinie.

Eine Beschreibung der Kontrolltabelle attrep_apply_exceptions finden Sie unter Ausnahmen anwenden.

Einschränkungen und Überlegungen

Beim Definieren einer Aufgabe mit Kafka als Zielkonnektor gelten die folgenden Einschränkungen:

Nicht unterstützte Aufgabeneinstellungen:
- Der Kafka-Zielkonnektor unterstützt keine unbegrenzte LOB-Größe. In den Aufgabeneinstellungen ist die Option LOB-Spalten einschließen und Spaltengröße beschränken auf (KB) aktiviert und schreibgeschützt.
- Der Modus „Änderungen speichern“ wird nicht unterstützt.
- Der stapeloptimierte Anwendungsmodus wird nicht unterstützt. Kafka arbeitet immer im transaktionalen Anwendungsmodus.
- Die Einstellung ALTER ignorieren für „Änderungen anwenden“ wird für Änderungen an Quelldatentypen und Tabellenumbenennungen nicht unterstützt.
- Die Option „Tabelle löschen und erstellen“ des Feldes Zieltabellenvorbereitung wird nicht unterstützt.
- Die Option „Vor Laden abschneiden“ des Feldes Zieltabellenvorbereitung wird nicht unterstützt.
- Die Kontrolltabelle Änderungsdatenpartitionierung wird nicht unterstützt.
Allgemeine Einschränkungen:
- Kafka-Themennamen dürfen keine Leerzeichen enthalten, 255 Zeichen (249 ab Kafka 0.10) nicht überschreiten und nur die folgenden Zeichen enthalten:
  a-z|A-Z|0-9|. (Punkt)|_(Unterstrich)|-(Minuszeichen)
  Wenn die Namen der Quelltabellen die maximal zulässige Länge überschreiten oder nicht unterstützte Zeichen enthalten, müssen Sie entweder die Namen ändern, bevor Sie die Aufgabe starten, oder eine globale Umwandlung definieren.
- Spaltennamen müssen mit [A-Za-z_] (Buchstaben oder ein Unterstrich) beginnen, gefolgt von [A-Za-z0-9_] (Buchstaben, Ziffern oder ein Unterstrich). Zum Beispiel ist _Test_ ein gültiger Spaltenname, &Test jedoch nicht.
  Wenn ein Quellspaltenname dieser Regel nicht entspricht, muss eine Umwandlung verwendet werden, um die Spalte umzubenennen.
- Das Löschen oder Umbenennen einer Quelltabelle wird nicht unterstützt.

Datentypen

Die folgende Tabelle zeigt die Kafka-Datentypen, die bei der Verwendung von Qlik Cloud unterstützt werden, sowie die Standardzuordnung von Qlik Cloud-Datentypen.

Bei Verwendung des JSON-Nachrichtenformats werden Binärwerte als Hexadezimalzeichen dargestellt.

Kafka-Datenzuordnung
Qlik Cloud-Datentypen	Kafka-Zieldatentypen in Schemanachrichten
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (Länge)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4 Informationshinweis Dateien, die größer als 2^31-1 sind, werden nicht unterstützt.	UINT4 (10)
UINT8 Informationshinweis Dateien, die größer als 2^63-1 sind, werden nicht unterstützt.	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (Länge)
WSTRING	STRING (Länge)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Zuordnung zu JSON und Avro

Das Avro-Nachrichtenformat verwendet logische Typen für eine präzisere Darstellung des Datentyps.

Qlik Cloud Datentypen werden nur dann unterstützten logischen Avro-Datentypen zugeordnet, wenn das Kontrollkästchen Logische Datentypen für bestimmte Datentypen verwenden aktiviert ist.

Datentypzuordnungen
Qlik Cloud-Datentypen	JSON	Logische Avro-Datentypen
DATE	STRING	DATE Kommentiert einen Avro INT.
TIME	STRING	TIME-MILLIS Kommentiert einen Avro INT.
TIMESTAMP	STRING	TIMESTAMP-MICROS Kommentiert einen Avro LONG.
STRING	STRING	-
WSTRING	STRING	-
CLOB	STRING	-
NCLOB	STRING	-
NUMERIC	STRING	DECIMAL (p,s) Kommentiert einen Avro BYTES.
BYTES	BYTES	-
BLOB	BYTES	-
REAL4	FLOAT	-
REAL8	DOUBLE	-
INT1	INT	-
INT2	INT	-
INT4	INT	-
UINT1	INT	-
UINT2	INT	-
UINT4	LONG	-
INT8	LONG	-
UINT8	STRING	DECIMAL (20,0) Kommentiert einen Avro BYTES.
BOOLEAN	BOOLEAN	-

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab