Cible Kafka

Cette rubrique explique comment configurer la connectivité à une cible Kafka via le connecteur cible Kafka. Kafka peut être utilisé comme cible dans une tâche de réplication uniquement.

La configuration de Kafka comme cible implique les conditions suivantes :

Respect des conditions préalables requises
Configuration d'une connexion à Kafka

Définition des propriétés de connexion

Pour configurer le connecteur, procédez comme suit :

Dans Connexions, cliquez sur Créer une connexion.
Sélectionnez le Kafka connecteur cible et fournissez les paramètres suivants :

Cible de données

Passerelle de données

Ce champ n'est pas disponible avec l'abonnement Démarreur Qlik Talend Cloud, car Passerelle de déplacement des données n'est pas supporté avec ce niveau d'abonnement.

Lors du déplacement de données vers Amazon MSK, une Passerelle de déplacement des données est nécessaire uniquement si Amazon MSK n'est pas accessible depuis Qlik Cloud et est accessible uniquement via un lien privé (par exemple, s'il est situé dans un cloud privé virtuel). Dans ce cas, sélectionnez la Passerelle de déplacement des données via laquelle vous souhaitez accéder à la base de données cible. Suivant votre cas d'utilisation, il s'agira soit de la même Passerelle de déplacement des données déployée pour déplacer des données provenant de la source de données, soit d'une autre.

Si vous déplacez des données vers une instance Amazon MSK directement accessible depuis Qlik Cloud, sélectionnez Aucune.

Si vous déplacez des données vers Kafka sur site (consultez Fournisseur de cloud ci-dessous), vous devez sélectionner une Passerelle de déplacement des données, que Kafka soit ou non directement accessible depuis Qlik Cloud.
Si vous devez utiliser Passerelle de déplacement des données, la version 2025.5.40 ou une version ultérieure est nécessaire.

Pour des informations sur les cas d'utilisation de Passerelle de déplacement des données, consultez Quand Passerelle de déplacement des données est-elle obligatoire ? et Cas d'utilisation courants.

Cloud provider

Sélectionnez Aucune pour utiliser Kafka sur site ou Amazon MSK pour utiliser Amazon MSK.

Serveurs de broker

Spécifiez un ou plusieurs serveurs de broker via le format suivant (pour une haute disponibilité) :

server1[:port1][,server2[:port2]]

Exemple :

192.168.1.100:9092,192.168.1.101:9093

La tâche de données se connectera au premier hôte disponible. Si un hôte est spécifié sans port, le port 9092 sera utilisé par défaut.

Lorsque vous utilisez l'authentification SSL ou Kerberos, vous devez spécifier le FQDN (Fully qualified Domain Name - nom de domaine complet) du broker (et non l'adresse IP).

Tous les serveurs de broker de votre cluster doivent être accessibles depuis le poste Passerelle de déplacement des données. Cependant, vous n'avez pas besoin de spécifier tous les serveurs dans le champ Serveurs de broker . Ceci est dû au fait que la Passerelle de déplacement des données n'a besoin de se connecter qu'à l'un des serveurs pour récupérer les détails de connexion des autres serveurs du cluster. Il est donc vivement recommandé de spécifier les serveurs les plus susceptibles d'être disponibles lorsque la tâche est exécutée. Les serveurs vers lesquels la tâche de données produit des messages sont déterminés par le topic et le topic de partitionnement ainsi que par les paramètres de partitionnement.

Propriétés de compte

Méthode d'Authentication

Sélectionnez une des options suivantes :

Aucune : Aucune authentification.
Certificat : Si vous sélectionnez cette option, vous devez également fournir les informations suivantes :

Remarque Les fichiers de clés publique et privée doivent être au format PEM.
- Ficher de clé publique : Accédez au fichier de clé publique au format PEM. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.
- Fichier de clé privée : Accédez au fichier de clé privée au format PEM. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.
- Mot de passe de la clé privée : Mot de passe du fichier de clé privée.
Kerberos (SASL/GSSAPI) : Sélectionnez cette option pour vous authentifier auprès du cluster Kafka via Kerberos.

Note Informations
Cette méthode d'authentification n'est pas disponible lorsque le Fournisseur cloud sélectionné est Amazon MSK.
- Principal : Principal Kerberos utilisé pour l'authentification auprès du ou des serveurs de broker.
- Fichier keytab : Accédez au fichier keytab. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.
Note Informations
Pour pouvoir utiliser l'authentification Kerberos sur Linux, vous devez installer le package (de poste de travail) client Kerberos.
Nom d'utilisateur et mot de passe (SASL/PLAIN) : Vous pouvez sélectionner cette option pour vous authentifier via un nom d'utilisateur et un mot de passe (SASL/PLAIN). Pour éviter que le mot de passe ne soit envoyé en texte clair, il est vivement recommandé d'activer également l'option Activer TLS.

Note Informations
Cette méthode d'authentification n'est pas disponible lorsque le Fournisseur cloud sélectionné est Amazon MSK.
Nom d'utilisateur et mot de passe (SASL/SCRAM-SHA-256) : Vous pouvez sélectionner cette option pour vous authentifier via un nom d'utilisateur et un mot de passe (SASL/SCRAM-SHA-256).

Notez que la sélection de cette option nécessite également que le fichier server.properties de chaque broker soit configuré avec le mécanisme SASL/SCRAM correspondant.

Note Informations
Cette méthode d'authentification n'est pas disponible lorsque le Fournisseur cloud sélectionné est Amazon MSK.
Nom d'utilisateur et mot de passe (SASL/SCRAM-SHA-512) : Vous pouvez sélectionner cette option pour vous authentifier via un nom d'utilisateur et un mot de passe (SASL/SCRAM-SHA-512).

Notez que la sélection de cette option nécessite également que le fichier server.properties de chaque broker soit configuré avec le mécanisme SASL/SCRAM correspondant.

Options SSL

Activer TLS (supporte TLS 1.0, 1.1 et 1.2)

Sélectionnez cette option pour chiffrer la communication entre Qlik Talend Cloud et le ou les serveurs de broker. Si les brokers sont configurés de sorte à demander SSL, vous devez sélectionner cette option.

Fichier CA : Accédez au certificat CA au format PEM. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.

Note Informations
Non nécessaire lorsque le Fournisseur de cloud sélectionné est Amazon MSK.

Publication du message de métadonnées

Le registre de schémas sera disponible pour la publication de messages de métadonnées

Dans la liste déroulante, sélectionnez l'une des options suivantes :

Non

Lorsque cette option est sélectionnée, seuls les messages de données seront publiés.

Registre de schémas Confluent

Si vous sélectionnez cette option, vous devez également configurer les Propriétés de connexion du registre de schémas décrites ci-dessous.

Les options Registre de schémas Confluent ne supportent que le format de message Avro.
Il est vivement recommandé de ne pas publier de messages de schéma dans le même topic que celui des messages de données.
Si les topics n'existent pas, configurez les brokers avec auto.create.topics.enable=true pour permettre à la tâche de données de créer les topics lors de l'exécution. Sinon, la tâche échouera.

Format de message

Sélectionnez JSON ou Avro comme format de message. Avro sera la seule option disponible si vous avez sélectionné Registre de schémas Confluent.

Propriétés de connexion du registre de schémas

Serveurs de registre de schémas

Spécifiez un ou plusieurs serveurs de registre de schémas via le format suivant (pour une haute disponibilité) :

Lors de la publication de schémas de données dans Registre de schémas Confluent :

server1:port1[,server2[:port2]]

192.168.1.100:8081,192.168.1.101:8081

La tâche de données se connectera au premier hôte disponible.

Lors de la publication de schémas de données dans Registre de schémas Hortonworks :

server1:port1[,server2[:port2]]

192.168.1.100:7788,192.168.1.101:7788

La tâche de données se connectera au premier hôte disponible.

Méthode d'Authentication

Sélectionnez l'une des options d'authentification de registre de schémas suivantes :

Aucune : Aucune authentification.
Kerberos : Sélectionnez cette option pour vous authentifier via Kerberos.

Note Informations
Pour pouvoir utiliser l'authentification Kerberos sur Linux, vous devez installer le package (de poste de travail) client Kerberos.

Principal : Principal Kerberos utilisé pour l'authentification auprès du registre de schémas.
Fichier keytab : Accédez au fichier keytab. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur n'importe quelle Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.

Certificat : Sélectionnez cette option pour vous authentifier via un certificat.

Note Informations
Cette option n'est supportée que lors de la publication dans le registre de schémas Confluent.

Si vous sélectionnez cette option, vous devez également fournir les informations suivantes :

Ficher de clé publique : Accédez au fichier de clé publique au format PEM. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.
Private key file : Accédez au fichier de clé privée au format PEM. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.
Mot de passe de la clé privée : Mot de passe du fichier de clé privée.

Nom d'utilisateur et mot de passe : Sélectionnez cette option pour vous authentifier via un nom d'utilisateur et un mot de passe. Saisissez ensuite vos informations d'identification de connexion dans les champs Nom d'utilisateur et Mot de passe, respectivement.

Note Informations
Cette option n'est supportée que lors de la publication dans le registre de schémas Confluent.
Certificat + Nom d'utilisateur et mot de passe : Sélectionnez cette option pour vous authentifier via un certificat et un nom d'utilisateur et un mot de passe.

Lorsque cette option est sélectionnée, saisissez les informations requises dans les champs Fichier de clé publique, Fichier de clé privée, Mot de passe de la clé privée, Nom d'utilisateur et Mot de passe décrits ci-dessus.

Note Informations
Cette option n'est supportée que lors de la publication dans le registre de schémas Confluent.
Activer TLS (supporte TLS 1.0, 1.1 et 1.2) : Sélectionnez cette option pour chiffrer les données entre le poste Passerelle de déplacement des données et le ou les serveurs de registre de schémas. Si les serveurs sont configurés de sorte à demander SSL, vous devez sélectionner cette option.
- Fichier CA : Accédez au certificat CA au format PEM. Lorsque vous cliquez sur Enregistrer, le fichier est chargé dans Qlik Talend Cloud et déployé sur la Passerelle de déplacement des données sélectionnée dans les paramètres de connecteur.

Propriétés internes

Les propriétés internes s'adressent à des cas d'utilisation spéciaux et ne sont par conséquent pas exposées dans la boîte de dialogue. Utilisez-les uniquement si Qlik Support vous le demande.

Utilisez les boutons Créer nouveau et Annuler à droite des champs pour ajouter ou supprimer des propriétés, suivant les besoins.

Nom

Nom d'affichage de la connexion.

Conditions préalables requises

Avant de pouvoir utiliser Kafka comme cible, il faut que les conditions préalables requises suivantes soient remplies :

Ouvrez les ports TCP sur tous les brokers depuis le poste Passerelle de déplacement des données.
Définissez des autorisations qui permettront à la tâche de données d'écrire dans les topics cibles. Une façon de procéder consiste à utiliser le script Kafka ACLs (kafka-acls).
Créez un topic nommé attrep_apply_exceptions avant de démarrer la tâche de données ou configurez les brokers avec auto.create.topics.enable=true.

Notez que si ce topic n'existe pas, la tâche échouera toujours lorsqu'elle rencontrera une erreur de données, quelle que soit la politique de traitement des erreurs.

Pour une description de la table de contrôle attrep_apply_exceptions, consultez Appliquer les exceptions.

Limitations et considérations générales

Lors de la définition d'une tâche avec Kafka comme connecteur cible, les limitations suivantes s'appliquent :

Paramètres de tâche non supportés :
- Le connecteur cible Kafka ne supporte pas la taille de LOB illimitée. Par conséquent, lors du déplacement de données depuis des tables sources avec des colonnes LOB, ne sélectionnez pas l'option Autoriser la taille de LOB illimitée.
- Le mode Stocker les modifications n'est pas supporté.
- Le mode Application avec optimisation par lots n'est pas supporté. Kafka fonctionne toujours en mode Application transactionnelle.
- Le paramètre Appliquer les modifications Ignorer ALTER n'est pas supporté pour les modifications des types de données sources et le renommage de table.
- L'option Abandonner et créer la table du champ Préparation de la table cible n'est pas supportée.
- L'option Tronquer avant de charger du champ Préparation de la table cible n'est pas supportée.
- La table de contrôle Modifier la partition de données n'est pas supportée.
Limitations générales :
- Les noms de topic Kafka ne peuvent pas contenir d'espaces ni dépasser 255 caractères (249 à partir de Kafka 0.10) et ne peuvent contenir que les caractères suivants :
  a-z|A-Z|0-9|. (point)|_(trait de soulignement)|-(moins)
  Si les noms de table source dépassent la longueur maximale autorisée ou contiennent des caractères non compatibles, vous devez soit modifier les noms avant de démarrer la tâche, soit définir une transformation globale.
- Les noms de colonne doivent commencer par [A-Za-z_] (lettres ou trait de soulignement) suivis de [A-Za-z0-9_] (lettres, chiffres ou trait de soulignement). Par exemple, _Test_ est un nom de colonne valide, tandis que &Test n'en est pas un.
  Si un nom de colonne source ne respecte pas cette règle, une transformation doit être utilisée pour renommer la colonne.
- L'abandon ou le renommage d'une table source n'est pas supporté.

Types de données

Le tableau suivant indique les types de données Kafka supportés lors de l'utilisation de Qlik Cloud et le mappage par défaut depuis les types de données Qlik Cloud.

Lors de l'utilisation du format de message JSON, les valeurs binaires sont représentées sous forme de chiffres hexadécimaux.

Mappage de données Kafka
Types de données Qlik Cloud	Types de données cibles Kafka dans les messages de schéma
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (longueur)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4 Note Informations Les valeurs supérieures à 2^31-1 ne sont pas supportées.	UINT4 (10)
UINT8 Note Informations Les valeurs supérieures à 2^63-1 ne sont pas supportées.	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (Longueur)
WSTRING	STRING (Longueur)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Mappage vers JSON et Avro

Le format de message Avro utilise des types logiques pour une représentation plus précise du type de données.

Les types de données Qlik Cloud ne seront mappés vers les types de données logiques Avro supportés que si la case Utiliser des types de données logiques pour des types de données spécifiques est cochée.

Mappage de types de données
Types de données Qlik Cloud	JSON	Types de données logiques Avro
DATE	STRING	DATE Annote un type INT Avro.
TIME	STRING	TIME-MILLIS Annote un type INT Avro.
TIMESTAMP	STRING	TIMESTAMP-MICROS Annote un type LONG Avro.
STRING	STRING	-
WSTRING	STRING	-
CLOB	STRING	-
NCLOB	STRING	-
NUMERIC	STRING	DECIMAL (p,s) Annote un type BYTES Avro.
BYTES	BYTES	-
BLOB	BYTES	-
REAL4	FLOAT	-
REAL8	DOUBLE	-
INT1	INT	-
INT2	INT	-
INT4	INT	-
UINT1	INT	-
UINT2	INT	-
UINT4	LONG	-
INT8	LONG	-
UINT8	STRING	DECIMAL (20,0) Annote un type BYTES Avro.
BOOLEAN	BOOLEAN	-

Utilisation de Confluent Cloud

La section suivante explique comment configurer le connecteur Kafka pour qu'il puisse fonctionner avec Confluent Cloud.

Créez un cluster dans Confluent Cloud.
Copiez la valeur de Serveur d'amorçage des paramètres du cluster dans le champ Serveurs de broker de l'onglet Général des paramètres de connecteur.
Dans les paramètres de connecteur, sélectionnez Nom d'utilisateur et mot de passe (SASL/PLAIN) dans la liste déroulante Méthode d'authentification.
Sur l'écran Accès à l'API de votre cluster Confluent, créez une paire de clés API.
Copiez la clé et le secret dans les champs Nom d'utilisateur et Mot de passe du connecteur Kafka, respectivement.
Dans les paramètres du connecteur Kafka, sélectionnez l'option Activer TLS et spécifiez le chemin d'accès complet au fichier CA dans le champ Chemin d'accès CA. Le fichier CA doit être créé conformément aux directives de Confluent et doit contenir l'autorité de certification (CA) qui signe tous les certificats Confluent Cloud ainsi que son signataire CA racine.

Vous devriez maintenant pouvoir utiliser Confluent Cloud.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici