Propriétés du cKafka Standard

Ces propriétés sont utilisées pour configurer le cKafka s'exécutant dans le framework de Jobs Standard.

Le composant cKafka Standard appartient à la famille Connectivity.

Basic settings

Broker list	Spécifiez la liste des brokers de messages Kafka, sous la forme suivante hostname1:port1,hostname2:port2,hostname3:port3.
Client Id	Spécifiez une chaîne de caractères d'ID du client à passer au serveur lors de requêtes.
Topic	Saisissez un nom pour le topic du message dans le broker de messages.
GroupId	Saisissez l'ID du groupe de clusters Kafka Connect.
Les options suivantes sont seulement disponibles lorsque le cKafka est utilisé en tant que producteur :
Partitioner	Saisissez le partitionneur qui détermine comment les données sont distribuées dans le cluster Kafka.
Serializer Class	Saisissez le nom de la classe du sérialiseur à utiliser.
Key Serializer Class	Saisissez le nom de la classe du sérialiseur de clé à utiliser.
Send Buffer (bytes)	Taille de la mémoire tampon d'envoi TCP à utiliser pour envoyer des données.
Request Required Acks	Spécifiez si le producteur attend une confirmation de la réception du message de la part du broker en saisissant : 0, qui signifie que le producteur n'attend jamais la confirmation du broker 1, qui signifie que le producteur reçoit une confirmation après que le Replica du leader a reçu les données -1 ou all, qui signifie que le producteur reçoit une confirmation après que tous les Replicas synchronisés ont reçu les données.
Request Timeout (ms)	Spécifiez, en millisecondes, la période de temps maximale durant laquelle le client attend la réponse d'une requête. Si la réponse n'est pas reçue avant la fin du délai de suspension, le client devra renvoyer la requête si nécessaire ou faire échouer la requête si le nombre de tentatives est épuisé.
Compression Codec	Sélectionnez le type de compression : NONE, GZIP, SNAPPY ou LZ4.
Buffer Memory Size	Spécifiez les octets totaux de mémoire que le producteur peut utiliser pour mettre en mémoire tampon les enregistrements attendant d'être envoyés au serveur. Si les enregistrements sont envoyés plus rapidement qu'ils ne peuvent être livrés au serveur, le producteur attend durant la période spécifiée dans le champ Max Block (ms), après quoi il retourne une exception.
Retries	Spécifiez une valeur supérieure à 0 pour que le client envoie à nouveau tout enregistrement dont l'envoi a échoué, avec une erreur potentiellement passagère.
Retry Backoff (ms)	Spécifiez la durée d'attente avant une nouvelle tentative d'une requête échouée, dans une partition de topic donnée. Cela évite la création d'une boucle d'échec de la requête.
Batch Size	Le producteur tente de grouper par lots des enregistrements en de moins nombreuses requêtes lorsque de multiples enregistrements sont envoyés à la même partition. Cela améliore les performances du côté serveur et du côté client. Spécifiez la taille par défaut des lots, en octets, dans ce champ.
Connection Idle Max (ms)	Spécifiez la période, en millisecondes, après laquelle fermer les connexions inactives.
Linger (ms)	Spécifiez, en millisecondes, la période de temps durant laquelle le producteur doit attendre pour grouper les enregistrements qui arrivent en une requête de lot, afin de réduire le nombre de requêtes. Notez que, si le producteur a reçu le nombre d’enregistrements spécifié dans le champ Batch Size, il envoie immédiatement les enregistrements, quelle que soit la valeur spécifiée dans ce paramètre.
Max Block (ms)	Spécifiez la période de temps maximale durant laquelle le producteur doit attendre, car la mémoire tampon est pleine ou parce que les métadonnées sont indisponibles.
Max Request Size	Spécifiez la taille maximale d'une requête, en octets. Ce paramètre limite le nombre de lots d'enregistrements que le producteur envoie en une seule requête, afin d'éviter l'envoi de requêtes très volumineuses.
Receive Buffer (bytes)	Spécifiez la mémoire tampon de réception TCP à utiliser lors de la lecture des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.
Max in Flight Request	Spécifiez le nombre maximal de requêtes sans accusé de réception que le client va envoyer en une seule connexion avant de bloquer. Notez que, si la valeur de ce paramètre est supérieure à 1 et que des envois échouent, les messages risquent d'être réordonnés, à cause des nouvelles tentatives, si elles sont autorisées.
Metadata Max Age (ms)	Spécifiez la durée en millisecondes après laquelle un rafraîchissement des métadonnées aura lieu, même s'il n'y a aucun changement de leadership de partition pour découvrir de nouveaux brokers ou de nouvelles partitions.
Reconnect Backoff (ms)	Spécifiez la durée en millisecondes à attendre avant de tenter une reconnexion à un hôte donné. Cela évite les tentatives de connexion à un hôte en boucle.
Les options suivantes sont seulement disponibles lorsque le cKafka est utilisé en tant que consommateur :
Send Buffer (bytes)	Spécifiez la mémoire tampon d'envoi TCP à utiliser lors de l'envoi des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.
Retry Backoff (ms)	Spécifiez la durée d'attente avant une nouvelle tentative d'une requête échouée, dans une partition de topic donnée. Cela évite la création d'une boucle d'échec de la requête.
Connection Idle Max (ms)	Spécifiez la période, en millisecondes, après laquelle fermer les connexions inactives.
Receive Buffer (bytes)	Spécifiez la mémoire tampon de réception TCP à utiliser lors de la lecture des données. Si la valeur est -1, la valeur par défaut du système d'exploitation est utilisée.
Metadata Max Age (ms)	Spécifiez la durée en millisecondes après laquelle un rafraîchissement des métadonnées aura lieu, même s'il n'y a aucun changement de leadership de partition pour découvrir de nouveaux brokers ou de nouvelles partitions.
Reconnect Backoff (ms)	Spécifiez la durée en millisecondes à attendre avant de tenter une reconnexion à un hôte donné. Cela évite les tentatives de connexion à un hôte en boucle.
Barrier Await Timeout (ms)	Spécifiez la durée en millisecondes pendant laquelle la tâche de consommateur de lots attend si l'échange de messages excède la taille des lots. La valeur par défaut est 10000.
Auto Commit Enable	Cochez cette case pour commiter périodiquement l'offset de messages, en tâche de fond. Spécifiez la fréquence en millisecondes dans le champ Auto Commit Interval (ms) à laquelle les offsets consommateurs sont commités dans Kafka.
Fetch Min (bytes)	Spécifiez la quantité minimale de données en octets que le serveur doit retourner pour une requête de récupération. S'il n'y a pas assez de données disponibles, la requête attendra que la quantité de données nécessaire soit disponible avant de répondre à la requête. La valeur par défaut est 1 octet, ce qui signifie que les requêtes récupérées obtiennent une réponse dès qu'un seul octet de données est disponible ou si la requête de récupération est suspendue lors de l'attente des données. Paramétrer une valeur supérieure à 1 permet au serveur d'attendre l'accumulation de plus gros volumes de données, ce qui améliore légèrement le débit du serveur, au prix d'une latence légèrement plus élevée.
Fetch Wait Max (ms)	Spécifiez la durée maximale en millisecondes pendant laquelle le serveur sera bloqué avant de répondre à la requête de récupération s'il n'y a pas assez de données immédiatement disponibles pour correspondre à la valeur du champ Fetch Min (bytes).
Auto Offset Reset	Sélectionnez la procédure à exécuter lorsqu'il n'y a pas d'offset initial dans Kafka ou si l'offset courant n'existe plus sur le serveur : EARLIEST : réinitialiser automatiquement l'offset au plus ancien ; LATEST : réinitialiser automatiquement l'offset au plus récent ; NONE : retourner une exception au consommateur si aucun offset précédent n'est trouvé pour le groupe de consommateurs.
Heartbeat Interval (ms)	Spécifiez le temps attendu, en millisecondes, entre les signaux envoyés au coordinateur de consommateurs lors de l'utilisation de la gestion de groupes Kafka. Les signaux sont utilisés pour assurer que la session du consommateur reste active, ainsi que pour faciliter la redistribution lorsque de nouveaux consommateurs joignent ou quittent le groupe. Cette valeur doit être paramétrée pour être inférieure à la valeur de Session Timeout (ms), mais ne doit généralement pas dépasser `1/3` de cette valeur. Elle peut être configurée à une valeur encore plus basse, afin de contrôler le temps attendu pour les redistributions normales.
Maximum Partition Fetch (bytes)	Spécifiez en octets la quantité maximale de données par partition à retourner par le serveur. Si le premier message de la première partition non vide de la récupération dépasse cette limite, le message sera tout de même retourné pour assurer la progression du consommateur.
Session Timeout (ms)	Spécifiez le délai avant expiration, en millisecondes, utilisé pour détecter les échecs des consommateurs lors de l'utilisation de la gestion de groupes Kafka. Le consommateur envoie un signal périodique pour indiquer sa vivacité au broker. Si aucun signal n'est reçu par le broker avant l'expiration de la suspension de cette session, le broker va supprimer ce consommateur du groupe et initialiser une redistribution.
Partition Assignor	Spécifiez le nom de la classe de la stratégie d'attribution de partitions que le client utilise pour distribuer la propriété des partitions parmi les instances consommatrices, lorsque la gestion de groupes est utilisée.
Request Timeout (ms)	Spécifiez, en millisecondes, la période de temps maximale durant laquelle le client attend la réponse d'une requête. Si la réponse n'est pas reçue avant la fin du délai de suspension, le client devra renvoyer la requête si nécessaire ou faire échouer la requête si le nombre de tentatives est épuisé.

Advanced settings

Kafka properties	Configurez les arguments facultatifs dans la table correspondante. Cliquez sur le bouton [+] autant de fois que nécessaire afin d'ajouter les arguments au tableau. Cliquez sur le champ de la valeur correspondante et saisissez une valeur. Consultez le site http://kafka.apache.org/documentation.html (uniquement en anglais) (en anglais) pour connaître les options disponibles.
SSL Key Password	Cliquez sur le bouton [...] et saisissez le mot de passe de la clé privée dans le fichier KeyStore, entre guillemets doubles.
SSL Keystore Location	Saisissez l'emplacement du fichier KeyStore.
SSL Keystore Password	Cliquez sur le bouton [...] et saisissez le mot de passe du fichier KeyStore, entre guillemets doubles. Cela est nécessaire uniquement si l'option SSL Keystore Location est configurée.
SSL Truststore Location	Saisissez l'emplacement du fichier TrustStore.
SSL Truststore Password	Cliquez sur le bouton [...] et saisissez le mot de passe, entre guillemets doubles, pour le fichier TrustStore.
SSL Cipher Suits	Saisissez la liste des suites cryptographiques. C'est une combinaison nommée d'authentification, chiffrement, MAC et algorithme d'échange de clés, utilisée pour négocier les paramètres de sécurité pour une connexion réseau utilisant un protocole TLS ou SSL. Par défaut, toutes les suites cryptographiques sont supportées.
SSL Endpoint Algorithm	Saisissez l'algorithme d'identification de l'endpoint pour valider le nom d'hôte du serveur à l'aide du certificat du serveur.
Kerberos Service Name	Saisissez le nom du Principal Kerberos que Kafka utilise pour s'exécuter.
Security Protocol	Sélectionnez le protocole à utiliser pour communiquer avec les brokers : Plaintext, SSL, SASL over Plaintext ou SASL over SSL.

Utilisation

Règle d'utilisation	Le cKafka est utilisé comme composant de départ, intermédiaire ou de fin dans une Route.
Limitation	n/a

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici