Paramètres généraux
Les tableaux suivants listent les paramètres configurables dans les propriétés de la distribution, sauf mention contraire. Ils peuvent être ajoutés dans la chaîne de caractères de connexion ou dans le fichier séparé de configuration du connecteur Kafka.
Pour plus d'informations, consultez https://docs.confluent.io/platform/current/clients/librdkafka/html/md_CONFIGURATION.html.
Les tableaux sont divisés en grandes catégories :
Pour assurer la livraison des données
Paramètre | Description |
---|---|
bootstrap.servers (paramètre dans le Manager : broker) |
Indique le nombre d'accusés de réception que le broker principal doit recevoir des brokers ISR (réplicas synchrones) avant de répondre à la requête : Par défaut, la valeur du paramètre est all (tous) (le processus attend que toute les réplicas synchrones aient reçu les données). |
Acks (paramètre dans le Manager : topic.acks ou topic.request.required.acks) |
Indique le nombre d'accusés de réception que le broker principal doit recevoir des brokers ISR (réplicas synchrones) avant de répondre à la requête : Par défaut, la valeur du paramètre est all (tous) (le processus attend que toute les réplicas synchrones aient reçu les données). |
En cas de problème de connexion au cluster Kafka
Paramètre | Description |
---|---|
Retries (Tentatives) (paramètre dans le Manager : retries (tentatives) ou message.send.max.retries) |
Indique le nombre de nouvelles tentatives d'envoi d'un message en échec. Note InformationsRemarque : Les nouvelles tentatives peuvent altérer l'ordre, sauf si le paramètre enable.idempotence est configuré à true.
Par défaut, le paramètre est configuré à 1000000. |
retry.backoff.ms (paramètre dans le Manager : retry.backoff.ms) |
Indique le temps d'attente initial avant de se reconnecter à un broker, une fois que la connexion est fermée. Par défaut, le paramètre est configuré à 100. |
Pour préserver l'ordre des messages
Paramètre | Description |
---|---|
max.in.flight.requests.per.connection (paramètre dans le Manager : max.in.flight.requests.per.connection ou max.in.flight) | Indique le nombre maximal de requêtes en cours par connexion au broker. Par défaut, le paramètre est configuré à 1000000. |
Pour des exécutions performantes
Paramètre | Description |
---|---|
batch.size |
Indique la taille maximale (en octets) de tous les messages regroupés en un lot (batched) dans un MessageSet. Note InformationsRemarque : Ce paramètre n'est pas configurable dans les propriétés de la distribution, mais d'autres paramètres sont disponibles et peuvent s'avérer équivalents :
|
linger.ms (paramètre dans le Manager : linger.ms ou queue.buffering.max.ms) |
Indique l'alias pour queue.buffering.max.ms : délai en millisecondes à attendre pour que les messages dans la file de production s'accumulent avant de construire les lots de messages (MessageSets) à transmettre aux brokers. Par défaut, le paramètre est configuré à 1000000. |
buffer.memory | Indique les octets totaux de mémoire que le producteur peut utiliser pour mettre en mémoire tampon (buffer) les enregistrements attendant d'être envoyés au serveur. Note InformationsRemarque : Ce paramètre n'est pas configurable dans les propriétés de la distribution, mais d'autres paramètres sont disponibles et peuvent s'avérer équivalents : Consultez batch.size.
|
Authentification et sécurité de la couche de transport
Paramètre | Description |
---|---|
security.protocol |
Protocole utilisé pour communiquer avec les brokers. Valeurs possibles : sasl_ssl , ssl, sasl_plaintext Exemple : security.protocol=sasl_ssl |
sasl.username | Identifiant SASL à utiliser avec les mécanismes PLAIN et SASL-SCRAM. |
sasl.password | Mot de passe SASL à utiliser avec les mécanismes PLAIN et SASL-SCRAM. |
sasl.mechanisms | Mécanisme SASL à utiliser pour l'authentification. Valeurs possibles : GSSAPI, PLAIN, SCRAM-SHA-256, SCRAM-SHA-512, OAUTHBEARER. Exemple : sasl.mechanisms=SCRAM-SHA-256 |
ssl.ca.location | Chemin d'accès vers le certificat d'Autorité de Certification pour vérifier la clé du broker. Exemple : ssl.ca.location=%P%ca-cert.cert %P% sera remplacé par le chemin DestinationPath\Data. |
Paramètres de Talend Change Data Capture
Paramètre | Description |
---|---|
config | cfg | cf |
Chemin d'accès au fichier de configuration. Les paramètres peuvent être placés dans un fichier de configuration. Exemple : config=%P%producer.config %P% correspond au chemin de données de Talend Change Data Capture : DestinationPath\Data. |
tkey | tk | Type de sérialisation de la clé. La clé est utilisée en interne par le connecteur Kafka de Talend Change Data Capture. |
codepage | cp | Fichier de conversion utilisé par la cible lorsque la source se trouve sur une machine AS/400 IBMi. |
tr | Permet de récupérer les métriques d'un topic pour chaque partition dans un fichier de log. Ce fichier est stocké dans le dossier .\DestinationPath\Data\Kafka\ et nommé REE_SSSMMM_statKfk.log. Les métriques sont sauvegardées uniquement lorsque la distribution est arrêtée. |
mode | md | Permet d'activer ou désactiver le script de modèle. 0= Script de modèle désactivé 1= Script de modèle activé 0 = valeur par défaut |