Paramètres spécifiques aux composants pour le tKafkaInput

Le tableau suivant présente les fonctions et paramètres des scripts de Jobs que vous pouvez définir dans la fonction setSettings {} du composant.

Fonction/paramètre	Description	Obligatoire ?
OUTPUT_TYPE	Spécifiez le type de données à envoyer au composant suivant. `STRING` (par défaut) `BYTES` Généralement, il est recommandé de donner une valeur `STRING` à ce paramètre, car le tKafkaInput peut automatiquement traduire les messages Kafka byte[] en chaînes de caractères à traiter dans le Job. Cependant, si le format des messages Kafka n'est pas connu du tKafkaInput, comme Protobuf, vous pouvez utiliser le type `BYTES` et utiliser un composant de la famille Custom code, comme un tJavaRow, afin de désérialiser les messages en chaînes de caractères, pour que les autres composants du même Job puissent traiter ces messages.	Non
USE_EXISTING_CONNECTION	Configurez ce paramètre à `true` et spécifiez le nom du composant de connexion associé, à l'aide du paramètre `CONNECTION`, afin de réutiliser les informations de la connexion précédemment définie.	Non
KAFKA_VERSION	Spécifiez la version du cluster Kafka à utiliser. Les valeurs acceptées sont : `KAFKA_0_10_0_1` `KAFKA_0_9_0_1` `KAFKA_0_8_2_0`	Oui
ZOOKEEPER_CONNECT	Spécifiez l'adresse du service Zookeeper du cluster Kafka à utiliser, sous la forme de `"\"zk1:port1,zk2:port2,...\""`. Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.8.2.0.	Oui
BROKER_LIST	Spécifiez les adresses des nœuds de brokers du cluster Kafka à utiliser, au format `"\"host1:port1,host2:port2,...\""`. Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.	Oui
KAFKA_TOPIC	Spécifiez le nom du topic duquel ce composant reçoit le flux des messages.	Oui
GROUP_ID	Spécifiez le nom du groupe de consommateurs auquel vous souhaitez que le consommateur courant appartienne. Ce groupe de consommateurs sera créé lors de l'exécution s'il n'existe pas à ce moment.	Oui
RESET_OFFSET	Configurez ce paramètre à `true` afin de vider les offsets sauvegardés pour le groupe de consommateurs à utiliser, pour que ce groupe de consommateurs soit géré comme un nouveau groupe n'ayant consommé aucun message. Par défaut, ce paramètre est configuré à `false`.	Non
AUTO_OFFSET_RESET	Sélectionnez le point de départ duquel les messages d'un topic sont consommés. Les valeurs acceptées sont : `SMALLEST` `LARGEST` (par défaut) Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.8.2.0.	Non
AUTO_OFFSET_RESET_NEW	Sélectionnez le point de départ duquel les messages d'un topic sont consommés. Les valeurs acceptées sont : `EARLIEST` `LATEST` (par défaut) Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.	Non
KAFKA_OFFSET_STORAGE	Spécifiez le système dans lequel commiter les offsets des messages consommés. Les valeurs acceptées sont : `ZOOKEEPER` (par défaut) `KAFKA` Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.8.2.0.	Non
KAFKA_DUAL_COMMIT_CHECK	Configurez ce paramètre à `true` afin de commiter les messages dans Zookeeper et Kafka ; configurez-le à `false` pour commiter les messages uniquement dans Kafka. Par défaut, ce paramètre est configuré à `true`. Ce paramètre fonctionne uniquement lorsque le système de stockages des offsets est Kafka.	Non
AUTO_COMMIT_OFFSET	Configurez ce paramètre à `true` et utilisez le paramètre `KAFKA_COMMIT_INTERVAL` afin de spécifier un intervalle de temps à la fin duquel le tKafkaInput va sauvegarder automatiquement l'état de consommation. Par défaut, ce paramètre est configuré à `true` et l'intervalle de temps par défaut est de 5 000 millisecondes. Notez que les offsets sont commités seulement à la fin de chaque intervalle de temps. Si votre Job s'arrête au milieu d'un intervalle, l'état de la consommation du message durant cet intervalle n'est pas commité.	Non
USE_BATCH_MAX_DURATION	Configurez ce paramètre à `true` et utilisez le paramètre `BATCH_MAX_DURATION` afin de spécifier la durée (en millisecondes) à la fin de laquelle le composant tKafkaInput arrête son exécution. Par défaut, ce paramètre est configuré à `false` et la durée par défaut est de 600 000 millisecondes.	Non
USE_BATCH_MAX_SIZE	Configurez ce paramètre à `true` et utilisez le paramètre `BATCH_MAX_SIZE` afin de spécifier le nombre maximal de messages que doit recevoir le tKafkaInput avant qu'il arrête de s'exécuter. Par défaut, ce paramètre est configuré à `false` et le nombre maximal de messages reçus est 5 000.	Non
USE_BATCH_MESSAGE_TIMEOUT	Configurez ce paramètre à `true` et utilisez le paramètres `BATCH_MESSAGE_TIMEOUT` afin de spécifier le temps (en millisecondes) durant lequel le tKafkaInput doit attendre un nouveau message, avant d'arrêter son exécution. Par défaut, ce paramètre est configuré à `false` et le délai avant suspension par défaut est de 10 000 millisecondes.	Non
USE_HTTPS	Configurez ce paramètre à `true` pour activer le chiffrement SSL ou TLS de la connexion et utilisez le paramètre `HTTPS_SETTING` afin de spécifier quel composant tSetKeystore vous utilisez pour les informations de chiffrement. Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.	Non
USE_KRB	Si le cluster Kafka à utiliser utilise la sécurité Kerberos, configurez ce paramètre à `true` et utilisez les paramètres suivants afin de définir les informations relatives à la sécurité : `JAAS_CONF` : spécifiez le chemin d'accès au fichier de configuration JAAS à utiliser dans le Job pour vous authentifier à Kafka en tant que client. `KRB_SERVICE_NAME` : spécifiez la partie primaire du Principal Kerberos définie pour les brokers lors de la création du cluster de brokers. Par exemple, pour le Principal kafka/kafka1.hostname.com@EXAMPLE.COM, la valeur de ce paramètre est `kafka`. `SET_KINIT_PATH` : Kerberos utilise un chemin par défaut pour son exécutable kinit. Si vous avez modifié ce chemin, configurez ce paramètre à `true` et utilisez le paramètre `KINIT_PATH` afin de spécifier le chemin d'accès personnalisé. `SET_KRB5_CONF` : Kerberos utilise un chemin par défaut vers son fichier de configuration, krb5.conf (ou krb5.ini sous Windows) pour Kerberos 5, par exemple. Si vous avez modifié ce chemin, configurez ce paramètre à `true` et utilisez `KRB5_CONF` afin de spécifier le chemin d'accès personnalisé au fichier de configuration Kerberos. Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.	Non
KAFKA_CONSUMER_ PROPERTIES {}	Si vous devez utiliser une configuration client Kafka personnalisée, ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants afin de spécifier la (les) propriété(s) à personnaliser. Lors de l'exécution, la (les) propriété(s) personnalisée(s) écrase(nt) les propriétés correspondantes utilisées par le Studio. `PROPERTY` : saisissez le nom de la propriété. `VALUE` : saisissez la nouvelle valeur de la propriété.	Non
KAFKA_CONSUMER_TIMEOUT	Spécifiez la durée, en millisecondes, à la fin de laquelle vous souhaitez qu'une erreur liée à la suspension soit retournée si aucun message n'est disponible à la consommation. La valeur par défaut est `-1`, ce qui signifie qu'il n'y a pas de suspension définie.	Non
SAVE_OFFSET	Configurez ce paramètre à `true` pour écrire en sortie les offsets des messages consommés dans le composant suivant. Lorsque vous cochez cette case, une colonne en lecture seule, nommée offset est ajoutée au schéma.	Non
CUSTOM_ENCODING	Si vous rencontrez des erreurs d'encodage lors du traitement des données stockées, configurez ce paramètre à `true` et utilisez les paramètres suivants pour spécifier l'encodage correct : `ENCODING` `ENCODING:ENCODING_TYPE`	Non
TSTATCATCHER_STATS	Configurez ce paramètre à `true` pour rassembler les métadonnées de traitement au niveau du Job ainsi qu'un niveau des composants. Par défaut, ce paramètre est configuré à `false`.	Non
LABEL	Utilisez ce paramètre pour spécifier un libellé textuel pour le composant.	Non

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici