Accéder au contenu principal

Paramètres spécifiques aux composants pour le tKafkaInputAvro

Le tableau suivant présente les fonctions et paramètres des scripts de Jobs que vous pouvez définir dans la fonction setSettings {} du composant.

Fonction/paramètre Description Obligatoire ?

USE_EXISTING_CONNECTION

Configurez ce paramètre à true et spécifiez le nom du composant de connexion associé, à l'aide du paramètre CONNECTION, afin de réutiliser les informations de la connexion précédemment définie.

Non

BROKER_LIST

Spécifiez les adresses des nœuds de brokers du cluster Kafka à utiliser, au format "\"host1:port1,host2:port2,...\"".

Ce paramètre fonctionne uniquement lorsque la version du cluster Kafka est Kafka 0.9.2.1 ou supérieure.

Oui

AUTO_OFFSET_RESET

Sélectionnez le point de départ duquel les messages d'un topic sont consommés. Les valeurs acceptées sont :

  • SMALLEST
  • LARGEST (par défaut)

Non

KAFKA_TOPIC

Spécifiez le nom du topic duquel ce composant reçoit le flux des messages.

Oui

GROUP_ID

Spécifiez le nom du groupe de consommateurs auquel vous souhaitez que le consommateur courant appartienne.

Ce groupe de consommateurs sera créé lors de l'exécution s'il n'existe pas à ce moment.

Oui

KAFKA_MAX_RATE_PER_ PARTITION_CHECK

Si nécessaire, configurez ce paramètre à true et utilisez le paramètre KAFKA_MAX_RATE_PER_PARTITION afin de spécifier le nombre maximal de messages par lot à envoyer pour traitement.

Par défaut, ce paramètre est configuré à false, ce qui signifie que le composant essaye de lire tous les messages disponibles en une seconde dans un lot avant de l'envoyer, ce qui peut conduire le Job à arrêter de répondre, dans le cas d'une grande quantité de messages.

Non

USE_HTTPS

Configurez ce paramètre à true pour activer le chiffrement SSL ou TLS de la connexion et utilisez le paramètre HTTPS_SETTING afin de spécifier quel composant tSetKeystore vous utilisez pour les informations de chiffrement.

Non

USE_KRB

Si le cluster Kafka à utiliser utilise la sécurité Kerberos, configurez ce paramètre à true et utilisez les paramètres suivants afin de définir les informations relatives à la sécurité :

  • JAAS_CONF : spécifiez le chemin d'accès au fichier de configuration JAAS à utiliser dans le Job pour vous authentifier à Kafka en tant que client.

  • KRB_SERVICE_NAME : spécifiez la partie primaire du Principal Kerberos définie pour les brokers lors de la création du cluster de brokers.

    Par exemple, pour le Principal kafka/kafka1.hostname.com@EXAMPLE.COM, la valeur de ce paramètre est kafka.

  • SET_KINIT_PATH : Kerberos utilise un chemin par défaut pour son exécutable kinit. Si vous avez modifié ce chemin, configurez ce paramètre à true et utilisez le paramètre KINIT_PATH afin de spécifier le chemin d'accès personnalisé.

  • SET_KRB5_CONF : Kerberos utilise un chemin par défaut vers son fichier de configuration, krb5.conf (ou krb5.ini sous Windows) pour Kerberos 5, par exemple. Si vous avez modifié ce chemin, configurez ce paramètre à true et utilisez KRB5_CONF afin de spécifier le chemin d'accès personnalisé au fichier de configuration Kerberos.

Non

KAFKA_CONSUMER_ PROPERTIES {}

Si vous devez utiliser une configuration client Kafka personnalisée, ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants afin de spécifier la (les) propriété(s) à personnaliser. Lors de l'exécution, la (les) propriété(s) personnalisée(s) écrase(nt) les propriétés correspondantes utilisées par le Studio.

  • PROPERTY : saisissez le nom de la propriété.
  • VALUE : saisissez la nouvelle valeur de la propriété.

Non

USE_HIERARCHICAL

Configurez ce paramètre à true afin de mapper le schéma Avro binaire spécifié (y compris hiérarchique) au schéma plat défini dans le schéma du composant courant. Si le message Avro à traiter est plat, configurez ce paramètre à false (par défaut). Lorsque ce paramètre est configuré à true, vous devez spécifier le fichier du schéma Avro et définir les mappings.

  • SCHEMA_FILENAME : spécifiez le fichier définissant le schéma des données Avro à traiter.
  • MAPPING {} : ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants afin de définir les mappings entre les colonnes du schéma du composant courant et les données stockées dans le message Avro hiérarchique à gérer :
    • SCHEMA_COLUMN : spécifiez la colonne du schéma.
    • NODE_PATH : spécifiez le chemin JSON pointant vers les données à lire depuis le message Avro.

Non

LABEL

Utilisez ce paramètre pour spécifier un libellé textuel pour le composant.

Non

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici