Propriétés du tApacheKuduOutput Standard

Property type

Peut être Built-In ou Repository.

Built-In : aucune propriété n'est stockée de manière centrale.

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Master addresses

Cliquez sur le bouton [+] au bas du champ pour ajouter et configurer les adresses maître.

• Master node host name : Saisissez l'adresse IP ou le nom d'hôte identifiant le nœud maître du cluster Apache Kudu.
• Master node port : Saisissez le port associé au nœud maître du cluster Apache Kudu.

Pour ajouter plusieurs nœuds maître du même cluster Apache Kudu, ajoutez-les dans des lignes séparées.

Table name (Nom de table)

Saisissez le nom de la table Apache Kudu dans laquelle écrire les données. Vous pouvez également sélectionner le nom de la table Apache Kudu en cliquant sur le bouton [...] à côté de ce champ.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

• Built-in : le schéma est créé et conservé localement pour ce composant seulement.

• Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

  Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Write operation

Spécifiez l'opération à effectuer. Actuellement, ce composant insère des données uniquement dans des tables Apache Kudu.

Create if not exist

Sélectionnez cette option pour créer la table si la table spécifiée dans le champ Table name n'existe pas.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Max batch size

Spécifiez le nombre maximal de lignes à traiter dans chaque lot.

Set primary key(s) (Configurer la·es clé·s primaire·s)

Sélectionnez cette option pour ajouter manuellement des clés primaires. Si cette option n'est pas sélectionnée, le premier champ est utilisé comme clé primaire.

Si vous créez une table, la clé primaire que vous définissez ne peut être modifiée une fois la table créée.

Generate default partitioning

Sélectionnez cette option pour générer les partitions par défaut lors de l'insertion de données.

Cette option est disponible lorsque l'option Create if not exist est sélectionnée dans la vue Basic settings.

Hash partitioning columns

Cliquez sur le bouton [+] en bas de la zone pour ajouter des colonnes basées sur les lignes partitionnées-hachées. Les colonnes spécifiées doivent exister dans les données et avoir été définies dans le schéma.

Par défaut, les nouvelles tables sont partitionnées. Il est recommandé de définir la manière dont vous souhaitez partitionner les nouvelles tables. Consultez Hash partitioning (en anglais) pour plus d'informations.

Ce champ est disponible lorsque l'option Create if not exist est sélectionnée dans la vue Basic settings et que l'option Generate default partitioning n'est pas sélectionnée.

Bucket number

Saisissez le nombre de buckets utilisés pour stocker les partitions. Les buckets sont créés à la volée.

Lors de l'exécution, les lignes sont distribuées par valeurs hachées, comme spécifié dans le champ Hash partitioning columns dans l'un des buckets. Si vous laissez vide le champ Hash partitioning columns, le partitionnement par hachage n'est pas appliqué durant la création de la table.

Ce champ est disponible lorsque l'option Create if not exist est sélectionnée dans la vue Basic settings.

Consultez Hash partitioning pour plus d'informations.

Variables globales

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez Utiliser les contextes et les variables.

Règle d'utilisation

Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée.