Paramètres spécifiques aux composants pour le tPartition

NBPARTITIONS

Définissez en combien de partitions vous souhaitez diviser le jeu de données d'entrée.

La valeur par défaut est 4.

Non

PARTITION_KEY {}

Ajoutez dans cette fonction un ou plusieurs jeu(x) des paramètres suivants afin de définir la (les) clé(s) à utiliser pour le partitionnement.

• SCHEMA_COLUMN : spécifiez une colonne du schéma.
• KEY_ATTRIBUTE : configurez ce paramètre à true pour utiliser la colonne spécifiée du schéma en tant que clé du partitionnement.

Oui

CUSTOMPARTITIONER

Configurez ce paramètre à true pour utiliser un partitionner Spark à importer de l'extérieur du Studio. Dans cette situation, vous devez fournir les informations suivantes :

• PARTITIONER_FQCN : saisissez le nom de classe entièrement qualifié du partitionner à importer.
• PARTITIONER_JAR {} : ajoutez dans cette fonction un ou plusieurs paramètre(s) JAR_NAME afin de spécifier le(s) fichier(s) Jar contenant la classe spécifiée et ses fichiers Jar dépendants à importer.

Non

SORTINPARTITION

Configurez ce paramètre à true pour trier les enregistrements au sein de chaque partition. Utilisez le paramètre COMPARATOR pour définir le type de tri.

Les valeurs acceptées pour le paramètre COMPARATOR sont :

• NATURALORDER : les clés sont triées dans leur ordre naturel, par exemple dans l'ordre alphabétique.
• CUSTOMCOMPARATOR : permet d'utiliser un programme personnalisé pour trier les clés. Utilisez le paramètre COMPARATOR_FQCN le nom de classe entièrement qualifié du comparateur utilisé à importer et utilisez le paramètre JAR_NAME pour ajouter les fichiers Jar à charger.

Non

LABEL

Utilisez ce paramètre pour spécifier un libellé textuel pour le composant.

Non