Liste de fonctions
Ces tableaux listent toutes les fonctions disponibles dans Talend Data Preparation, ainsi que leurs effets.
Appliquer l'une des fonctions listées ci-dessous, à l'exception des fonctions Math, retourne la valeur d'entrée si les données sont considérées comme invalides ou si le type de données est incompatible avec la fonction sélectionnée, que la case Create new column soit cochée ou non.
Dans le cas de fonctions Math, les valeurs vides sont ignorées, tandis que les valeurs invalides conduisent à un résultat vide lorsque la fonction est appliquée.
Note InformationsRemarque :
Les fonctions suivantes, basées sur des algorithmes de rapprochement, ne supportent pas les caractères asiatiques :
- Standardize value (fuzzy matching)
- Find and group similar Text
Fonctions pouvant s'utiliser sur des lignes
| Nom | Catégorie | Description |
|---|---|---|
| Delete row | data cleansing | Supprime cette ligne. |
| Make as header | data cleansing | Les cellules de cette ligne deviendront des noms de colonnes, les lignes seront supprimées. |
Fonctions pouvant s'utiliser sur des colonnes
| Nom | Catégorie | Description |
|---|---|---|
| Negate value | boolean | Inverse la valeur des booléens des cellules de cette colonne. |
| Change data type | column metadata | Modifie le type de cette colonne (nombres, texte, date, etc.). |
| Change semantic domain | column metadata | Modifie le domaine sémantique de cette colonne (ville, code postal, nom de famille, etc.). |
| Create new column | column metadata | Copie une colonne ou en crée une nouvelle. Note InformationsRemarque : Utilisée avec l'option Sequence mode, cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
|
| Delete column (Supprimer la colonne) | column metadata | Supprime les colonnes sélectionnées. |
| Duplicate column (Dupliquer la colonne) | column metadata | Crée une copie exacte de cette colonne. |
| Rename column (Renommer la colonne) | column metadata | Renomme cette colonne. |
| Concatenate columns | columns | Fusionne le contenu de plusieurs colonnes en une nouvelle. |
| Concatenate with | columns | Fusionne le contenu de cette colonne et d'une autre et affiche le résultat dans une nouvelle colonne. |
| Reorder columns | columns | Modifie l'ordre des colonnes. |
| Swap columns | columns | Intervertit les valeurs avec celle d'une autre colonne. |
| Convert country names and codes | conversions | Convertit un nom de pays en un code de pays ISO-3166 (alpha-2, alpha-3 ou numérique) ou vice-versa. Cette fonction supporte les noms et codes anglais, français et japonais. |
| Convert distance | conversions | Convertit les unités de mesure de distance. |
| Convert duration | conversions | Convertit la durée d'une unité à une autre. |
| Convert temperature | conversions | Convertit les unités de mesure de températures |
| Clear on matching value | data cleansing | Vide les cellules correspondant à la valeur. |
| Clear the cells with invalid values | data cleansing | Vide les cellules contenant une valeur reconnue comme invalide. |
| Coalescer les colonnes | data cleansing | Récupère la première valeur non nulle de chaque ligne parmi les colonnes sélectionnées |
| Suppression des lignes vides | data cleansing | Supprime les lignes pour lesquelles les cellules de chaque colonne sont vides. |
| Delete the rows that match | data cleansing | Supprime les lignes dans lesquelles une cellule de cette colonne a une valeur spécifique. |
| Delete the rows with empty cell | data cleansing | Supprime les lignes ayant au moins une cellule vide. |
| Delete the rows with invalid cell | data cleansing | Supprime les lignes contenant une cellule invalide. |
| Delete the rows with negative values | data cleansing | Supprime les lignes ayant une valeur négative dans cette colonne. |
| Fill cells with value | data cleansing | Remplit les cellules de cette colonne avec une valeur donnée. |
| Fill empty cells from above | data cleansing | Copie la valeur de la cellule non vide du dessus la plus proche. Dans le cas d'une série de cellules vides, elles seront toutes remplies avec la même valeur d'origine sélectionnée au dessus. Note InformationsRemarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
|
| Fill empty cells with text | data cleansing | Remplit les cellules vides de cette colonne avec une valeur donnée. |
| Fill empty cells with value | data cleansing | Remplit les cellules de cette colonne avec une valeur donnée. |
| Standardize value (fuzzy matching) | data cleansing | Remplace les données invalides avec la valeur correcte la plus proche contenu dans un dictionnaire de valeurs. Note InformationsRemarque : Cette fonction ne supporte pas les caractères asiatiques.
|
| Hash data | data masking | Hache le contenu d’une colonne avec l’algorithme SHA-256. |
| Mask data (obfuscation) | data masking | Masque les données selon le domaine d'informations de la colonne (anonymisation). |
| Lookup | data blending | Mélange les colonnes d'un autre jeu de données dans celui-ci. |
| Calculate time since | dates | Calcule le temps écoulé depuis une date avec l'unité souhaitée (année, mois, jour, heure, minute, seconde). |
| Calculate timestamp to date | dates | Avec un horodatage donné, (temps écoulé en secondes depuis l'heure Unix, autrement dit le 01/01/1970), crée une nouvelle colonne avec la date. |
| Change date format | dates | Modifie le format de date à utiliser dans une colonne de date. |
| Compare dates | dates | Compare cette colonne à une autre colonne ou à une constante. |
| Convert dates | dates | Convertit des dates d'un calendrier à un autre. |
| Extract date parts | dates | Crée des colonnes avec les années, mois, trimestres, jours, heures, minutes, secondes, etc. |
| Modify dates | dates | Ajoute ou soustrait une durée d'une unité de temps. |
| Deduplicate rows with identical values | dédoublonnage | Supprime les lignes partiellement ou entièrement dupliquées et conserve la première de la colonne. Note InformationsRemarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
|
| Delete these filtered rows | filtered | Supprime uniquement les lignes correspondant aux filtres. |
| Keep these filtered rows | filtered | Conserve uniquement les lignes correspondant aux filtres. |
| Add, multiply, substract or divide | math | Effectue une opération/un calcul sur cette colonne avec une autre colonne ou une valeur fixe : Add/sum (+) (Ajout/somme), multiply (x) (multiplication), subtract (-) (soustraction), ou divide (/) (division) |
| Base 10 logarithm | math | Calcule le logarithme de base 10 d'une colonne. |
| Calculate absolute value | math | Calcule la valeur absolue de toutes les valeurs numériques de cette colonne. |
| Cosine | math | Calcule le cosinus trigonométrique d'une colonne. |
| Exponential | math | Exponentielle d'un nombre d'une colonne. |
| Max | math | Rehausse les valeurs inférieures à une constante ou aux valeurs d'une autre colonne, jusqu'à cette constante ou valeur. |
| Max of columns | math | Affiche la valeur maximale entre les enregistrements de plusieurs colonnes. |
| Mean of columns | math | Calcule la valeur moyenne des enregistrements de plusieurs colonnes. |
| Median of columns | math | Calcule la valeur moyenne des enregistrements de plusieurs colonnes. |
| Min | math | Rabaisse les valeurs supérieures à une constante ou aux valeurs d'une autre colonne, jusqu'à cette constante ou valeur. |
| Min of columns | math | Affiche la valeur minimale entre les enregistrements de plusieurs colonnes. |
| Modulo | math | Calcule le reste d'une division. |
| Multiply columns | math | Multiplie les valeurs de plusieurs colonnes et affiche le résultat dans une nouvelle colonne. |
| Natural logarithm | math | Calcule le logarithme naturel d'une colonne. |
| Negate | math | Calcule l'opposé d'un nombre dans une colonne |
| Power | math | Élève à la puissance un nombre d'une colonne avec une constante ou une autre colonne. |
| Sine | math | Calcule le sinus trigonométrique d'une colonne. |
| Square root | math | Calcule la racine carrée d'un nombre dans une colonne. |
| Sum columns | math | Calcule la somme des enregistrements de plusieurs colonnes et affiche le résultat dans une nouvelle colonne |
| Tangent | math | Calcule la tangente trigonométrique d'une colonne. |
| Compare numbers | numbers | Compare cette colonne à une autre colonne ou à une constante. |
| Format numbers | numbers | Permet de formater les nombres (décimaux, entiers et scientifiques) dans un format ou modèle spécifique. |
| Generate sequence | numbers | Crée une séquence d'entiers positifs ou négatifs dans une colonne, avec le pas de votre choix. Note InformationsRemarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
|
| Remove fractional part | numbers | Arrondit vers zéro (3,74 -> 3 et -3,74 -> -3). |
| Remove negative values | numbers | Remplace les valeurs numériques (entières ou décimales) négatives par une valeur vide |
| Round value using ceil mode | numbers | Arrondit au chiffre supérieur, en fonction de la valeur choisie dans le champ Precision (3.14 -> 4 pour une valeur de Precision de 0, et 3.14 -> 3.2 pour une valeur de Precision de 1 ). |
| Round value using down mode | numbers | Arrondit vers zéro (3,74 -> 3 et -3,74 -> -3 pour une valeur de Precision de 0). |
| Round Value using floor mode | numbers | Arrondit au chiffre inférieur, en fonction de la valeur choisie dans le champ Precision (3.74 -> 3 pour une valeur de Precision de 0, and 3.74 -> 3.7 pour une valeur de Precision de 1 ). |
| Round Value using halfUp mode | numbers | Arrondit la valeur à l'entier le plus proche, en fonction de la valeur choisie dans le champ Precision (3,14 -> 3 et 3,74 -> 4 pour une valeur de Precision de 0). |
| Extract phone number information | phones | Extrait des informations supplémentaires à partir des numéros de téléphone, comme le type de téléphone, le pays ou le nom de l’opérateur. Chaque champ est extrait dans une nouvelle colonne. |
| Format phone number | phones | Formate un numéro de téléphone au format sélectionné. |
| Extraire des parties d'adresses e-mail | split | Extrait les parties locale et de domaine d'une adresse e-mail. |
| Extraire des parties de noms complets | split | Extrait des informations à partir d'un nom complet, y compris le titre, le prénom, le surnom, le deuxième prénom, le nom et le suffixe. |
| Extract number | split | Extrait un nombre de l'entrée. |
| Extraire des valeurs par regex | split | Extrait des jetons de chaînes de caractères à partir de groupes de regex. |
| Extraire des valeurs par type sémantique | split | Extrait diverses informations dans des colonnes séparées selon des types sémantiques prédéfinis ou personnalisés |
| Extraire des parties des adresses e-mail | split | Extrait le protocole, l'hôte, le port, la requête, etc. d'une URL dans des colonnes séparées. |
| Split the text in parts | split | Divise les colonnes à partir des séparateurs. |
| Calculate length | strings | Extrait le nombre de chiffres d'une valeur (23562 -> 5). |
| Change to lower Case | strings | Convertit tout le texte des cellules de cette colonne en minuscules. |
| Change to title case | strings | Convertit le contenu du texte de cette colonne en casse de titre (par exemple. "this is an example" -> "This Is an Example"). |
| Change to upper case | strings | Convertit tout le texte des cellules de cette colonne en majuscules. |
| Contains text | strings | Vérifie si la cellule contient la valeur spécifiée. |
| Extraire une valeur par index | strings | Extrait des parties du texte (sous-chaîne de caractères) dans une nouvelle colonne |
| Remplir par magie | strings | Permet de définir un modèle via des exemples et d'appliquer la transformation à la colonne entière. Note InformationsRemarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
|
| Match similar text | strings | Crée une nouvelle colonne avec true ou false si la valeur est inférieure ou égale à la distance de Levenshtein d'une valeur donnée. |
| Matches pattern | strings | Crée une nouvelle colonne avec true ou false si la valeur correspond ou non à un modèle donné. |
| Remove consecutive characters | strings | Supprime les caractères consécutifs répétés. |
| Remove part of the text | strings | Supprime le texte spécifié des cellules de cette colonne. |
| Remove trailing and leading characters | strings | Supprime les espaces, ou autre caractère spécifié, situé en début et fin de champ. |
| Search and replace | strings | Remplace les cellules, ou parties de cellules ayant une valeur spécifique. |
| Ajoute des caractères supplémentaires. | strings advanced | Ajoute des caractères supplémentaires (de remplissage) à gauche ou à droite de la valeur originale afin de correspondre à une taille attendue. |
| Convert character width | strings advanced | Convertit la chasse des caractères à pleine ou moyenne chasse, ou normalise les chaînes de caractères. |
| Find and group similar Text | strings advanced | Remplace toutes les valeurs similaires par la valeur correcte (mise en cluster des termes approximativement semblables). Note InformationsRemarque : Cette fonction ne supporte pas les caractères asiatiques.
|
| Generate unique identifier (UUID) | strings advanced | Génère un identifiant unique pour chaque ligne de la colonne. |
| Remove all non alpha numeric characters | strings advanced | Nettoie les valeurs qui contiennent des caractères inattendus en supprimant les caractères qui ne sont pas 0-9, Aa-Zz et les lettres accentuées. Les espaces blancs inutiles ne sont pas supprimés. Par exemple, T=+Âl**€en#d$ 20%1,7 devient TÂlend 2017. |
| Remove all non numeric characters | strings advanced | Nettoie les valeurs numériques en supprimant les caractères qui ne sont pas 0-9. Les séparateurs décimaux et les espaces blancs sont conservés. Par exemple, T=+Âl**€en#d$ 20%1,7 devient 201,7. |
| Simplifie le texte (supprime la casse, les accents, etc.) | strings advanced | Simplifie le contenu d'une colonne en le mettant en minuscules, supprimant les accents, normalisant à l'aide de NKFD, divisant les caractères combinés et supprimant les caractères blancs de la chaîne. Par exemple, François devient francois. |
Fonctions pouvant s'utiliser sur la grille
| Nom | Catégorie | Description |
|---|---|---|
| Delete empty rows | data cleansing | Supprime toutes les colonnes qui contiennent uniquement des valeurs vides |
| Suppression des lignes vides | data cleansing | Supprime les lignes pour lesquelles les cellules de chaque colonne sont vides. |
| Change date format | dates | Modifie le format de date à utiliser dans une colonne de données. |
| Remove duplicate rows | dédoublonnage | Supprime les lignes qui sont des doublons exacts pour n'en conserver qu'un seul exemplaire. Note InformationsRemarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
|
| Format numbers | numbers | Permet de formater les nombres (décimaux, entiers et scientifiques) dans un format ou modèle spécifique. |
| Format phone number | phones | Formate un numéro de téléphone au format sélectionné. |
| Remove trailing and leading characters | strings | Supprime les espaces, ou autre caractère spécifié, situé en début et fin de champ. |
| Search and replace | strings | Remplace les cellules, ou parties de cellules ayant une valeur spécifique. |