Création de règles pour transformer des ensembles de données

Vous pouvez créer des règles de transformation réutilisables pour appliquer une transformation globale à des ensembles de données dans des tâches de données Dépôt temporaire, Stockage, Transformation et Mini-data warehouse.

Sélectionnez Ensembles de données, puis cliquez sur Règles et sur Ajouter une règle pour créer une nouvelle règle de transformation.

Sélectionnez le type de transformation et cliquez sur Suivant.

Vous pouvez effectuer les transformations suivantes :
- Renommer des ensembles de données
- Renommer des colonnes
- Ajouter des colonnes
- Supprimer des colonnes
- Convertir des types de données
- Remplacer des valeurs de colonne
Sélectionnez la portée de la transformation et cliquez sur Suivant.
Sélectionnez l'action de transformation à appliquer et cliquez sur Suivant.
Ajoutez un nom et une description pour la règle et cliquez sur Terminer.

La règle sera appliquée lorsque vous exécuterez la tâche de données. Si vous ajoutez plus d'une règle, les règles sont exécutées dans le même ordre que celui dans lequel elles sont répertoriées.

Vous pouvez utiliser des variables, par exemple, des noms de colonne, dans une expression dans une règle. Pour plus d'informations, voir Utilisation de variables dans une expression.

Étendue de la transformation

Lorsque plusieurs transformations s'appliquent au même ensemble de données ou aux mêmes colonnes, la portée concerne toujours les noms source d'origine, tandis que l'action porte sur la valeur après l'application de la règle précédente. Par exemple, si vous avez les règles suivantes :

Renommer tous les ensembles de données qui commencent par Abc_ (Abc_%) pour remplacer le préfixe par ABC_.
Ajouter le suffixe _zzz aux ensembles de données qui commencent par ABC_ (ABC_%).

L'application des règles à ces ensembles de données donnerait les résultats suivants. Notez qu'après la deuxième règle, le suffixe _zzz n'est pas ajouté à ABC_customers, car la portée couvre toujours le nom d'origine (Abc_customers).

Nom d'ensemble de données d'origine	Nom d'ensemble de données après la règle 1	Nom d'ensemble de données après la règle 2
Abc_customers	ABC_customers	ABC_customers
ABC_Suppliers	ABC_Suppliers	ABC_Suppliers_zzz

Renommage d'ensembles de données

Sélectionnez Renommer l'ensemble de données, puis cliquez sur Suivant.
Définissez la portée de la transformation, à savoir, les ensembles de données à renommer. Vous pouvez utiliser % comme caractère générique pour sélectionner plusieurs ensembles de données provenant d'une ou de plusieurs ressources de données.

Cliquez sur Suivant.
Définissez l'action de transformation. Vous pouvez effectuer les actions suivantes :
- Remplacer le nom d'un ensemble de données par un nom fixe.
- Ajouter un préfixe ou un suffixe.
- Supprimer un préfixe ou un suffixe.
- Remplacer un préfixe ou un suffixe.
- Remplacer des minuscules par des majuscules ou inversement.
- Remplacer des noms d'ensemble de données via une expression.
- Remplacer des noms d'ensemble de données via un dictionnaire.
  
  Pour plus d'informations, voir Renommage d'ensembles de données ou de colonnes via un dictionnaire.
Lorsque vous êtes prêt, cliquez sur Suivant.
Définissez le nom de la règle et cliquez sur Terminer.

Renommage de colonnes

Sélectionnez Renommer la colonne, puis cliquez sur Suivant.
Définissez la portée de la transformation, à savoir, les colonnes à renommer. Vous pouvez utiliser % comme caractère générique pour sélectionner plusieurs colonnes provenant d'un ou de plusieurs ensembles de données et tâches de données.

Vous pouvez également limiter l'action à un certain type de données. Définissez le type de données sur UNSPECIFIED pour appliquer l'action à l'ensemble des colonnes correspondantes, quel que soit le type de données.

Cliquez sur Suivant.

Vous pouvez également limiter l'étendue aux colonnes qui sont clés ou nullables.
Définissez l'action de transformation. Vous pouvez effectuer les actions suivantes :
- Remplacer le nom d'une colonne par un nom fixe.
- Ajouter un préfixe ou un suffixe.
- Supprimer un préfixe ou un suffixe.
- Remplacer un préfixe ou un suffixe.
- Remplacer une colonne en majuscules par des minuscules ou inversement.
- Remplacer des noms de colonne via une expression.
- Remplacer des noms de colonne via un dictionnaire.
  
  Pour plus d'informations, voir Renommage d'ensembles de données ou de colonnes via un dictionnaire.
Lorsque vous êtes prêt, cliquez sur Suivant.
Définissez le nom de la règle et cliquez sur Terminer.

Ajout de colonnes

Sélectionnez Ajouter une colonne, puis cliquez sur Suivant.
Définissez la portée de la transformation, à savoir, l'ensemble de données auquel ajouter la colonne. Vous pouvez utiliser % comme caractère générique pour ajouter la colonne à un ou plusieurs ensembles de données.

Cliquez sur Suivant.
Définissez les détails de la nouvelle colonne :
- Nom de la colonne.
- Utilisez le générateur d'expressions pour définir la Valeur de la colonne.
- Sélectionnez Ajouter à la clé primaire pour utiliser cette colonne comme clé primaire.
- Définissez le type de données dans Type de données cible.
- Si le type de données est BYTES, STRING ou WSTRING, spécifiez également Length (Longueur).
  
  Si le type de données est NUMERIC, spécifiez également Precision (Précision) et Scale (Échelle).
Lorsque vous êtes prêt, cliquez sur Suivant.
Définissez le nom de la règle et cliquez sur Terminer.

Suppression de colonnes

Sélectionnez Supprimer la colonne, puis cliquez sur Suivant.
Définissez la portée de la transformation, à savoir, les colonnes à supprimer. Vous pouvez utiliser % comme caractère générique pour sélectionner plusieurs colonnes provenant d'un ou de plusieurs ensembles de données et ressources de données.

Vous pouvez également limiter l'action à un certain type de données. Définissez le type de données sur UNSPECIFIED pour appliquer l'action à l'ensemble des colonnes correspondantes, quel que soit le type de données.

Cliquez sur Suivant.

Vous pouvez également limiter l'étendue aux colonnes qui sont clés ou nullables.
Définissez le nom de la règle et cliquez sur Terminer.

Conversion de types de données

Sélectionnez Convertir le type de données, puis cliquez sur Suivant.
Définissez la portée de la transformation, à savoir, les colonnes dont vous souhaitez convertir le type de données. Vous pouvez utiliser % comme caractère générique pour sélectionner plusieurs colonnes provenant d'un ou de plusieurs ensembles de données et ressources de données.

Vous pouvez également limiter l'action à un certain type de données. Définissez le type de données sur UNSPECIFIED pour appliquer l'action à l'ensemble des colonnes correspondantes, quel que soit le type de données.

Cliquez sur Suivant.

Vous pouvez également limiter l'étendue aux colonnes qui sont clés ou nullables.
Définissez l'action de transformation.
- Définissez Type de données cible sur le type de données cible souhaité.
- Si le type de données est BYTES, STRING ou WSTRING, spécifiez également Length (Longueur).
  
  Si le type de données est NUMERIC, spécifiez également Precision (Précision) et Scale (Échelle).
Lorsque vous êtes prêt, cliquez sur Suivant.
Définissez le nom de la règle et cliquez sur Terminer.

Remplacement de valeurs de colonne

Sélectionnez Remplacer des valeurs de colonne, puis cliquez sur Suivant.
Définissez la portée de la transformation, à savoir, les colonnes dont vous souhaitez remplacer des valeurs. Vous pouvez utiliser % comme caractère générique pour sélectionner plusieurs colonnes provenant d'un ou de plusieurs ensembles de données et ressources de données.

Vous pouvez également limiter l'action à un certain type de données. Définissez le type de données sur UNSPECIFIED pour appliquer l'action à l'ensemble des colonnes correspondantes, quel que soit le type de données.

Cliquez sur Suivant.

Vous pouvez également limiter l'étendue aux colonnes qui sont clés ou nullables.
Définissez l'action de transformation.
- Définissez une expression pour déterminer les valeurs de remplacement dans Valeur cible.
- Définissez Type de données cible sur le type de données des colonnes remplacées.
- Si le type de données est BYTES, STRING ou WSTRING, spécifiez également Length (Longueur).
  
  Si le type de données est NUMERIC, spécifiez également Precision (Précision) et Scale (Échelle).
Lorsque vous êtes prêt, cliquez sur Suivant.
Définissez le nom de la règle et cliquez sur Terminer.

Renommage d'ensembles de données ou de colonnes via un dictionnaire

Vous pouvez utiliser un dictionnaire pour renommer des ensembles de données ou des colonnes. Cela s'avère utile lorsque vous travaillez avec un grand nombre d'objets qui utilisent des conventions d'affectation de noms chiffrés. Vous pouvez ajouter des traductions à un éditeur de dictionnaire ou importer un fichier CSV contenant les traductions. Vous pouvez également exporter le dictionnaire dans un fichier CSV et le réutiliser dans une autre ressource de données.

La fonction Renommer par dictionnaire est disponible dans Actions de transformation lorsque vous avez sélectionné Renommer des ensembles de données ou Renommer des colonnes. Cliquez sur pour ouvrir l'éditeur de dictionnaire.

Cliquez sur Ajouter la traduction et renseignez les champsNom de la source et Nom traduit pour ajouter une traduction au dictionnaire.

Une fois que vous avez créé les traductions dont vous avez besoin, cliquez sur OK pour fermer l'éditeur de dictionnaire.

Le nom sera remplacé uniquement s'il existe une correspondance complète avec le nom de la source dans le dictionnaire. Les correspondances partielles ne sont pas prises en charge.

Import de traductions

Vous pouvez importer des traductions à partir d'un fichier CSV contenant un dictionnaire. Le fichier doit contenir une traduction par ligne. Exemple :

sourcename1,translatedname1 sourcename2,translatedname2 sourcename3,translatedname3

Cliquez sur Ajouter par rapport au CSV et sélectionnez le fichier CSV à importer.

Les traductions du dictionnaire importé sont ajoutées à votre dictionnaire.

Export de traductions

Vous pouvez exporter votre dictionnaire dans un fichier CSV pour pouvoir le réutiliser dans d'autres ressources de données.

Cliquez sur Exporter au format CSV.

Le dictionnaire est exporté dans un fichier CSV.

Utilisation de variables dans une expression

L'onglet Métadonnées de l'éditeur d'expression contient les variables suivantes, que vous pouvez utiliser dans une expression dans une règle de transformation.

Variables pouvant être utilisées dans des règles de transformation
Variable	Description
$Q_D_COLUMN_DATA	Valeur de colonne de la table source.
$Q_M_COLUMN_NAME	Nom de colonne modifié.
$Q_M_DATATYPE_LENGTH	Longueur du type de données modifiée d'une colonne.
$Q_M_DATATYPE_NAME	Type de données modifié d'une colonne.
$Q_M_DATATYPE_PRECISION	Précision du type de données modifiée d'une colonne.
$Q_M_DATATYPE_SCALE	Échelle du type de données modifiée d'une colonne.
$Q_M_SCHEMA_NAME	Nom du schéma source.
$Q_M_SOURCE_COLUMN_NAME	Nom d'une colonne de la table source.
$Q_M_SOURCE_DATATYPE_LENGTH	Longueur du type de données d'une colonne de la table source.
$Q_M_SOURCE_DATATYPE_NAME	Type de données d'une colonne de la table source.
$Q_M_SOURCE_DATATYPE_PRECISION	Précision du type de données d'une colonne de la table source.
$Q_M_SOURCE_DATATYPE_SCALE	Échelle du type de données d'une colonne de la table source.
$Q_M_SOURCE_TABLE_NAME	Nom de la table source.
$Q_M_TABLE_NAME	Nom modifié de la table source.

Vous pouvez renommer toutes les tables figurant dans le cadre de la transformation pour ajouter le nom de schéma comme préfixe avec l'expression suivante :

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Cela remplacerait, par exemple, le nom de la table products du schéma dwprod par dwprod.products.

Gestion des règles

Vous pouvez gérer les règles dans le volet Règles.

Cliquez sur Règles.

Vous pouvez activer/désactiver une règle, supprimer une règle et modifier une règle.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici