Transformation des données

Vous pouvez créer des transformations de données réutilisables et basées sur des règles dans le cadre de votre pipeline de données. Vous pouvez effectuer des transformations dans le cadre de votre intégration de données, ou créer des tâches de données de transformation réutilisables. Vous pouvez effectuer des transformations au niveau des lignes et créer des jeux de données qui sont soit matérialisés comme des tables, soit créés comme des vues qui effectuent des transformations à la volée.

• Vous pouvez effectuer des transformations de jeux de données explicites ou créer des règles globales qui transforment plusieurs jeux de données. Vous pouvez également filtrer un jeu de données pour créer un sous-ensemble de lignes.

• Vous pouvez ajouter des transformations SQL. Une transformation SQL vous permet de saisir une requête SQL SELECT dans un pipeline pour définir des transformations simples ou complexes.

• Vous pouvez ajouter des flux de transformation visuels avec des sources, des processeurs et des cibles pour définir des transformations simples ou complexes.

Une tâche de données de transformation contient trois vues :

• Transformer

  Cette vue affiche toutes les transformations pour visualiser le flux du jeu de données source vers le jeu de données cible.

• Jeux de données

  Cette vue affiche toutes les transformations de base sur les jeux de données telles que le filtrage de données ou l'ajout de colonnes, ainsi que les règles permettant d'effectuer des transformations globales.

• Modèle

  Cette vue vous permet de créer un modèle de données avec les relations entre les jeux de données inclus.

Création d'une tâche de données de transformation

Le plus facile, pour créer une tâche de données de transformation, consiste à cliquer sur ... sur une tâche de données de stockage, puis à sélectionner Transformer les données.

Vous pouvez également cliquer sur Créer dans un projet et sélectionner Transformer les données. Dans ce cas, vous devez définir la tâche de données source à utiliser.

1. Définissez vos données sources dans Transform (Transformer).

   Vous pouvez sélectionner l'une des options suivantes :

   • Effectuer des transformations de jeux de données

     Sélectionnez des jeux de données sources, puis cliquez sur Ajouter à la cible pour les ajouter à Cible.

     Vous pouvez ensuite effectuer des transformations de base sur les jeux de données, comme par exemple filtrer des données ou ajouter des colonnes, dans Datasets (Jeux de données).

     Pour plus d'informations, consultez Gestion des jeux de données.

   • Ajouter une transformation SQL

     Sélectionnez des jeux de données sources et cliquez sur Add SQL transformation (Ajouter une transformation SQL).

     Une transformation SQL vous permet de saisir une requête SQL SELECT dans un pipeline pour définir des transformations simples ou complexes.

     Pour plus d'informations, consultez Ajout de transformations SQL.

   • Ajouter un flux de transformation

     Sélectionnez des jeux de données sources et cliquez sur Add transformation flow (Ajouter un flux de transformation).

     Le concepteur de flux vous permet de créer un flux de transformation avec des sources, des processeurs et des cibles pour définir des transformations simples ou complexes.

     Pour plus d'informations, consultez Ajout de flux de transformation.

   Note ConseilVous pouvez également ajouter davantage de jeux de données provenant d'autres tâches de données de stockage en cliquant sur Select source data (Sélectionner des données sources).

2. Lorsque vous avez ajouté les transformations souhaitées, validez les jeux de données en cliquant sur Valider les jeux de données. Si la validation détecte des erreurs, corrigez-les avant de poursuivre.

   Pour plus d'informations, consultez Validation et ajustement des jeux de données.

3. Créer un modèle de données

   Cliquez sur Modèle pour définir les relations entre les jeux de données inclus.

   Pour plus d'informations, consultez Création d'un modèle de données.

4. Cliquez sur Préparer pour préparer la tâche de données et tous les artefacts nécessaires. Cette opération peut prendre un certain temps.

   Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.

5. Lorsque l'état affiche Préparé, vous pouvez exécuter la tâche de données.

   Cliquez sur ..., puis sur Exécuter.

La tâche de données commence maintenant la création des jeux de données pour transformer les données.

Utilisation de la vue Transformer

Dans Transformer, toutes les transformations sont affichées pour visualiser le flux du jeu de données source vers le jeu de données cible.

• Sélectionnez une transformation pour voir quels jeux de données sources sont utilisés et quels jeux de données cibles sont créés.

• Sélectionnez une source pour voir toutes les transformations dans lesquelles elle est utilisée, ainsi que toutes les cibles obtenues.

• Sélectionnez une cible pour voir quels sont les jeux de données sources et quelle transformation a créé ce jeu de données cible.

Vous pouvez modifier les paramètres suivants en cliquant sur Options d'affichage :

• Filtrer par type de transformation

  Affichez uniquement les transformations d'un ou de deux types de transformation.

• Filtrer

  Affichez toutes les transformations ou seulement la transformation sélectionnée. Vous devez sélectionner une transformation pour pouvoir activer cette option.

• Densité

  Décidez si vous souhaitez afficher les transformations avec une disposition compacte ou une disposition large utilisant plus d'espace.

Utilisation de la vue Jeux de données

Dans Jeux de données, vous pouvez afficher et modifier tous les jeux de données cibles de la tâche de transformation.

Consultez également Gestion des jeux de données pour plus d'informations.

Ajout d'un jeu de données cible

Vous pouvez ajouter davantage de jeux de données cibles à la tâche de transformation.

1. Cliquez sur Ajouter un jeu de données.

2. Fournissez le Nom et, éventuellement, la Description du jeu de données.

3. Sélectionnez un jeu de données source parmi les jeux de données disponibles dans la tâche dans Jeu de données source.

   Note ConseilVous pouvez sélectionner Aucun jeu de données source pour créer un jeu de données vide qui ne soit connecté à aucune source. Vous pouvez ajouter des colonnes au jeu de données lors de la conception, mais vous devez vous connecter à un jeu de données source avant de pouvoir préparer la tâche.

Le jeu de données cible est maintenant ajouté.

Modification du jeu de données source

Vous pouvez modifier le jeu de données source d'un jeu de données cible.

1. Cliquez sur après Source : [nom du jeu de données source].

2. Sélectionnez un autre jeu de données source parmi les jeux de données disponibles dans la tâche dans Jeu de données source.

   Note ConseilVous pouvez sélectionner Aucun jeu de données source pour déconnecter le jeu de données cible de la source. Vous pouvez modifier le jeu de données lors de la conception, mais vous devez vous connecter à un jeu de données source avant de pouvoir préparer la tâche.

Ajout de nouvelles colonnes

Vous pouvez ajouter de nouvelles colonnes au jeu de données cible.

• Ajout d'une nouvelle colonne à partir de rien

  Cliquez sur + Ajouter).

  Donnez un nom à la colonne et fournissez une expression pour définir les données de la colonne.

  Pour plus d'informations, consultez Ajout de colonnes à un ensemble de données.

• Ajout d'une colonne à partir d'une source

  Cliquez sur près de Ajouter et sélectionnez Ajouter une colonne de la source.

  Sélectionnez une colonne du jeu de données source.

Réorganisation des colonnes

Vous pouvez modifier la position ordinale d'une colonne.

1. Sélectionnez une colonne.

2. Cliquez sur , puis sur Réorganiser.

3. Utilisez les flèches pour déplacer la colonne vers le haut ou vers le bas.

4. Fermez Modifier l'ordinal lorsque vous êtes prêt.

Création de règles de transformation

Vous pouvez créer des règles de transformation réutilisables pour appliquer une transformation globale à des jeux de données.

Pour plus d'informations sur la création de règles, consultez Création de règles pour transformer des ensembles de données.

Filtrage d'un jeu de données

Vous pouvez filtrer des données pour créer un sous-ensemble de lignes, si nécessaire.

• Cliquez sur , puis sur Filtrer.

Pour plus d'informations sur le filtrage, consultez Filtrage d'un ensemble de données.

Planification d'une tâche de transformation

Vous pouvez planifier la mise à jour périodique d'une tâche de transformation. Vous pouvez définir une planification à intervalle défini ou définir la tâche de sorte qu'elle soit exécutée à la fin de l'exécution de tâches de données d'entrée.

Cliquez sur ... sur une tâche de données et sélectionnez Planification pour créer une planification. Le paramètre de planification par défaut est hérité des paramètres du projet. Pour plus d'informations sur les paramètres par défaut, voir Valeurs par défaut de transformation.

Pour activer la planification, vous devez toujours définir Planification sur Activée.

Planifications à intervalles définis

Vous pouvez utiliser une planification à intervalle défini pour exécuter la tâche, quel que soit le moment de la mise à jour des différentes sources d'entrée.

• Sélectionnez À une heure spécifique dans Exécuter la tâche de données.

Vous pouvez définir une planification horaire, quotidienne, hebdomadaire ou mensuelle.

Planifications basées sur des événements

Vous pouvez utiliser une planification basée sur un événement pour exécuter la tâche à la fin de l'exécution de tâches de données d'entrée.

• Sélectionnez Lors d'un événement spécifique dans Exécuter la tâche de données.

Vous pouvez décider d'exécuter la tâche lorsque n'importe laquelle des tâches d'entrée a été correctement exécutée ou lorsque n'importe quelle tâche d'entrée d'une sélection de tâches d'entrée a été correctement exécutée.

Surveillance d'une tâche de transformation

Vous pouvez surveiller l'état et la progression d'une tâche de transformation en cliquant sur Surveiller.

Pour plus d'informations, consultez Surveillance d'une tâche de données individuelle.

Chargement de données

Vous pouvez effectuer un chargement manuel des tables si les données sont matérialisées sous forme de tables physiques. Cela s'avère utile en cas de problèmes avec une ou plusieurs tables.

1. Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.

2. Sélectionnez les tables à charger.

3. Cliquez sur Charger des tables.

Le chargement se produira lors de la prochaine exécution de la tâche. Le processus de chargement se comporte différemment suivant le paramètre d'historique et le type de transformation de chaque jeu de données. Cela signifie que le processus de chargement peut varier d'un jeu de données à l'autre dans une tâche de données.

• Les transformations de jeux de données sont actualisées par troncation et chargement.

• Les transformations SQL et les flux de transformation peuvent être actualisés par troncation et chargement ou par comparaison et application. Il est recommandé d'appliquer la méthode par comparaison et application.

  Chargement d'un jeu de données en fonction d'une transformation SQL ou d'un flux de transformation

Vous pouvez annuler le chargement des tables en attente de chargement en cliquant sur Annuler le chargement. Cela n'affectera pas les tables déjà chargées, et les chargements en cours d'exécution seront effectués jusqu'au bout.

Les tâches en aval seront actualisées de sorte à appliquer les modifications et à éviter un antidatage.

L'impact en aval dépend du type d'opération d'actualisation exécuté et du type du jeu de données en aval immédiat. Un traitement standard signifie que le jeu de données réagira et traitera les données via la méthode configurée pour le jeu de données en question.

Actualisation d'un jeu de données par troncation et chargement

• Si le jeu de données suivant utilise des transformations de jeux de données, il sera actualisé lors de l'exécution suivante par troncation et chargement.

• Si le jeu de données suivant est une transformation SQL ou un flux de transformation, il sera actualisé par comparaison et application.

Chargement d'un jeu de données sans historique

Dans ce cas, il n'existe pas d'historique à prendre en compte. Pour réduire le traitement sur la cible, le chargement s'effectue comme suit :

1. Troncage des tables.

2. Chargement des données en cours provenant de la tâche de données en amont.

Les tâches en aval seront actualisées de sorte à appliquer les modifications.

Chargement d'un jeu de données avec l'historique activé

Le chargement s'effectue comme suit :

1. Troncage des tables en cours, précédentes et de modifications.

2. Chargement des données auprès de la tâche de données en amont, y compris les tables précédentes.

Chargement d'un jeu de données en fonction d'une transformation SQL ou d'un flux de transformation

• Tronquer et charger

  Note InformationsCette option risque d'entraîner une perte d'historique.

  1. Troncage des tables en cours et de modifications.

  2. Exécution de la requête et son chargement dans les tables en cours.

• Charger et comparer

  1. Exécution de la requête et sa comparaison aux tables en cours.

  2. Ajout des modifications.

Paramètres de transformation

Vous pouvez définir des propriétés pour la tâche de données de transformation.

• Cliquez sur Paramètres.

Paramètres généraux

• Base de données

  Base de données à utiliser dans la source de données.

• Schéma de tâche

  Vous pouvez modifier le nom du schéma de tâche de données. Le nom par défaut correspond au nom de la tâche.

• Schéma interne

  Vous pouvez modifier le nom du schéma de stockage interne. Le nom par défaut correspond au nom de la tâche auquel « _internal » est ajouté.

• Préfixe de l'ensemble des tables et des vues

  Vous pouvez définir un préfixe pour toutes les tables et vues créées avec cette tâche.

  Note InformationsLorsque vous souhaitez utiliser un schéma de base de données dans plusieurs tâches de données, vous devez utiliser un préfixe unique.

• Matérialisé

  Vous pouvez décider de créer uniquement des vues qui effectuent des transformations à la volée (Non matérialisé) ou de créer des tables et des vues (Matérialisé).

• Historique

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.

Paramètres d'exécution

• Exécution parallèle

  Vous pouvez définir le nombre maximal de connexions pour les chargements complets sur un nombre compris entre 1 et 5.

• Entrepôt

  Nom de l'entrepôt de données cloud.

Paramètres du catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme d'ensemble de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Pour plus d'informations sur Catalogue, consultez Comprendre vos données grâce à des outils de catalogage.

Limitations

• Il n'est pas possible de modifier des types de données dans une tâche de données de transformation lorsque l'option Non matérialisé est sélectionnée.

• La traçabilité au niveau du champ n'est pas disponible pour les jeux de données créés dans des flux de transformation ou des transformations SQL.