Transformation des données
Vous pouvez créer des transformations de données réutilisables et basées sur des règles dans le cadre de votre pipeline de données. Vous pouvez effectuer des transformations dans le cadre de votre intégration de données, ou créer des tâches de données de transformation réutilisables. Vous pouvez effectuer des transformations au niveau des lignes et créer des ensembles de données qui sont soit matérialisés comme des tables, soit créés comme des vues qui effectuent des transformations à la volée.
-
Vous pouvez effectuer des transformations d'ensembles de données explicites ou créer des règles globales qui transforment plusieurs ensembles de données. Vous pouvez également filtrer un ensemble de données pour créer un sous-ensemble de lignes.
-
Vous pouvez ajouter des transformations SQL. Une transformation SQL vous permet de saisir une requête SQL SELECT dans un pipeline pour définir des transformations simples ou complexes.
-
Vous pouvez ajouter des flux de transformations visuels avec des sources, des processeurs et des cibles pour définir des transformations simples ou complexes.
Création d'une tâche de données de transformation
Le plus facile, pour créer une tâche de données de transformation, consiste à cliquer sur ... sur une tâche de données de stockage, puis à sélectionner Transformer les données.
Vous pouvez également cliquer sur Ajouter nouveau dans un projet de données et sélectionner Transformer les données. Dans ce cas, vous devez définir la tâche de données source à utiliser.
-
Définissez vos données sources dans Transformer.
Vous pouvez sélectionner l'une des options suivantes :
-
Effectuer des transformations d'ensembles de données
Sélectionnez des ensembles de données sources, puis cliquez sur Ajouter à la cible pour les ajouter à Cible.
Vous pouvez ensuite effectuer des transformations de base sur les ensembles de données, comme par exemple filtrer des données ou ajouter des colonnes, dans Ensembles de données.
Pour plus d'informations, voir Gestion des ensembles de données.
-
Ajouter une transformation SQL
Sélectionnez des ensembles de données sources et cliquez sur Ajouter une transformation SQL.
Une transformation SQL vous permet de saisir une requête SQL SELECT dans un pipeline pour définir des transformations simples ou complexes.
Pour plus d'informations, voir Ajout de transformations SQL.
-
Ajouter un flux de transformation
Sélectionnez des ensembles de données sources et cliquez sur Ajouter un flux de transformation.
Le concepteur de flux vous permet de créer un flux de transformation avec des sources, des processeurs et des cibles pour définir des transformations simples ou complexes.
Pour plus d'informations, voir Ajout de flux de transformations.
Note ConseilVous pouvez également ajouter davantage d'ensembles de données provenant d'autres tâches de données de stockage en cliquant sur Sélectionner des données sources. -
-
Lorsque vous avez ajouté les transformations souhaitées, validez les ensembles de données en cliquant sur Valider les ensembles de données. Si la validation détecte des erreurs, corrigez-les avant de poursuivre.
Pour plus d'informations, voir Validation et ajustement des ensembles de données.
-
Créer un modèle de données
Cliquez sur Modèle pour définir les relations entre les ensembles de données inclus.
Pour plus d'informations, voir Création d'un modèle de données.
-
Cliquez sur Préparer pour préparer la tâche de données et tous les artefacts nécessaires. Cette opération peut prendre un certain temps.
Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.
-
Lorsque l'état affiche Préparé, vous pouvez exécuter la tâche de données.
Cliquez sur ..., puis sur Exécuter.
La tâche de données commence maintenant la création des ensembles de données pour transformer les données.
Planification d'une tâche de transformation
Vous pouvez planifier la mise à jour périodique d'une tâche de transformation. Vous pouvez définir une planification à intervalle défini ou définir la tâche de sorte qu'elle soit exécutée à la fin de l'exécution de tâches de données d'entrée.
Cliquez sur ... sur une tâche de données et sélectionnez Planification pour créer une planification. Les paramètres de planification par défaut sont hérités des paramètres du projet de données. Pour plus d'informations sur les paramètres par défaut, voir Valeurs par défaut de transformation.
Pour activer la planification, vous devez toujours définir Planification sur Activée.
Planifications à intervalles définis
Vous pouvez utiliser une planification à intervalle défini pour exécuter la tâche, quel que soit le moment de la mise à jour des différentes sources d'entrée.
Sélectionnez À une heure spécifique dans Exécuter la tâche de données.
Vous pouvez définir une planification horaire, quotidienne, hebdomadaire ou mensuelle.
Planifications basées sur des événements
Vous pouvez utiliser une planification basée sur un événement pour exécuter la tâche à la fin de l'exécution de tâches de données d'entrée.
Sélectionnez Lors d'un événement spécifique dans Exécuter la tâche de données.
Vous pouvez décider d'exécuter la tâche lorsque n'importe laquelle des tâches d'entrée a été correctement exécutée ou lorsque n'importe quelle tâche d'entrée d'une sélection de tâches d'entrée a été correctement exécutée.
Surveillance d'une tâche de transformation
Vous pouvez surveiller l'état et la progression d'une tâche de transformation en cliquant sur Surveiller.
Pour plus d'informations, voir Surveillance d'une tâche de données individuelle.
Chargement de données
Vous pouvez effectuer un chargement manuel des tables si les données sont matérialisées sous forme de tables physiques. Cela s'avère utile en cas de problèmes avec une ou plusieurs tables.
Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.
Sélectionnez les tables à charger.
Cliquez sur Charger des tables.
Le chargement se produira lors de la prochaine exécution de la tâche. Le processus de chargement se comporte différemment suivant le paramètre d'historique et le type de transformation de chaque ensemble de données. Cela signifie que le processus de chargement peut varier d'un ensemble de données à l'autre dans une tâche de données.
Les transformations d'ensembles de données sont actualisées par troncation et chargement.
Les transformations SQL et les flux de transformation peuvent être actualisés par troncation et chargement ou par comparaison et application. Il est recommandé d'appliquer la méthode par comparaison et application.
Vous pouvez annuler le chargement des tables en attente de chargement en cliquant sur Annuler le chargement. Cela n'affectera pas les tables déjà chargées, et les chargements en cours d'exécution seront effectués jusqu'au bout.
Les tâches en aval seront actualisées de sorte à appliquer les modifications et à éviter un antidatage.
L'impact en aval dépend du type d'opération d'actualisation exécuté et du type d'ensemble de données en aval immédiat. Un traitement standard signifie que l'ensemble de données réagira et traitera les données via la méthode configurée pour l'ensemble de données en question.
Actualisation d'un ensemble de données par troncation et chargement
Si l'ensemble de données suivant utilise des transformations d'ensembles de données, il sera actualisé lors de l'exécution suivante par troncation et chargement.
Si l'ensemble de données suivant est une transformation SQL ou un flux de transformation, il sera actualisé par comparaison et application.
Chargement d'un ensemble de données sans historique
Dans ce cas, il n'existe pas d'historique à prendre en compte. Pour réduire le traitement sur la cible, le chargement s'effectue comme suit :
Troncage des tables.
Chargement des données en cours provenant de la tâche de données en amont.
Les tâches en aval seront actualisées de sorte à appliquer les modifications.
Chargement d'un ensemble de données avec l'historique activé
Le chargement s'effectue comme suit :
Troncage des tables en cours, précédentes et de modifications.
Chargement des données auprès de la tâche de données en amont, y compris les tables précédentes.
Chargement d'un ensemble de données en fonction d'une transformation SQL ou d'un flux de transformation
Tronquer et charger
Note InformationsCette option risque d'entraîner une perte d'historique.Troncage des tables en cours et de modifications.
Exécution de la requête et son chargement dans les tables en cours.
Charger et comparer
Exécution de la requête et sa comparaison aux tables en cours.
Ajout des modifications.
Paramètres de transformation
Vous pouvez définir des propriétés pour la tâche de données de transformation.
Cliquez sur Paramètres.
Paramètres généraux
Base de données
Base de données à utiliser dans la source de données.
Schéma de tâche de données
Vous pouvez modifier le nom du schéma de tâche de données de stockage. Le nom par défaut est store.
Schéma interne
Vous pouvez modifier le nom du schéma de stockage interne. Le nom par défaut est store__internal.
- Préfixe de l'ensemble des tables et des vues
Vous pouvez définir un préfixe pour toutes les tables et vues créées avec cette tâche.
Note InformationsLorsque vous souhaitez utiliser un schéma de base de données dans plusieurs tâches de données, vous devez utiliser un préfixe unique. Matérialisé
Vous pouvez décider de créer uniquement des vues qui effectuent des transformations à la volée (Non matérialisé) ou de créer des tables et des vues (Matérialisé).
Historique
Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques.
Paramètres d'exécution
Exécution parallèle
Vous pouvez définir le nombre maximal de connexions de données pour les chargements complets sur un nombre compris entre 1 et 5.
Entrepôt
Nom de l'entrepôt de données cloud.
Limitations
Il n'est pas possible de modifier des types de données dans une tâche de données de transformation lorsque l'option Non matérialisé est sélectionnée.
Les ensembles de données basés sur SQL non matérialisés fournissent l'ensemble de résultats complet uniquement ; le filtrage incrémentiel n'est pas pris en charge. Les ensembles de données basés sur SQL non matérialisés fournissent également uniquement les données existantes et ne conservent pas les enregistrements historiques.