Gestion des ensembles de données

Vous pouvez gérer les ensembles de données inclus dans les tâches de données Dépôt temporaire, Stockage, Transformation, Mini-data warehouse et Replicate pour créer des transformations, filtrer les données et ajouter des colonnes.

Les ensembles de données inclus sont répertoriés sous Ensembles de données dans la vue Conception. Vous pouvez sélectionner les colonnes à afficher grâce au sélecteur de colonnes ().

Règles de transformation et transformations explicites

Vous pouvez effectuer des transformations globales et explicites.

Règles de transformation

Vous pouvez effectuer des transformations globales en créant une règle de transformation qui utilise % comme caractère générique dans l'étendue pour permettre son application dans tous les ensembles de données correspondants.

• Cliquez sur Règles puis sur Ajouter une règle pour créer une règle de transformation.

  Pour plus d'informations, voir Création de règles pour transformer des ensembles de données.

Les règles de transformation sont indiquées par un coin violet foncé sur l'attribut affecté.

Transformations explicites

Des transformations explicites sont créées :

• lorsque vous utilisez Modifier pour changer un attribut de colonne ;

• lorsque vous utilisez Renommer dans un ensemble de données ;

• lorsque vous ajoutez une colonne.

Les transformations explicites remplacement les transformations globales et elles sont indiquées par un coin violet clair au niveau de l'attribut affecté.

Filtrage d'un ensemble de données

Vous pouvez filtrer des données pour créer un sous-ensemble de lignes, si nécessaire.

• Cliquez sur Filtrer.

Pour plus d'informations, voir Filtrage d'un ensemble de données.

Renommer un ensemble de données

Vous pouvez renommer un ensemble de données.

• Cliquez sur au niveau d'un ensemble de données puis sur Renommer.

Ajouter des colonnes

Vous pouvez ajouter des colonnes avec des transformations au niveau de la ligne, si nécessaire.

• Cliquez sur Ajouter une colonne.

Pour plus d'informations, voir Ajout de colonnes à un ensemble de données.

Modifier une colonne

Vous pouvez modifier les propriétés de colonne en sélectionannt une colonne et en cliquant sur Modifier.

• Nom

• Clé

  Définissez une colonne comme clé primaire. Vous pouvez également définir des clés en sélectionnant ou désélectionnant la colonne Clé.

• Peut être nul

• Type de données

  Définissez le type de données de la colonne. Pour certains types de données, vous pouvez définir une propriété supplémentaire, par exemple Longueur.

Suppression de colonnes

Vous pouvez supprimer une ou plusieurs colonnes d'un ensemble de données.

• Sélectionnez les colonnes à supprimer et cliquez sur Supprimer.

Si vous voulez voir les colonnes supprimées, cliquez sur Afficher les colonnes supprimées. Les colonnes supprimées sont indiquées par un texte barré. Pour récupérer une colonne supprimée, sélectionnez-la et cliquez sur Rétablir.

Rétablissement des changements explicites dans les colonnes

Vous pouvez rétablir tous les changements explicites dans une ou plusieurs colonnes.

• Sélectionnez les colonnes dans lesquelles vous voulez rétablir les changements et cliquez sur Rétablir.

Les changements provenant de règles de transformation globales ne sont pas rétablies.

Si vous annulez une colonne ajoutée, elle est supprimée.

Paramètres de l'ensemble de données

Vous pouvez modifier les paramètres de l'ensemble de données. Le paramètre par défaut consiste à reprendre le paramètre de la ressource de données. Toutefois, vous pouvez également modifier un paramètre pour qu'il ait explicitement la valeur Activé ou Désactivé.

• Cliquez sur au niveau d'un ensemble de données puis sur Paramètres.

Visualisation des données

Vous pouvez afficher un échantillon des données pour voir et valider la forme de vos données à mesure que vous concevez votre pipeline de données.

Les conditions suivantes doivent être remplies :

• L'affichage des données est activé au niveau client dans Console de gestion Qlik.

  Activez Paramètres > Contrôle de fonction > Affichage des données dans Intégration de données.

• Vous êtes titulaire du rôle Peut afficher des données dans l'espace dans lequel réside la connexion de données.

• Vous êtes titulaire du rôle Accès en lecture dans l'espace dans lequel réside le projet de données.

Pour afficher un échantillon de données dans l'onglet Ensembles de données de la vue Conception :

• Cliquez sur Afficher les données dans Objets physiques.

Un échantillon des données apparaît. Vous pouvez définir le nombre de lignes de données à inclure dans l'échantillon dans Nombre de lignes.

Pour passer d'ensembles de données à des tables :

• Sélectionnez Ensembles de données pour afficher la représentation logique des données.

• Sélectionnez Objets physiques pour afficher la représentation physique dans la base de données sous forme de tables et de vues.

  Note ActualitésCette option n'est pas disponible si la représentation physique n'a pas encore été créée.

Vous pouvez filtrer l'échantillon de données de deux manières différentes :

• Utilisez pour filtrer l'échantillon de données à récupérer.

  Par exemple, si vous appliquez le filtre ${OrderYear}>2023 et si Nombre de lignes est défini sur 10, vous obtiendrez un échantillon de 10 commandes en 2024.

• Filtrez l'échantillon de données en fonction d'une colonne spécifique.

  Cela affectera uniquement l'échantillon de données existant. Si vous avez utilisé pour inclure uniquement des commandes de 2024 et si vous avez défini le filtre de colonne pour afficher des commandes de 2022, vous obtiendrez un échantillon vide.

Vous pouvez également trier l'échantillon de données en fonction d'une colonne spécifique. Le tri affectera uniquement l'échantillon de données existant. Si vous avez utilisé pour inclure uniquement des commandes de 2024 et si vous inversez l'ordre de tri, l'échantillon de données continuera à ne contenir que des commandes de 2024.

Vous pouvez masquer des colonnes dans la vue des données :

• Masquez une seule colonne en cliquant sur sur la colonne, puis sur Masquer colonne.

• Masquez plusieurs colonnes en cliquant sur sur n'importe quelle colonne, puis sur Afficher les colonnes. Cela vous permet de contrôler la visibilité de l'ensemble des colonnes de la vue.

Validation et ajustement des ensembles de données

Vous pouvez valider tous les ensembles de données inclus dans la tâche de données.

Développez Valider et ajuster pour voir toutes les erreurs de validation et les changements de conception.

Validation des ensembles de données

• Cliquez sur Valider les ensembles de données pour valider les ensembles de données.

La validation implique de vérifier que :

• Toutes les tables ont une clé primaire.

• Il ne manque pas d'attributs.

• Il n'y a pas de doublons de nom de table ou de colonne.

Vous obtenez également une liste des modifications apportées à la conception par rapport à la source :

• Tables et colonnes ajoutées

• Tables et colonnes abandonnées

• Tables et colonnes renommées

• Clés primaires et types de données modifiés

Développez Valider et ajuster pour voir toutes les erreurs de validation et les changements de conception.

• Corrigez les erreurs de validation puis validez à nouveau les ensembles de données.

• L’adaptation de la plupart des changements de conception peut s'effectuer automatiquement, sauf pour les clés primaires et les types de données modifiés. Dans ce cas, vous devez synchroniser les ensembles de données.

Préparation des ensembles de données

Vous pouvez préparer les ensembles données pour ajuster les changements de conception sans perte de données, si possible. En cas de changements de conception impossibles à ajuster sans perte de données, vous aurez la possibilité de recréer les tables à partir de la source avec perte de données.

Cette opération implique l'arrêt de la tâche.

• Cliquez sur , puis sur Préparer.

Une fois les ensembles de données préparés, validez-les avant de redémarrer la tâche de stockage.

Recréation des ensembles de données

Vous pouvez recréer les ensembles de données depuis la source. Lorsque vous recréez un ensemble de données, cela entraînera une perte de données de la ressource de données. Si vous avez les données source, vous pouvez les charger depuis la source.

Cette opération implique l'arrêt de la tâche.

• Cliquez sur puis sur Recréer.

Limitations

• Dans Google BigQuery, la suppression ou l'attribution d'un nouveau nom à une colonne implique la recréation de la table et entraîne la perte des données.