Création et gestion de datamarts

Une fois que vous avez intégré vos données, vous pouvez alors créer des datamarts à l'aide des données provenant des tâches Stockage ou Transformation. Vous pouvez créer autant de datamarts que nécessaire. Dans l'absolu, ils doivent contenir des référentiels de données synthétiques collectés à des fins d'analyse dans une section ou une unité spécifique de votre organisation, telle que le service commercial.

Outre le stockage de tables dans l'entrepôt de données, vous pouvez également stocker des tables sous forme de tables Iceberg gérées par la plateforme de données. Cette option n'est actuellement disponible qu'avec les projets Snowflake. Cela est possible en sélectionnant Tables Iceberg gérées par Snowflake sous Type de table dans les paramètres de tâche.

Prérequis

Vous pouvez utiliser les tâches de données des types suivants comme source pour un datamart :

• Stockage

• Transformation

Avant de pouvoir créer un datamart, vous devez effectuer les opérations suivantes dans les tâches de données sources :

• Remplissez les jeux de données à l'aide des données que vous voulez utiliser dans votre datamart. Pour plus d'informations, consultez Intégration de données à un entrepôt de données.

• Créez un modèle relationnel de jeu de données pour définir les relations entre les jeux de données sources. Pour plus d'informations, consultez Création d'un modèle de données.

  Note AvertissementTous les jeux de données sources doivent avoir des clés.

Créer un datamart

Pour créer un datamart :

1. Ouvrez votre projet.

2. Effectuez l'une des opérations suivantes :

   • Cliquez sur Créer dans le coin supérieur droit et sélectionnez Créer un datamart.

   • Dans la tâche de données source, cliquez sur dans le coin inférieur droit, puis sélectionnez Créer un datamart.

   La boîte de dialogue Créer un datamart s'ouvre.

   

3. Saisissez un nom pour votre datamart et, éventuellement, une description.

4. Si vous voulez configurer le datamart ultérieurement, décochez la case Ouvrir puis cliquez sur Créer. Vous également cliquer simplement sur Créer.

   Le datamart s'ouvre dans l'onglet Datamart.

   

5. Sélectionnez vos données sources comme indiqué dans Sélection de vos données source.
6. Si vous voulez que le datamart contienne des dimensions, ajoutez-en comme indiqué dans Ajout de dimensions et d'un fait au datamart.
7. Si vous voulez que le datamart contienne un fait, ajoutez-en un comme indiqué dans Ajout d'un fait.
8. Si le datamart contient des dimensions et un fait, ajoutez les dimensions à votre schéma en étoile comme indiqué dans Création d'un schéma en étoile.
9. Créez les jeux de données dans votre datamart et renseignez-les à l'aide de données comme décrit à la section Remplissage de votre datamart.

Sélection de vos données source

Vous sélectionnez vos données sources dans les jeux de données contenus dans la tâche de données source.

Pour effectuer cette action :

1. Cliquez sur le bouton Sélectionner des données sources au centre de l'onglet ou cliquez sur le bouton de barre d'outils Sélectionner des données sources.

   Vous accédez à la boîte de dialogue Sélectionner des données source.

2. Dans la liste déroulante Projets, sélectionnez le projet à partir duquel obtenir des données sources.

   Vous pouvez ajouter des jeux de données provenant du projet en cours ou d'un autre projet. Pour ajouter des jeux de données provenant d'un autre projet :

   • Vous devez avoir au moins le rôle Peut consommer dans l'espace du projet consommé.

   • Les deux projets doivent être sur la même plateforme de données.

   Pour plus d'informations sur les pipelines interprojets, consultez Élaboration de pipelines interprojets.

3. Dans la liste déroulante Tâches de données, sélectionnez une tâche Stockage, ou une tâche Transformation si vous avez créé des transformations.

4. Laissez le % par défaut pour rechercher tous les jeux de données ou saisissez le nom d'un jeu de données précis à rechercher. Cliquez ensuite sur Rechercher.

5. Sélectionnez les jeux de données souhaités puis cliquez sur Ajouter les tables sélectionnées.

6. Cliquez sur OK pour fermer la boîte de dialogue et passez ensuite à Ajouter un fait et/ou Ajouter des dimensions.

Ajout de dimensions et d'un fait au datamart

Lorsque vous avez sélectionné vos données sources, vous pouvez ensuite poursuivre la création de votre datamart. Un datamart peut contenir un jeu de données de fait, des jeux de données de dimensions ou une combinaison des deux (lorsque les jeux de données de la dimension ont un lien logique au jeu de données du fait).

Ajout de dimensions

Pour ajouter une dimension :

1. Cliquez sur le bouton Ajouter une dimension.

   Vous accédez à la boîte de dialogue Ajouter une dimension.

2. Les paramètres suivants sont disponibles :

   • Jeu de données le plus granulaire : sélectionnez un jeu de données.
   • Nom : saisissez un nom d'affichage pour la dimension. Le nom du jeu de données le plus granulaire est attribué par défaut.
   • Description : Vous pouvez éventuellement saisir une description.
   • Type d'historique : Sélectionnez une des options suivantes :
     • Type 1 : l'enregistrement existant dans la dimension sera mis à jour chaque fois que l'enregistrement correspondant dans le stockage est mis à jour.
     • Type 2 : un nouvel enregistrement sera ajouté à la dimension chaque fois que l'enregistrement correspondant dans le stockage est mis à jour.

   • Jeu de données associé à dénormaliser : Tout jeu de données pouvant être dénormalisé dans le jeu de données de la dimension (en fonction des relations dans le modèle de ressource de données source) peut être sélectionné ici.

      

     

3. Cliquez sur OK pour enregistrer vos paramètres.

   La dimension est ajoutée à la liste Dimensions sur la gauche.

Voir aussi Dimensions de jeu de rôles.

Affichage des informations sur une dimension

Lorsque vous sélectionnez une dimension, l'onglet Modèle relationnel source apparaît dans le volet central. Cet onglet affiche les jeux de données sources consolidés dans la dimension. Les jeux de données que vous avez choisis de dénormaliser lors de l'ajout de la dimension apparaissent comme sélectionnés (et grisés).

Ajout d'un fait

Pour ajouter un fait :

1. Cliquez sur le bouton Ajouter fait.

   La boîte de dialogue Ajouter fait s'ouvre.

2. Les paramètres suivants sont disponibles :

   • Fait : Sélectionnez un jeu de données pour le fait. Le jeu de données doit définir la granularité du fait que vous créez.
   • Nom : saisissez un nom d'affichage pour le fait. Le nom du fait est attribué par défaut.
   • Description : Vous pouvez éventuellement saisir une description.
   • Jeux de données associés à dénormaliser : Tout jeu de données pouvant être dénormalisé dans votre jeu de données de fait peut être sélectionné ici.
   • Avancé
     • Utiliser les données actives : si cette option est sélectionnée (par défaut), le fait ne contiendra pas de colonne de date de transaction.

     • Sélectionner la date de transaction : pour localiser les données en fonction d'une date de transaction spécifique, sélectionnez cette option, puis une colonne de dates. Cela s'avère utile si votre schéma en étoile contient des dimensions de type 2 et si vous devez trouver les données correctes d'une transaction spécifique. Par exemple, si un client comporte plusieurs adresses, il peut être possible de trouver l'adresse correcte en fonction de la date de commande.

       Exemple de scénario :

       Un détaillant doit créer un datamart pour analyser les relations entre les commandes et les clients. Le datamart doit être en mesure de répondre à des requêtes telles que : Which US state had the highest sum of orders in Q4 2022? (Quel état américain a enregistré la plus grande somme de commandes au 4e trimestre 2022 ?).

        

       Si le détaillant sélectionne l'option Utiliser les données actives, seule la version la plus récente des enregistrements de la table Clients sera incluse dans le calcul.

       Le fait d'ignorer la date de transaction produira des données inexactes, comme illustré ci-dessous :

        

       

        

       En revanche, si le détaillant sélectionne l'option Sélectionner la date de transaction, les commandes du client seront associées à la version correcte des enregistrements de la table Clients.

       Cela permettra au détaillant de calculer avec précision la somme totale des commandes par état au T4 2022.

        

       

       Note ConseilNotez que la date de transaction peut être utilisée différemment dans chaque datamart, suivant les besoins commerciaux. Par exemple, dans un datamart, elle peut permettre d'analyser les dates de commande, tandis que, dans un autre, elle peut permettre d'analyser les dates d'expédition.

3. Cliquez sur OK pour enregistrer vos paramètres.

   Le fait est ajouté à la liste Faits sur la gauche.

Affichage des informations sur le fait

Lorsque vous sélectionnez un fait, les onglets suivants s'affichent dans le volet central :

• Modèle de schéma en étoile (par défaut) : affiche une représentation graphique des relations du jeu de données dans le datamart.

• Modèle de faits : affiche les jeux de données associés au jeu de données de fait. Les jeux de données que vous avez choisis de dénormaliser lors de l'ajout du fait apparaissent comme sélectionnés (et grisés).

   

  

• Date de transaction : nom de la colonne de transaction si vous avez sélectionné l'option Sélectionner la date de transaction lors de l'ajout du fait.

Traitement des dimensions inconnues et tardives

Chaque dimension contient des lignes -1 et 0, qui constituent la clé métier (l'ID d'objet) de la dimension. La ligne -1 est réservée aux dimensions tardives, tandis que la ligne 0 est réservée aux dimensions inconnues.

Dimensions inconnues

Une donnée « inconnue » est une donnée qui n'était pas disponible lors de la création initiale de la dimension. Imaginons, par exemple, que vous ayez un fait ORDER (Commande) avec une colonne SHIPPER (Transporteur) qui est la clé métier de la dimension SHIPPER. Si la ligne de fait ORDER n'a pas encore été expédiée - et a donc la valeur NULL dans la colonne SHIPPER - elle sera liée à l'enregistrement 0 (qui indique une valeur inconnue pour la dimension). Lorsque le fait ORDER est ultérieurement mis à jour via l'ajout d'une valeur SHIPPER (par exemple, USPS), l'ID de dimension associé (0) sera lui aussi mis à jour.

Dimensions tardives

Une dimension « tardive » possède une clé qui existe dans les nouvelles données de fait, mais qui n'existe pas encore dans la dimension. Par exemple, si la valeur de SHIPPER du fait ORDER est « NEWSHIP », à savoir, un nouveau transporteur, et si cette clé métier n'existe pas encore dans la dimension DIM_SHIPPER, le traitement du datamart reliera ce fait à la ligne -1. Cela indique qu'il manque un membre Dimension dans votre table de dimensions. Lorsque la clé métier « NEWSHIP » arrive pour la dimension DIM_SHIPPER, sa ligne de dimension est créée et l'enregistrement de fait est mis à jour pour s'aligner sur la dimension auparavant manquante.

Création d'un schéma en étoile

Lorsque vous avez ajouté des dimensions à votre datamart, vous pouvez alors poursuivre leur connexion à votre jeu de données de fait, et créer ainsi un schéma en étoile.

Pour effectuer cette action :

1. Sélectionnez votre fait dans la liste Faits sur la gauche.

2. Sélectionnez les dimensions à ajouter depuis la liste Dimensions recommandées à droite.

   Les dimensions recommandées sont présentées comme connectées au jeu de données de fait au moyen d'une ligne en pointillé.

   Sur l'image ci-dessous, certaines des dimensions ont été ajoutées précédemment et sont par conséquent reliées via une ligne grise continue.

   

3. Cliquez sur Appliquer pour ajouter les dimensions.

   Les dimensions seront présentées comme reliées au jeu de données de faits au moyen d'une ligne grise continue.

4. Pour fermer le panneau Dimensions recommandées, cliquez sur .

Remplissage de votre datamart

Lorsque vous avez conçu votre datamart, vous pouvez ensuite le remplir.

Pour effectuer cette action :

1. Cliquez sur le bouton de barre d'outils Préparer en haut à droite.

   Le processus de préparation comprend la création des jeux de données et des vues dans le datamart ainsi que la mise à jour du catalogue.

   Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.

   À la fin de la préparation, le bouton Préparer devient Exécuter.

2. Vous avez la possibilité de valider le datamart comme décrit à la section Validation et synchronisation du datamart ci-dessous.

3. Cliquez sur le bouton Exécuter.

   La fenêtre passe en vue Surveillance, affichant ainsi l'avancement du chargement et l'état des jeux de données dans votre datamart.

   

Le datamart traite tous les enregistrements source, même ceux supprimés. Ce traitement exhaustif permet de garantir la conservation des informations historiques.

Validation et synchronisation du datamart

La validation du datamart garantit que les métadonnées de ce dernier sont identiques aux métadonnées correspondantes dans le Stockage (ou la Transformation, si définie). La validation du datamart compare également les métadonnées créées à la conception de schéma en étoile existante. Par exemple, si vous exécutez la validation après avoir ajouté une dimension à un datamart existant, la validation échouera.

Pour valider le datamart :

1. Sélectionnez Valider les jeux de données dans le menu à droite du bouton Exécuter ou cliquez sur le bouton Valider les jeux de données dans le coin inférieur droit de la fenêtre.

   Un message La validation est terminée apparaîtra.

2. Si les métadonnées ne sont pas synchronisées ou s'il existe des conflits de conception de schéma en étoile, le volet Valider et ajuster au bas de la fenêtre s'ouvrira automatiquement avec le rapport de validation.

   Exemple d'un datamart avec un conflit de conception de schéma en étoile :

   

   Exemple d'un datamart avec des erreurs de validation :

   

3. Pour résoudre tout problème de type Modification de conception en attente, cliquez sur le bouton dans le coin supérieur droit et sélectionnez Préparer. Si la valeur de la colonne Peut être altéré sans perte de données est Oui, une opération ALTER sera effectuée. Sinon, les tables du datamart seront recréées.

   Notez que l'ensemble des Erreurs de validation doivent être résolues manuellement.

Gestion des datamarts

La présente section décrit les différentes options disponibles pour la gestion de vos jeux de données et des datamarts.

Affinage des faits ou des dimensions

L'onglet Jeux de données vous permet d'exécuter diverses opérations pour affiner vos faits et dimensions, telles que la création de règles de transformation (comme, le remplacement des valeurs de colonne) et l'ajout d'expressions au niveau des colonnes. L'onglet Jeux de données se trouve à droite de l'onglet Datamart :

Ajout de règles

Pour accéder à une présentation sur la manière d'ajouter des règles globales, voir Création de règles pour transformer des jeux de données.

Ajout de nouvelles colonnes

Vous pouvez ajouter de nouvelles colonnes au jeu de données cible.

• Ajout d'une nouvelle colonne à partir de rien

  Cliquez sur + Ajouter).

  Donnez un nom à la colonne et fournissez une expression pour définir les données de la colonne.

  Pour plus d'informations, consultez Ajout de colonnes à un jeu de données.

• Ajout d'une colonne à partir d'une source

  Cliquez sur près de Ajouter et sélectionnez Ajouter une colonne de la source.

  Sélectionnez une colonne du jeu de données source.

Réorganisation des colonnes

Vous pouvez modifier la position ordinale d'une colonne.

1. Sélectionnez une colonne.

2. Cliquez sur , puis sur Réorganiser.

3. Utilisez les flèches pour déplacer la colonne vers le haut ou vers le bas.

4. Fermez Modifier l'ordinal lorsque vous êtes prêt.

Dimensions de jeu de rôles

Une dimension de jeu de rôles (ou dimension réutilisable) est la même dimension utilisée plusieurs fois au sein du même schéma en étoile, mais avec différentes significations. On rencontre souvent le cas avec les dimensions Date et Client. Par exemple, votre schéma en étoile peut avoir deux entités Date, l'une représentant la Date de commande et l'autre la Date de réception.

Pour ajouter ou modifier le nom de rôle d'une dimension :

1. Cliquez sur l'icône du nœud de dimension et sélectionnez Modifier le nom de dimension de ce schéma en étoile.

2. Dans la boîte de dialogue Modifier le nom de dimension dans ce schéma en étoile, saisissez un nom (ou modifiez le nom existant) dans le champ Nom de dimension dans ce schéma en étoile et cliquez sur OK.

   Le nouveau nom apparaît sous le nom de dimension d'origine.

Options de gestion supplémentaires

Le tableau suivant décrit les options de gestion supplémentaires :

Planification d'une tâche de datamart

Vous pouvez planifier la mise à jour périodique d'une tâche de datamart Vous pouvez définir une planification à intervalle défini ou définir la tâche de sorte qu'elle soit exécutée à la fin de l'exécution de tâches de données d'entrée.

Cliquez sur ... sur une tâche de données et sélectionnez Planification pour créer une planification. Le paramètre de planification par défaut est hérité des paramètres du projet. Pour plus d'informations sur les paramètres par défaut, voir Valeurs par défaut du datamart.

Pour activer la planification, vous devez définir Planification sur Activée.

Planifications à intervalles définis

Vous pouvez utiliser une planification à intervalle défini pour exécuter la tâche, quel que soit le moment de la mise à jour des différentes sources d'entrée.

• Sélectionnez À une heure spécifique dans Exécuter la tâche de données.

Vous pouvez définir une planification horaire, quotidienne, hebdomadaire ou mensuelle.

Planifications basées sur des événements

Vous pouvez utiliser une planification basée sur un événement pour exécuter la tâche à la fin de l'exécution de tâches de données d'entrée.

• Sélectionnez Lors d'un événement spécifique dans Exécuter la tâche de données.

Vous pouvez décider d'exécuter la tâche lorsque n'importe laquelle des tâches d'entrée a été correctement exécutée ou lorsque n'importe quelle tâche d'entrée d'une sélection de tâches d'entrée a été correctement exécutée.

Chargement de données

Vous pouvez effectuer un chargement manuel des données. Cela s'avère utile en cas de problèmes avec une ou plusieurs tables.

1. Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.

2. Sélectionnez les tables à charger.

   Lorsqu'une dimension est sélectionnée pour être actualisée, tous les faits qui utilisent cette dimension sont eux aussi actualisés pour maintenir l'intégrité.

3. Cliquez sur Charger des tables.

Vous pouvez annuler le chargement des tables en attente de chargement en cliquant sur Annuler le chargement. Cela n'affectera pas les tables déjà chargées, et les chargements en cours d'exécution seront effectués jusqu'au bout.

Le chargement s'effectue comme suit :

1. Troncage des dimensions et faits sélectionnés.

2. Chargement des tables de dimensions sélectionnées depuis la tâche de données en amont.

3. Chargement des tables de faits depuis la tâche de données en amont. Cela inclut les éléments suivants :

   • Tables de faits explicitement sélectionnées.

   • Tables de faits associées à une dimension actualisée.

Paramètres du datamart

Cliquez sur le bouton de barre d'outils Paramètres pour accéder à la boîte de dialogue Paramètres : <data-mart-name>.

Paramètres généraux

Dans l'onglet Général, les paramètres suivants sont disponibles :

• Base de données : base de données dans laquelle le datamart est créé.
• Schéma de tâche de données : schéma dans lequel les jeux de données sont créés.
• Schéma interne : schéma dans lequel les jeux de données internes sont créés.

• Casse par défaut du nom du schéma

  Vous pouvez définir la mise en majuscules par défaut de tous les noms de schéma. Si votre base de données est configurée de sorte à forcer la mise en majuscules, cette option n'aura pas d'effet.

• Préfixe de l'ensemble des tables et des vues

  Vous pouvez définir un préfixe pour toutes les tables et vues créées avec cette tâche.

  Note InformationsLorsque vous souhaitez utiliser un schéma de base de données dans plusieurs tâches de données, vous devez utiliser un préfixe unique.

Paramètres d'exécution

L'onglet Délai d'exécution contient les paramètres suivants :

• Exécution parallèle : saisissez le nombre maximum de connexions de base de données que Qlik Cloud peut ouvrir pour la tâche. Par défaut, le nombre est défini sur 10.
• Entrepôt : ne s'applique qu'à Snowflake. Nom de l'entrepôt de données Snowflake.

Paramètres du catalogue

• Publier dans le catalogue

  Sélectionnez cette option pour publier cette version des données dans Catalogue sous forme d'ensemble de données. Le contenu de Catalogue sera mis à jour la prochaine fois que vous préparerez cette tâche.

Pour plus d'informations sur Catalogue, consultez Comprendre vos données grâce à des outils de catalogage.

Paramètres de type de vue

Les paramètres de type de vue ne s'appliquent qu'à Snowflake.

• Vues standards

  Utilisez Vues standards dans la plupart des cas.

• Vues sécurisées Snowflake

  Utilisez Vues sécurisées Snowflake pour les vues désignées pour la confidentialité des données ou la protection des informations sensibles telles que les vues créées pour limiter l'accès aux données sensibles qui ne doivent pas être exposées à tous les utilisateurs des tables sous-jacentes.

  Note Informations L'exécution de Vues sécurisées Snowflake peut être plus lente que celle de Vues standards.

Paramètres du type de table

Ces paramètres ne sont disponibles que dans les projets dont la plateforme de données est Snowflake.

• Type de table

  Vous pouvez sélectionner le type de table à utiliser :

  • Tables Snowflake

  • Tables Iceberg gérées par Snowflake

    Vous devez définir le nom par défaut du volume externe dans Volume externe Snowflake.

• Dossier de stockage Cloud à utiliser

  Sélectionnez le dossier à utiliser lors du dépôt temporaire de données dans la zone intermédiaire.

  • Dossier par défaut

    Cela crée un dossier portant le nom par défaut suivant : <nom de projet>/<nom de tâche de données>.

  • Dossier racine

    Conservez les données dans le dossier racine du stockage.

  • Dossier

    Indiquez le nom de dossier à utiliser.

• Synchroniser avec le catalogue ouvert de Snowflake

  Activez cette option pour permettre au catalogue ouvert de Snowflake de gérer les fichiers dans le stockage de fichiers Cloud.

Limitations

Il existe des limitations lorsque vous utilisez des jeux de données sources remplissant l'ensemble de ces conditions :

• Créé par une transformation SQL ou un flux de transformation

• Non matérialisé

• Data store historique (Type 2) désactivé

Ces jeux de données sont considérés comme mis à jour à chaque exécution, ce qui peut affecter l'efficacité et le coût. Vous pouvez atténuer ce problème en :

• modifiant les jeux de données sources à matérialiser ;

• utilisant des transformations de jeux de données explicites ;

• créant des règles globales qui transforment plusieurs jeux de données.

Relations

• Il n'est pas possible de lier des données provenant de deux jeux de données. Créez une tâche de transformation dans laquelle vous définissez la relation dans le modèle de données et utilisez la tâche de transformation comme source de la tâche.

• Lorsque deux jeux de données sont liés dans le modèle de données, les deux jeux de données seront disponibles dans la tâche, même si vous n'avez sélectionné qu'un seul des jeux de données.