Stockage d'ensembles de données

Vous pouvez stocker des ensembles de données via une tâche de données de stockage. La tâche de données de stockage consomme les données déposées temporairement dans la zone de dépôt temporaire cloud par une tâche de données de dépôt temporaire. Vous pouvez utiliser les tables dans une application analytique, par exemple.

• Vous pouvez concevoir une tâche de données de stockage lorsque l'état de la tâche de données de dépôt temporaire affiche au moins la valeur Prêt pour la préparation.

• Vous pouvez préparer une tâche de données de stockage lorsque l'état de la tâche de données de dépôt temporaire affiche au moins la valeur Prêt à s'exécuter.

La tâche de données de stockage utilisera le même mode de fonctionnement (Chargement complet ou Chargement complet et capture des changements) que celui de la tâche de données de dépôt temporaire consommée. Les propriétés de configuration sont différentes entre les deux modes de fonctionnement, ainsi que les options de surveillance et de contrôle. Si vous utilisez une tâche de données de dépôt temporaire cible cloud avec Chargement complet uniquement, la tâche de données de stockage créera des vues vers les tables de dépôt temporaire au lieu de générer des tableaux physiques.

Création d'une tâche de données de stockage

Vous créez une tâche de données de stockage de trois manières différentes :

• Cliquez sur ... sur une tâche de données de dépôt temporaire et sélectionnez Stocker les données afin de créer une tâche de données de stockage basée sur cette ressource de données de dépôt temporaire.

• Cliquez sur Ajouter nouveau, puis sur Stocker les données. Dans ce cas, vous devez indiquer la tâche de données de dépôt temporaire à utiliser.

• Lorsque vous intégrez des données, une tâche de données de stockage est créée. Elle est connectée à la tâche de données de dépôt temporaire également créé lors de l'intégration des données.

  Pour plus d'informations, voir Intégration de données.

Une fois que vous avez créé la tâche de données de stockage :

1. Ouvrez la tâche de données de stockage en cliquant sur ... et en sélectionnant Ouvrir.
   La tâche de données de stockage s'ouvre et vous pouvez prévisualiser les ensembles de données de sortie basés sur les tables de la ressource de données de dépôt temporaire.

2. Apportez toutes les modifications nécessaires aux ensembles de données inclus, telles que des transformations, le filtrage des données et l'ajout de colonnes.

   Pour plus d'informations, voir Gestion des ensembles de données.

3. Lorsque vous avez ajouté les transformations souhaitées, vous pouvez valider les ensembles de données en cliquant sur Valider les ensembles de données. Si la validation détecte des erreurs, corrigez-les avant de poursuivre.

   Pour plus d'informations, voir Validation et ajustement des ensembles de données.

4. Créer un modèle de données

   Cliquez sur Modèle pour définir les relations entre les ensembles de données inclus.

   Pour plus d'informations, voir Création d'un modèle de données.

5. Cliquez sur Préparer pour préparer la tâche de données et tous les artefacts nécessaires. Cette opération peut prendre un certain temps.

   Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.

6. Lorsque l'état affiche la valeur Prêt à s'exécuter, vous pouvez exécuter la tâche de données.

   Cliquez sur Exécuter.

   La tâche de données commence maintenant à créer des ensembles de données pour stocker les données.

Conservation des données historiques

Vous pouvez conserver les données historiques de modification de type 2 pour faciliter la recréation des données à l'identique à un instant précis. Cela crée une banque de données historiques (Historical Data Store ou HDS) complète.

• Les dimensions à changement lent de type 2 sont prises en charge.

• La fusion d'un enregistrement modifié crée un nouvel enregistrement permettant de stocker les données modifiées et de conserver l'ancien enregistrement intact.

• Les nouveaux enregistrements HDS sont automatiquement horodatés afin de vous permettre de créer une analyse des tendances et d'autres mini-data warehouses analytiques axés sur le temps.

Vous pouvez activer les données historiques en cliquant sur les éléments suivants :

• Replication avec les données actuelles et l'historique des données précédentes dans Paramètres lors de l'intégration de données.

• Conserver les enregistrements des modifications historiques et modifier l'archive des enregistrements dans la boîte de dialogue Paramètres d'une tâche de stockage.

Les données HDS sont stockées dans la table Prior du schéma de données interne. Vous pouvez utiliser les vues Historique et Historique en direct du schéma de données externe pour consulter les données historiques.

• La vue Historique fusionne les données de la table Current et de la table Prior. Cette vue inclut toutes les modifications fusionnées.

• La vue Historique en direct fusionne les données de la table Current, de la table Prior et de la table Changes. Cette vue inclut également toutes les modifications non encore fusionnées.

Pour plus d'informations, voir Architecture de l'ensemble de données dans un entrepôt de données cloud.

Planification d'une tâche de stockage

Vous pouvez planifier la mise à jour périodique d'une tâche de stockage.

• Si la tâche de données de dépôt temporaire d'entrée utilise Chargement complet et CDC, vous pouvez définir uniquement une planification à intervalle défini.

• Si la tâche de données de dépôt temporaire d'entrée utilise Chargement complet, vous pouvez définir une planification à intervalle défini ou déclencher l'exécution de la tâche à la fin de l'exécution de la tâche de données de dépôt temporaire d'entrée.

  Note InformationsLorsque vous exécutez une planification à intervalle défini avec une tâche de données de dépôt temporaire d'entrée via Chargement complet, n'oubliez pas que chaque table terminée en dépôt temporaire est disponible alors que la tâche de dépôt temporaire est encore en cours d'exécution. Cela vous permet d'exécuter simultanément le dépôt temporaire et le stockage, ce qui peut améliorer le temps de chargement total.

Cliquez sur ... sur une tâche de données et sélectionnez Planification pour créer une planification. Les paramètres de planification par défaut sont hérités des paramètres du projet de données. Pour plus d'informations sur les paramètres par défaut, voir Valeurs par défaut du stockage. Pour activer la planification, vous devez toujours définir Planification sur Activée.

Planifications à intervalles définis

Vous pouvez utiliser une planification à intervalle défini pour exécuter la tâche de données de stockage, quel que soit le type de dépôt temporaire.

• Sélectionnez À une heure spécifique dans Exécuter la tâche de données.

Vous pouvez définir une planification horaire, quotidienne, hebdomadaire ou mensuelle.

Planifications basées sur des événements

• Sélectionnez À la fin de toute tâche de données d'entrée dans Exécuter la tâche de données.

La tâche de stockage s'exécutera chaque fois que la tâche de données de dépôt temporaire d'entrée se sera terminée correctement.

Surveillance d'une tâche de stockage

Vous pouvez surveiller l'état et la progression d'une tâche de stockage en cliquant sur Surveiller.

Pour plus d'informations, voir Surveillance d'une tâche de données individuelle.

Résolution des problèmes d'une tâche de données de stockage

En cas de problèmes avec une ou plusieurs tables dans une tâche de données de stockage, vous devrez peut-être actualiser ou recréer les données. Pour ce faire, il existe quelques options disponibles. Réfléchissez à l'option à utiliser dans l'ordre suivant :

1. Vous pouvez charger l'ensemble de données dans le dépôt temporaire. Le chargement de l'ensemble de données dans le dépôt temporaire déclenchera le processus de comparaison dans le stockage et corrigera les données tout en conservant l'historique de type 2. Cette option doit être également envisagée dans les cas suivants :

   • Le chargement complet a été effectué il y a longtemps et il existe un grand nombre de modifications.

   • Si un chargement complet et des enregistrements de tables modifiées traités ont été supprimés par la maintenance de la zone de dépôt temporaire.

   Dépôt temporaire de données à partir de sources de données

2. Vous pouvez charger les données dans la tâche de données de stockage.

   Si les données d'historique sont activées, un chargement du stockage peut conduire à une perte des données d'historique. Si cela pose problème, pensez à charger plutôt le dépôt temporaire auprès de la source.

   Chargement de données

3. Vous pouvez recréer les tables. Cette option permet de recréer les ensembles de données depuis la source.

   Cette option doit être considérée en dernier recours, car vous devez également recréer l'ensemble des tâches de données en aval qui consomment cette tâche de données.

   • Cliquez sur ..., puis sur Recréer les tables.

Chargement de données

Vous pouvez effectuer un chargement manuel des tables. Cela s'avère utile en cas de problèmes avec une ou plusieurs tables.

1. Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.

2. Sélectionnez les tables à charger.

3. Cliquez sur Charger des tables.

Le chargement se produira lors de la prochaine exécution de la tâche et s'effectuera comme suit :

1. Troncage des tables.

2. Chargement des données de dépôt temporaire dans les tables.

3. Chargeant des modifications accumulées depuis le moment du chargement.

Les tâches en aval seront actualisées de sorte à appliquer les modifications et à éviter un antidatage. Cela s'effectue comme suit :

1. Réalisation d'une comparaison avec le chargement complet et application des modifications.

2. Application des modifications apparues après le chargement.

Vous pouvez annuler le chargement des tables en attente de chargement en cliquant sur Annuler le chargement. Cela n'affectera pas les tables déjà chargées, et les chargements en cours d'exécution seront effectués jusqu'au bout.

Il est recommandé, dans certains cas, de charger l'ensemble de données dans le dépôt temporaire :

• Si les données d'historique sont activées, un chargement du stockage peut conduire à une perte des données d'historique. Le chargement de l'ensemble de données dans le dépôt temporaire déclenchera le processus de comparaison dans le stockage et corrigera les données tout en conservant l'historique de type 2.

• Lorsque le chargement complet a été effectué, il y a longtemps et qu'il y a un grand nombre de modifications.

• Si un chargement complet et des enregistrements de tables modifiées traités ont été supprimés par la maintenance de la zone de dépôt temporaire.

Paramètres de stockage

Vous pouvez définir les propriétés de la tâche de données de stockage lorsque la plateforme de données est un entrepôt de données cloud. Si vous utilisez Qlik Cloud comme plateforme de données, voir Paramètres de stockage des projets de données avec Qlik Cloud comme plateforme de données.

• Cliquez sur Paramètres.

Paramètres généraux

• Base de données

  Base de données à utiliser dans la source de données.

• Schéma de tâche de données

  Vous pouvez modifier le nom du schéma de tâche de données de stockage. Le nom par défaut correspond au nom de la tâche de stockage.

• Schéma interne

  Vous pouvez modifier le nom du schéma de ressource de données de stockage interne. Le nom par défaut correspond au nom de la tâche de stockage auquel _internal est ajouté.

• Préfixe de l'ensemble des tables et des vues

  Vous pouvez définir un préfixe pour toutes les tables et vues créées avec cette tâche.

  Note InformationsLorsque vous souhaitez utiliser un schéma de base de données dans plusieurs tâches de données, vous devez utiliser un préfixe unique.

• Historique

  Vous pouvez conserver les données historiques de changement pour faciliter la recréation des données à l'identique à un instant précis. Les vues Historique et Historique en direct vous permettent de consulter les données historiques. Sélectionnez Conserver les enregistrements historiques et modifier l'archive des enregistrements pour activer les données de modification historiques.

• Lors de la comparaison du stockage au dépôt temporaire, vous pouvez choisir le mode de gestion des enregistrements qui n'existent pas dans le dépôt temporaire.

  • Indiquer comme supprimé

    Cette option permet de supprimer de manière réversible des enregistrements qui n'existent pas dans le dépôt temporaire.

  • Conserver

    Cette option permet de conserver l'ensemble des enregistrements qui n'existent pas dans le dépôt temporaire

  Note InformationsLes ensembles de données compris dans la tâche de données de stockage doivent avoir un jeu de clés primaires. Dans le cas contraire, le système effectue un chargement initial dans la tâche de données de stockage chaque fois que des données de dépôt temporaire sont chargées.

Paramètres des vues

• Vues en direct

  Pour lire les tables dont la latence est la plus faible, utilisez des vues en direct.

  Pour plus d'informations sur les vues en direct, voir Utilisation des vues en direct.

  Note InformationsLes vues en direct sont moins efficaces que les vues standard et demandent plus de ressources, car les données appliquées doivent être recalculées.

Paramètres d'exécution

• Exécution parallèle

  Vous pouvez définir le nombre maximal de connexions de données pour les chargements complets sur un nombre compris entre 1 et 5.

• Entrepôt

  Nom de l'entrepôt de données cloud. Ce paramètre ne s'applique qu'à Snowflake.

Paramètres de stockage des projets de données avec Qlik Cloud comme plateforme de données

Vous pouvez définir le dossier à utiliser dans le stockage lorsque la plateforme de données utilisée est Qlik Cloud.

1. Cliquez sur Paramètres.

2. Sélectionnez le dossier à utiliser lors du stockage.

3. Lorsque vous êtes prêt, cliquez sur OK.

Opérations sur la tâche de données de stockage

Vous pouvez effectuer les opérations suivantes sur une tâche de données de stockage depuis le menu Tâches.

• Ouvrir

  Cela ouvre la tâche de données de stockage. Vous pouvez afficher la structure de la table et les détails sur la tâche de données et surveiller l'état du chargement complet et des lots de modifications.

• Éditer

  Vous pouvez modifier le nom et la description de la tâche et ajouter des balises.

• Supprimer

  Vous pouvez supprimer la tâche de données.

• Préparer

  Cela permet de préparer l'exécution d'une tâche. Cela inclut les éléments suivants :

  • Vérification que la conception est valide.

  • Création ou modification des tableaux et vues physiques afin qu'ils correspondent à la conception.

  • Génération du code SQL de la tâche de données.

  • Création ou modification des entrées de catalogue des ensembles de données de sortie des tâches.

  Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.

• Valider les ensembles de données

  Cette option permet de valider tous les ensembles de données inclus dans la tâche de données.

  Développez Valider et ajuster pour voir toutes les erreurs de validation et les changements de conception.

• Recréer les tables

  Cette option permet de recréer les ensembles de données depuis la source.

  Vous devez également recréer l'ensemble des tâches de données en aval qui consomment cette tâche de données.

• Arrêter

  Vous pouvez arrêter l'opération de la tâche de données. La tâche de données ne continuera pas à mettre à jour les tables.

  Note InformationsCette option est disponible lors de l'exécution de la tâche de données.

• Reprendre

  Vous pouvez reprendre l'opération d'une tâche de données au point où elle avait été arrêtée.

  Note InformationsCette option est disponible lors de l'arrêt de la tâche de données.

• Transformer les données

  Créez des transformations réutilisables au niveau de la ligne en fonction de règles et de SQL personnalisé. Cela crée une tâche Transformer les données.

  Transformation des données

• Créer un mini-data warehouse

  Créez un mini-data warehouse pour utiliser vos tâches de données. Cette opération permet de créer une tâche de données Mini-data warehouse.

  Création et gestion de mini-data warehouses

Limitations

• Si la tâche de données contient des ensembles de données et si vous modifiez des paramètres de la connexion, par exemple le nom d'utilisateur, la base de données ou le schéma, le système suppose que les données existent au nouvel emplacement. Dans le cas contraire, vous pouvez :

  • déplacer les données de la source vers le nouvel emplacement ;

  • créer une tâche de données avec les mêmes paramètres.