Accéder au contenu principal Passer au contenu complémentaire

Dépôt temporaire de données à partir de sources de données

La première étape de transfert des données, lors de l'intégration, consiste à déposer temporairement les données. Cela implique de toujours transférer les données de la source de données locale vers une zone de dépôt temporaire.

Vous pouvez déposer temporairement des données depuis plusieurs sources de données via des connexions source.

La zone de dépôt temporaire est définie lorsque vous créez le projet de données.

  • Qlik Cloud (via Amazon S3)

    Lorsque vous déposez temporairement des données dans Qlik Cloud (viaAmazon S3), vous pouvez les utiliser pour générer des tables QVD prêtes pour l'analyse dans Qlik Cloud.

  • Entrepôt de données cloud

    Lorsque vous déposez temporairement des données dans un entrepôt de données cloud tel que Snowflake ou Azure Synapse Analytics, vous pouvez stocker des tables dans le même entrepôt de données cloud.

Note InformationsLes tâches de données fonctionnent dans le contexte de leur propriétaire. Pour plus d'informations sur les rôles et les autorisations nécessaires, voir Rôles et autorisations au sein d'un espace de données.

Création et configuration d'une tâche de données de dépôt temporaire

Cette section explique comment créer une tâche de données de dépôt temporaire. Le moyen le plus rapide de créer un pipeline de données est d'intégrer des données, ce qui crée une tâche de données de dépôt temporaire et une tâche de données de stockage, prêtes à la préparation et à l'exécution. Pour plus d'informations, voir Intégration de données.

  1. Cliquez sur Ajouter nouveau dans la zone d'accueil Qlik Cloud Data Integration, puis sélectionnez Déposer temporairement les données.
  2. Dans la boîte de dialogue Déposer temporairement les données , saisissez le nom et la description de la tâche de données.

    Sélectionnez Ouvrir pour ouvrir la tâche de données de dépôt temporaire une fois qu'elle a été créée.

    Cliquez sur Créer.

  3. Cliquez sur Sélectionner des données sources.

  4. Sélectionnez une connexion de données aux données sources et cliquez sur Suivant.

    Vous pouvez utiliser les filtres du panneau gauche pour filtrer la liste de connexions en fonction du type de source, de l'espace et du propriétaire.

    Si vous n'avez pas encore de connexion de données à la source de données, vous devez commencer par en créer une en cliquant sur Ajouter une connexion.

    Pour plus d'informations sur la création d'une connexion aux sources prises en charge, voir Connexion aux sources de données.

    Note InformationsLorsque vous avez sélectionné plusieurs tables à l'étape suivante, il est impossible de remplacer la connexion aux données sources provenant d'une source de données locale par une source de données cloud, ou vice versa. Vous pouvez uniquement modifier la connexion à une autre source de données du même type.
  5. Sélectionnez les tables et les vues à inclure dans la ressource de données. La boîte de dialogue de sélection varie selon le type de source auquel vous vous êtes connecté.

    Lorsque vous avez fini de sélectionner des tables, cliquez sur Enregistrer.

    Jeux de données apparaît.

  6. Vous pouvez modifier des paramètres pour le dépôt temporaire. Cela n'est pas nécessaire.

    • Cliquez sur Paramètres.

    Pour plus d'informations sur les paramètres, voir Paramètres de dépôt temporaire.

  7. Vous pouvez désormais prévisualiser la structure et les métadonnées des tables de ressources de données sélectionnées. Sont concernées toutes les tables répertoriées de manière explicite, ainsi que les tables correspondant aux règles de sélection.

    Si vous souhaitez ajouter d'autres tables provenant de la source de données, cliquez sur Sélectionner des données sources.

  8. Vous pouvez effectuer des transformations de base sur les ensembles de données, comme par exemple filtrer des données ou ajouter des colonnes. Cela n'est pas nécessaire.

    Pour plus d'informations, voir Gestion des ensembles de données.

  9. Lorsque vous avez ajouté les transformations souhaitées, vous pouvez valider les ensembles de données en cliquant sur Valider les ensembles de données. Si la validation détecte des erreurs, corrigez-les avant de poursuivre.

    Pour plus d'informations, voir Validation et ajustement des ensembles de données.

  10. Lorsque vous êtes prêt, cliquez sur Préparer pour cataloguer la tâche de données et la préparer pour l'exécution.

    Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.

  11. Une fois la tâche de données préparée, lorsque vous êtes prêt à lancer la réplication de données, cliquez sur Exécuter.

La réplication doit commencer. Vous pouvez voir son état d'avancement dans Contrôler. Pour plus d'informations, voir Surveillance d'une tâche de données individuelle.

Sélection de données à partir d'une base de données

Vous pouvez sélectionner certaines tables ou vues, ou utiliser des règles de sélection pour inclure ou exclure des groupes de tables.

Note InformationsSi la sélection comprend des vues, CDC n'est pas pris en charge.

Utilisez % comme caractère générique pour définir des critères de sélection pour les schémas et les tables.

  • %.% définit toutes les tables de tous les schémas.

  • Public.% définit toutes les tables du schéma Public.

Critères de sélection vous fournit un aperçu selon vos sélections.

Vous pouvez effectuer l'une des deux opérations suivantes :

  • Créez une règle pour inclure ou exclure un groupe de tables en fonction des critères de sélection.

    Cliquez sur Ajouter une règle à partir des critères de sélection pour créer une règle, puis sélectionnez Inclure ou Exclure.

    Vous pouvez voir la règle sous Règles de sélection.

  • Sélectionnez un ou plusieurs ensembles de données, puis cliquez sur Ajouter les ensembles de données sélectionnés.

    Vous pouvez voir les ensembles de données ajoutés sous Ensembles de données sélectionnés de manière explicite.

Les règles de sélection ne s'appliquent qu'à l'ensemble actuel de tables et de vues, et non aux tables et aux vues ajoutées après.

Exécution d'une tâche de dépôt temporaire avec Change Data Capture (CDC)

Vous pouvez exécuter la tâche de dépôt temporaire quand elle est préparée. Cela démarre la réplication qui transfère les données de la source de données sur site vers la zone de dépôt temporaire.

  • Cliquez sur Exécuter pour démarrer le dépôt temporaire des données.

La réplication doit commencer. La ressource de données aura l'état En cours d'exécution. Pour commencer, la source de données complète est copiée, puis les modifications sont suivies. Cela signifie que les modifications sont continuellement recherchées et transférées, une fois découvertes. Cela maintient à jour les données de dépôt temporaire de la zone de dépôt temporaire.

Sur la page d'accueil de Qlik Cloud Data Integration, vous pouvez afficher l'état, la date et l'heure de mise à jour des données de dépôt temporaire, ainsi que le nombre de tables en erreur. Vous pouvez également ouvrir la ressource de données et sélectionner l'onglet Tables pour afficher les informations de métadonnées de base des tables.

Vous pouvez suivre l'état d'avancement en détail en ouvrant l'onglet Contrôler. Pour plus d'informations, voir Surveillance d'une tâche de données individuelle.

Lorsque toutes les tables sont chargées et que le premier ensemble de modifications est traité, le champ Les données sont mises à jour au de la carte de la ressource de données indique que des changements de la source jusqu'à ce point sont disponibles dans la tâche de données.

Chargement de tables

Vous pouvez actualiser les données de la source.

Chargement de tables individuelles

Vous pouvez actualiser manuellement des tables spécifiques sans interférer avec Change Data Capture (CDC). Cela s'avère utile en cas de problèmes CDC avec une ou plusieurs tables.

  1. Ouvrez la tâche de données de dépôt temporaire et sélectionnez l'onglet Surveiller.

  2. Sélectionnez les tables à charger.

  3. Cliquez sur Charger des tables.

Note InformationsCette option deviendra disponible une fois que cette tâche de dépôt temporaire a été exécutée au moins une fois. Si vous cliquez dessus alors que la tâche de dépôt temporaire n'est pas en cours d'exécution, les tables seront actualisées lors de l'exécution suivante de la tâche.

Si vous ne parvenez pas à résoudre les problèmes en actualisant les tables, ou si les problèmes affectent la tâche toute entière, à la place, vous pouvez actualiser l'ensemble des tables dans la cible. Cette opération redémarrera Change Data Capture (CDC).

Actualisation de l'ensemble des tables dans la cible

Vous pouvez actualiser l'ensemble des tables dans la cible, si vous rencontrez des problèmes liés à CDC qui ne peuvent pas être résolus en actualisant des tables spécifiques. Exemples de problèmes rencontrés : événements manquants, problèmes causés par la réorganisation de la base de données source ou échec de lecture des événements de la base de données source.

Note InformationsCette opération est disponible uniquement pour les tâches avec la méthode de mise à jour Change Data Capture (CDC) et qui ont été exécutées au moins une fois.

  1. Arrêtez la tâche de données et l'ensemble des tâches qui la consomment.
  2. Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.

  3. Cliquez sur ..., puis sur Actualiser la cible.

Cette opération actualise l'ensemble des tables de la cible via une action Abandonner-Créer et redémarre la totalité de la capture des données de modification à partir de ce point.

  • Les tâches de stockage qui consomment la tâche de données de dépôt temporaire sont actualisées via une opération Comparer et appliquer lors de leur prochaine exécution afin d'être synchronisées. L'historique existant est conservé. L'historique de type 2 sera mis à jour pour refléter les modifications après l'exécution du processus Charger et comparer.

    L'horodatage de la date de début de l'historique de type 2 reflétera la date de chargement et pas forcément la date à laquelle la modification a eu lieu dans la source.

  • Les vues de stockage en direct ne seront pas fiables, lors de l'opération d'actualisation de la cible et tant que le stockage n'aura pas été synchronisé. Le stockage est entièrement synchronisé lorsque :

    • toutes les tables sont actualisées via Comparer et appliquer ;

    • un cycle de modifications est réalisé pour chaque table.

Note InformationsLes modifications des métadonnées ne sont pas prises en charge. En présence de modifications des métadonnées dans la source, celles-ci sont propagées au dépôt temporaire lors de l'actualisation des données, mais elles ne seront pas traitées correctement. Cela peut entraîner l'échec du stockage de consommation.

Exécution d'une tâche de données de dépôt temporaire avec Charger et comparer

Vous pouvez copier des données via la tâche de données de dépôt temporaire quand elle est préparée.

  • Cliquez sur Exécuter pour démarrer le chargement complet.

Les données vont maintenant commencer à être copiées, et le statut de la tâche de données sera En cours. Une fois la source de données complète copiée, son état est Terminé.

Sur la page d'accueil de Qlik Cloud Data Integration, vous pouvez afficher l'état, la date et l'heure de mise à jour des données de dépôt temporaire, ainsi que le nombre de tables en erreur. Vous pouvez également ouvrir la ressource de données et sélectionner l'onglet Tables pour afficher les informations de métadonnées de base des tables.

Vous pouvez suivre l'état d'avancement en détail en ouvrant l'onglet Contrôler. Pour plus d'informations, voir Surveillance d'une tâche de données individuelle.

Lorsque toutes les tables sont chargées, le champ Les données sont mises à jour au de la carte de la tâche de données indique que des changements de la source jusqu'à ce point sont disponibles dans la ressource de données. Cependant, certaines tables de la tâche de données peuvent être mises à jour ultérieurement, suivant le moment où leur chargement a commencé. Cela signifie que la cohérence des données n'est pas garantie. Par exemple, si le chargement a commencé à 08h00 et qu'il a pris 4 heures, Les données sont mises à jour au indiquera 08h00 lorsque le chargement sera terminé. En revanche, une table dont le chargement a démarré à 11h30 inclura les changements de la source qui se sont produits entre 08h00 et 11h30.

Le champ Les données sont mises à jour au reflète uniquement les tables correctement chargées. Il n'indique aucune information concernant les tables dont le chargement a échoué. Dans les cibles cloud, si un chargement est effectué avec toutes les tables en état d'erreur, le champ sera vide.

Chargement de données lors de l'utilisation de Charger et comparer

Lorsque vous utilisez Charger et comparer comme méthode de mise à jour, vous devez charger les données pour les maintenir à jour par rapport à la source de données.

  • Cliquez sur Charger pour effectuer un chargement manuel de l'ensemble des tables.

  • Configurez un chargement planifié.

Chargement de tables individuelles

Vous pouvez actualiser des tables spécifiques manuellement. Cela s'avère utile en cas de problèmes avec une ou plusieurs tables.

  1. Ouvrez la tâche de données de dépôt temporaire et sélectionnez l'onglet Surveiller.

  2. Sélectionnez les tables à charger.

  3. Cliquez sur Charger des tables.

Note Informations
  • Cette option deviendra disponible une fois que la tâche de dépôt temporaire aura été exécutée au moins une fois et uniquement lorsque la tâche n'est pas en cours d'exécution.
  • Les modifications des métadonnées ne sont pas prises en charge. En présence de modifications des métadonnées dans la source, celles-ci sont propagées au dépôt temporaire lors de l'actualisation des données, mais elles ne seront pas traitées correctement. Cela peut entraîner l'échec du stockage de consommation.

Planification d'une tâche de données de dépôt temporaire Charger et comparer

Vous pouvez planifier des chargements périodiques de la tâche de données de dépôt temporaire si vous disposez du rôle Peut utiliser dans l'espace de la tâche de données. Pour que la planification soit active, il faut que le statut de la tâche de données soit au minimum Préparé.

  • Cliquez sur ... sur une tâche de données et sélectionnez Planification.

    Vous pouvez définir une planification à intervalle défini.

Note InformationsSi une tâche de données est encore en cours de chargement lorsque le chargement planifié est sur le point de démarrer, ce dernier est ignoré jusqu'à l'événement de chargement planifié suivant.

Définition de la priorité de chargement des ensembles de données

Vous pouvez contrôler l'ordre de chargement des ensembles de données de votre tâche de données en attribuant une priorité de chargement à chaque ensemble de données. Cela peut être utile, par exemple, si vous souhaitez charger les ensembles de données plus petits avant les grands.

  1. Cliquez sur Priorité de chargement.

  2. Sélectionnez une priorité de chargement pour chaque ensemble de données.

    La priorité de chargement par défaut est Normale. Les ensembles de données seront chargés dans l'ordre de priorité suivant :

    • La plus élevée

    • Plus élevée

    • Élevée

    • Normale

    • Faible

    • Plus faible

    • La plus faible

    Les ensembles de données ayant la même priorité ne sont pas chargés dans un ordre particulier.

  3. Cliquez sur OK.

Note InformationsLes ensembles de données provenant d'applications SaaS sources peuvent contenir des dépendances relatives à l'ordre de chargement. Prenez ces dépendances en considération lors de la configuration de la priorité de chargement.

Opérations sur la tâche de données de dépôt temporaire

Vous pouvez effectuer les opérations suivantes sur une tâche de données de dépôt temporaire depuis le menu Tâches.

  • Ouvrir

    Cela ouvre la tâche de données de dépôt temporaire. Vous pouvez afficher la structure des tables et les détails de la tâche de données.

  • Éditer

    Vous pouvez éditer le nom et la description de la tâche.

  • Supprimer

    Vous pouvez supprimer la tâche de données.

    Les objets suivants ne sont pas supprimés et doivent l'être manuellement :

    • Données de la zone de chargement temporaire.

  • Exécuter

    Vous pouvez exécuter la tâche de données pour démarrer la copie de données.

    Exécution d'une tâche de dépôt temporaire avec Change Data Capture (CDC)

    Exécution d'une tâche de données de dépôt temporaire avec Charger et comparer

  • Arrêter

    Vous pouvez arrêter l'opération d'une tâche de données en cours d'exécution. La zone de dépôt temporaire n'est pas mise à jour avec les données modifiées.

    Lorsque vous arrêtez une tâche de données Chargement complet avec une planification de chargement, seul le chargement en cours est arrêté. Si l'état de la tâche de données est À l'arrêt et si un chargement planifié est actif, son chargement reprendra à l'heure planifiée suivante. Vous devez désactiver la planification du chargement dans Planification du chargement.

  • Charger

    Vous pouvez effectuer un chargement manuel d'une tâche de données en mode de mise à jour Charger et comparer.

  • Préparer

    Cela permet de préparer l'exécution d'une tâche. Cela inclut les opérations suivantes :

    • Vérification que la conception est valide.

    • Création ou modification des tableaux et vues physiques afin qu'ils correspondent à la conception.

    • Génération du code SQL de la tâche de données.

    • Création ou modification des entrées de catalogue des ensembles de données de sortie des tâches.

    Vous pouvez suivre la progression sous Progression de la préparation dans la partie inférieure de l'écran.

  • Recréer les tables

    Cette option permet de recréer les ensembles de données depuis la source.

    Vous devez également recréer l'ensemble des tâches de données en aval qui consomment cette tâche de données.

  • Planification

    Vous pouvez configurer un chargement planifié pour les tâches de données de dépôt temporaire en mode Chargement complet. Vous pouvez définir une planification à intervalle défini qui peut être personnalisée.

    Vous pouvez également activer ou désactiver les chargements planifiés.

    Pour pouvoir planifier des chargements, vous devez disposer du rôle Peut utiliser sur l'espace de la tâche de données.

  • Stocker les données

    Vous pouvez créer une tâche de données de stockage qui utilise des données provenant de cette tâche de données de dépôt temporaire.

Suppression de colonnes

Si vous déposez temporairement une colonne consommée par une tâche de données de stockage avec l'historique activé, vous devez procéder comme suit pour préserver l'historique et éviter une éventuelle perte de données.

  1. Arrêtez la tâche de données de dépôt temporaire.

  2. Exécutez la tâche de données de stockage pour être sûr que toutes les données de dépôt temporaire sont lues.

  3. Déposez la colonne dans le dépôt temporaire.

  4. Exécutez la tâche de données de dépôt temporaire.

  5. Dans le stockage, ajoutez la colonne avec une expression par défaut (Null ou valeur par défaut) ou déposez temporairement la colonne.

Maintenance de la zone de dépôt temporaire

Le nettoyage automatique de la zone Destination n'est pas pris en charge. Cela peut affecter les performances.
Nous vous recommandons d'effectuer des nettoyages manuels des anciennes données obtenues via le chargement complet dans la zone de dépôt temporaire.

  • Qlik Cloud (via Amazon S3)

    S'il existe plusieurs dossiers de données de chargement complet, vous pouvez tous les supprimer, sauf le dossier le plus récent. Vous pouvez également supprimer les partitions de données modifiées qui ont été traitées.

  • Entrepôt de données cloud

    Vous pouvez supprimer le chargement complet et les enregistrements de la table de modifications qui ont été traités.

Limitations

  • La réplication des données Varchar supérieures à 8 000 octets ou des données Nvarchar supérieures à 4 000 octets n'est pas prise en charge.

En savoir plus

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !