Accéder au contenu principal

Données de dépôt temporaire

La première étape de transfert des données consiste à déposer temporairement les données. Cela implique le transfert continu des données de la source de données sur site vers une zone de dépôt temporaire via une tâche Qlik Replicate. La tâche de réplication est contrôlée par une ressource de données de dépôt temporaire dans Qlik Cloud Data Services.

Avant de pouvoir créer une ressource de données de dépôt temporaire, vous devez créer la tâche Qlik Replicate comme décrit dans Création d'une tâche de réplication. Vous devez également disposer du rôle Peut consommer dans l'espace dans lequel réside la ressource Enterprise Manager.

Vous pouvez utiliser deux types de zones de dépôt temporaire différents.

  • Amazon S3

    Lorsque vous déposez temporairement des données dans un compartiment Amazon S3, vous pouvez utiliser ce dernier pour générer des tables QVD prêtes pour l'analyse.

  • Snowflake

    Lorsque vous déposez temporairement des données dans Snowflake, vous pouvez stocker des tables Snowflake.

Création et configuration d'une ressource de données de dépôt temporaire

  1. Cliquez sur Ajouter nouveau sur la page d'accueil de Data Services et sélectionnez Créer une ressource de données.
  2. Dans la boîte de dialogue Créer une ressource de données, saisissez :

    • Nom : Nom de la ressource de données de dépôt temporaire.

    • Espace : Espace de données dans lequel créer la ressource de données de dépôt temporaire.

    • Type de ressource : Sélectionnez Dépôt temporaire.

    Vous pouvez ajouter des balises pour pouvoir retrouver plus facilement les ressources de données sur la page d'accueil de Data Services.

    Sélectionnez Ouvrir pour ouvrir la ressource de données de dépôt temporaire une fois qu'elle a été créée.

    Cliquez sur Créer.

  3. Cliquez sur Sélectionner la tâche Replicate.

  4. Sélectionnez la Ressource Enterprise Manager que vous souhaitez utiliser.

    Conseil: Il s'agit de la ressource créée tel que décrit dans Connecter à Qlik Cloud et Qlik Enterprise Manager.
  5. Sélectionnez le Serveur Replicate contenant la tâche que vous souhaitez utiliser. Vous pouvez sélectionner un serveur spécifique ou Tout.

    Une fois que vous avez sélectionné un serveur, la liste des tâches de réplication disponibles est renseignée.

    Remarque: Pour être disponible, la tâche de réplication doit avoir été créée tel que décrit dans Création d'une tâche de réplication.
  6. Sélectionnez la tâche de réplication.

  7. Cliquez sur Sélectionner.

  8. Cliquez sur Enregistrer.

La ressource de données de dépôt temporaire cloud est maintenant créée et son état doit être Prêt à s'exécuter avec une indication que la ressource de données n'est pas encore cataloguée.

Vous pouvez effectuer l'une des deux opérations suivantes :

  • Exécuter la ressource de données de dépôt temporaire cloud qui démarre la réplication. La ressource sera également cataloguée.

  • Cataloguer la ressource de données de dépôt temporaire cloud. Cela met la ressource de données de dépôt temporaire cloud à disposition sous forme de source pour une ressource de données de stockage sans démarrer le transfert de données.

    Cliquez sur Cataloguer pour cataloguer la ressource de données.

    Avertissement: Une fois la ressource de données cataloguée, il n'est plus possible d'apporter aux données source qui affectent la sélection de tables ou la structure de la ressource de données. Vous ne pouvez pas non plus modifier le dossier cible. Pour effectuer toute modification de la sorte, vous devez recréer la ressource de données et l'ensemble des ressources qui la consomment et qui sont déjà cataloguées.

Une fois la ressource enregistrée et cataloguée, l'état affiche Prêt à s'exécuter avec une indication que la ressource a été correctement cataloguée. Vous pouvez maintenant :

  • Afficher un aperçu de la structure et des métadonnées des tables de la ressource de données.

    Cliquez sur Tables.

  • Exécutez la ressource de données pour démarrer la tâche de réplication qui transfère continuellement les données de la source de données sur site vers la zone de dépôt temporaire.

    Cliquez sur Exécuter.

  • Créez une ressource de données Stockage basée sur cette ressource de données de dépôt temporaire. La ressource de données Stockage convertit les données de la zone de dépôt temporaire en tables prêtes pour l'analyse. La réplication et la conversion ne démarrent pas tant que les ressources de données ne sont pas exécutées.

    Pour plus d'informations, voir Création d'une ressource de données pour générer des tables QVD

Exécution de la ressource de données de dépôt temporaire

Vous pouvez à présent exécuter la ressource de données de dépôt temporaire. Cela démarre la tâche de réplication qui transfère les données de la source de données sur site vers la zone de dépôt temporaire.

  1. Cliquez sur Exécuter.

La réplication doit maintenant démarrer et la tâche Qlik Replicate associée doit être exécutée. Pour commencer, la source de données complète est copiée, puis les modifications sont suivies. Pendant ce temps, l'état de la ressource de données est En cours. Cela signifie que les modifications sont continuellement recherchées et transférées, une fois découvertes. Cela maintient à jour les données de dépôt temporaire de la zone de dépôt temporaire.

Sur la page d'accueil de Data Services, vous pouvez afficher l'état, la date et l'heure de mise à jour des données de dépôt temporaire, ainsi que le nombre de tables en erreur. Vous pouvez également ouvrir la ressource de données et sélectionner l'onglet Tables pour afficher les informations de métadonnées de base des tables.

Vous pouvez suivre la progression dans le détail en ouvrant la tâche de réplication dans Qlik Enterprise Manager et en sélectionnant la vue Surveiller.

Avec Qlik Cloud Landing (Amazon S3), si vous chargez des tables, un nouvelle copie du chargement complet est créée. Cela signifie que vous pouvez charger des tables tandis que les applications de dépôt temporaire lisent les modifications sans problèmes.

Opérations sur la ressource de données de dépôt temporaire

Vous pouvez effectuer les opérations suivantes sur une ressource de données de dépôt temporaire depuis le menu Ressources.

  • Ouvrir

    Cela ouvre la ressource de données de dépôt temporaire. Vous pouvez afficher la structure des tables et les détails de la ressources de données.

  • Éditer

    Vous pouvez éditer le nom et la description de la ressource et ajouter des balises.

  • Arrêter

    Vous pouvez arrêter l'opération de la ressource de données. Cela arrête la tâche Replicate et la zone de dépôt temporaire n'est pas mise à jour à l'aide des données modifiées.

  • Reprendre

    Vous pouvez reprendre l'opération d'une ressource de données au point où elle avait été arrêtée. Cela reprend également l'opération de la tâche Replicate.

  • Supprimer

    Vous pouvez supprimer la ressource de données.

    Remarque: Les données de la zone de dépôt temporaire ne sont pas supprimées. Vous devez les supprimer manuellement.

Nous vous recommandons de ne pas activer la tâche depuis Qlik Enterprise Manager, sauf pour le chargement de tables.

Opérations Charger la cible sur la tâche Qlik Replicate

Si vous devez effectuer une opération Charger la cible sur la tâche Qlik Replicate, pour éviter toute perte de données, vous devez supprimer et recréer les ressources de données de dépôt temporaire et de stockage qui effectuent la lecture à partir de cette tâche.

  1. Arrêtez la tâche Replicate, si elle ne s'est pas déjà arrêtée.

  2. Supprimez la ressource de données de dépôt temporaire et la ressource de données de stockage.

  3. Créez une ressource de données de dépôt temporaire via la tâche Replicate.

  4. Créez une ressource de données de stockage qui consomme la ressource de données de dépôt temporaire.

  5. Exécutez la nouvelle ressource de données de dépôt temporaire.

  6. Exécutez la nouvelle ressource de stockage.

Maintenance de la zone de dépôt temporaire

Le nettoyage automatique de la zone Destination n'est pas pris en charge. Cela peut affecter les performances.
Nous vous recommandons d'effectuer des nettoyages manuels de l'ancien chargement complet et des données modifiées de la zone de dépôt temporaire.

  • Amazon S3

    S'il existe plusieurs dossiers de données de chargement complet, vous pouvez tous les supprimer, sauf le dossier le plus récent. Vous pouvez également supprimer les partitions de données modifiées qui ont été traitées.

  • Snowflake

    Vous pouvez supprimer les enregistrements de la table de modifications qui ont été traités.