Accéder au contenu principal

Procédure pas à pas : incrémentation de chargements de données à l'aide de la commande Store

SUR CETTE PAGE

Procédure pas à pas : incrémentation de chargements de données à l'aide de la commande Store

Cet exemple détaillé illustre la procédure utilisée pour incrémenter des charges de données à l'aide de la commande Store dans Qlik Sense SaaS. Cet exemple détaillé illustre la procédure utilisée pour incrémenter des charges de données à l'aide de la commande Store dans Qlik Sense Enterprise on Kubernetes.

La commande Store vous permet de créer un fichier QVD et de le charger dans DataFiles. Il peut notamment s'agir d'enregistrements de données uniquement disponibles à partir d'une base de données pendant une durée déterminée (quelques jours avant la date actuelle, par exemple). Il est possible de charger les données historiques à partir d'un fichier QVD que vous avez créé, puis de les combiner avec les dernières données disponibles provenant d'une base de données source. Les données les plus récentes peuvent ensuite être réinsérées dans le fichier QVD. Cet exemple illustre ce cas d'utilisation.

Vous pouvez également faire appel à la commande Store pour stocker des données à partir d'une connexion dont vous n'avez besoin qu'une seule fois, puis ajouter de nouvelles données à partir d'une base de données. Cette méthode permet de réduire la durée des chargements de données ultérieurs et d'alléger la charge exercée sur les serveurs de base de données, le réseau, etc. Cet exemple ne tient pas compte du cas d'utilisation étudié. Cependant, les mêmes étapes devraient s'appliquer de manière générale.

Dans cet exemple, nous allons créer une connexion en utilisant l'interface de programmation d'applications Standard Search Twitter API et rechercher un texte précis. La recherche porte sur les tweets créés au cours des 7 derniers jours, limite imposée par Twitter. De ce fait, dans cet exemple, l'interface Standard Search Twitter API restreint la quantité de données chargées à partir de la base de données Twitter.

À l'aide de la commande Store, nous stockons ensuite la table de données Twitter dans un fichier QVD, que nous chargeons dans DataFiles. Puis, nous envoyons des requêtes pour obtenir les données les plus récentes à partir de Twitter et chargeons celles-ci dans l'application avec les données provenant du fichier QVD. Ces données sont chargées dans le fichier QVD, incrémentant de ce fait le fichier QVD.

Cela fait, nous publions l'application, puis nous chargeons l'application publiée avec les données les plus récentes.

Pour plus d'informations sur les tâches et les concepts utilisés dans cet exemple, voir :

Conditions préalables requises

Tâches

Cet exemple implique l'exécution des tâches suivantes :

  1. Création d'une application et connexion à Twitter
  2. Sélection de données provenant de Twitter
  3. Ajout d'instructions de script permettant de créer et d'incrémenter le fichier QVD à partir de données Twitter
  4. Exécution du script
  5. Planification du chargement des données

Création d'une application et connexion à Twitter

  1. Créez une application dans l'espace de travail du hub de cloud.
  2. Ouvrez l'éditeur de script. L'option permettant d'ouvrir l'éditeur de script s'affiche lorsque vous créez une application. L'éditeur de script est également accessible à partir de l'éditeur de chargement de données.
  3. Sous Connexions de données dans le menu de droite, cliquez sur Créer une connexion. La fenêtre Créer une connexion s'ouvre.
  4. Sélectionnez Twitter dans la liste déroulante Sources de données. Une fenêtre d'authentification s'ouvre.
  5. Cliquez sur Authenticate (Authentifier). Une fenêtre d'authentification Twitter API s'ouvre. Vous devrez peut-être activer les fenêtres contextuelles dans votre navigateur.
  6. Pour autoriser les connecteurs Web Qlik à utiliser votre compte Twitter , saisissez vos informations d'identification Twitter .
  7. Cliquez sur Sign in (Se connecter). Une fenêtre Twitter s'ouvre, affichant un code d'accès. Copiez ce code.
  8. Dans la fenêtre d'authentification de Qlik Sense, collez le code, puis cliquez sur Verify (Vérifier). La connexion est authentifiée.
  9. Cliquez sur Tester la connexion pour vérifier que la connexion a bien été créée.
  10. Donnez un nom à la connexion, puis cliquez sur Créer. La connexion est créée. L'éditeur de chargement de données s'ouvre. La connexion est ajoutée à votre liste Connexions de données dans le menu de droite.

Sélection de données provenant de Twitter

Une fois la connexion créée, vous pouvez sélectionner les données à charger à partir de Twitter.

  1. Ajoutez un nouvel onglet à votre script dans l'éditeur de script.
  2. Donnez un nom à cet onglet. Nous avons intitulé cet onglet New Data (Twitter). Placez le curseur dans la fenêtre de l'éditeur de script.
  3. Dans l'éditeur de chargement de données, cliquez sur l'option Sélectionner des données associée à votre connexion Twitter.

    La fenêtre Sélectionner les données à charger s'ouvre.

  4. Sélectionnez la table intitulée Search, puis cliquez sur un terme à rechercher. Dans notre exemple, nous avons utilisé « Kubernetes ».

     

    Fenêtre de chargement de données avec la table de recherche sélectionnée

    Data load window with Search table selected.

  5. Cliquez sur Aperçu des données. Les champs de données relatifs à la table Search s'affichent. Sélectionnez les champs à charger. Pour notre exemple, nous avons sélectionné les champs suivants : id, created_at, text, source et user_name.

     

    Fenêtre de chargement de données affichant un aperçu des données

    Data load window showing a preview of data.

  6. Cliquez sur Insérer le script. Le segment de script est ajouté à l'onglet New data (Twitter) dans l'éditeur de script de l'éditeur de chargement de données.

  7. Nommez la table en insérant une ligne au-dessus de l'instruction Load. Dans notre exemple, nous l'avons intitulée TwitterSearch.

     

    L'onglet que vous avez créé devrait ressembler à la capture d'écran suivante (à l'exception des commentaires) :

     

    Onglet Nouvelles données (Twitter) dans l'éditeur de chargement de données

    New data (Twitter) tab in the data load editor.

  8. Afin de vérifier que le chargement de données se déroule correctement, cliquez sur Charger les données dans le menu supérieur. Les données sont chargées.

     

    Fenêtre de progression de chargement de données

    Data load progress window.

Vous pouvez, si vous le souhaitez, afficher les données des tables et des champs dans le visionneur de modèle de données. Vous pouvez également afficher les données actuelles en créant une table dans l'application.

Ajout d'instructions de script permettant de créer et d'incrémenter le fichier QVD à partir de données Twitter

Une fois que vous avez configuré l'application pour qu'elle charge les données à partir de Twitter, vous pouvez stocker ces données dans un fichier QVD. Étant donné que l'interface Twitter Standard API ne vous permet d'extraire que les données provenant des 7 derniers jours écoulés, le fichier QVD initial contient ces données après le chargement.

  1. Ajoutez un nouvel onglet à votre script dans l'éditeur de script.
  2. Donnez un nom à cet onglet. Nous avons intitulé cet onglet Historical data (QVD).
  3. Ajoutez les instructions de script suivantes à l'onglet. Les commentaires (//) sont fournis à titre de référence. Ils ne seront pas appliqués lors de l'exécution du script.

     

    Remarque: Si vous souhaitez copier-coller des données à partir de Firefox, vous devrez peut-être d'abord les coller dans un autre document (Word, par exemple) afin que les sauts de ligne s'affichent correctement dans l'éditeur de script.

     

    //Method to test QVD file size. If the file does not exist returns <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //Set the historical data pull range to a variable LET vRollingDate = Today()-90; //If the file exists and contains some data then the if statement is executed; //if the file does not exist, i.e. is null, then the if statement will be skipped if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ids are unique; ensures only new tweets added WHERE NOT EXISTS (Search.id) //Load last 90 days of data from the qvd file; //QVD file provides historical data beyond Twitter Standard API limit of 7 days. //Also ensures that stored incremented qvd file does not grow too large in size. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    L'onglet que vous avez créé devrait ressembler à la capture d'écran suivante :

     

    Onglet Données historiques (QVD) dans l'éditeur de chargement de données

    Historical Data (QVD) in the data load editor.

  4. Ajoutez un nouvel onglet au script.
  5. Donnez un nom à cet onglet. Nous avons intitulé cet onglet Store to QVD.
  6. Ajoutez les instructions de script suivantes à l'onglet.

     

    //Regardless of the QVD file existing previously or not, updated data gets stored into the QVD. STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

     

    L'onglet que vous avez créé devrait ressembler à la capture d'écran suivante :

     

    Onglet Stocker vers QVD de l'éditeur de chargement de données

    Store to QVD tab in the data load editor.

Exécution du script

Lorsque vous exécutez le script pour la première fois, les données sont chargées à partir de Twitter et le fichier QVD intitulé AllTweets.qvd est créé à partir des données Twitter. Le fichier QVD est ajouté à votre espace DataFiles. Lorsque vous réexécutez le script, les données sont chargées à partir de Twitter et du fichier QVD. Le fichier  QVD est ensuite mis à jour avec les données que vous avez chargées à partir du fichier QVD.

  1. Cliquez sur Charger les données. La première fois que vous exécutez le script, les données sont chargées à partir de Twitter et le fichier AllTweets QVD est créé à l'aide de ces données. Le fichier QVD est ajouté à votre espace DataFiles et est consultable via un clic sur Select data.

     

    Lors de la première exécution du script, un message semblable au suivant devrait s'afficher :

     

    Fenêtre de progression de chargement de données

    Data load progress window.

     

    Lors des chargements ultérieurs des données, un message semblable au suivant devrait s'afficher :

     

    Fenêtre de progression de chargement de données

    Data load progress window.

  2. Créez des graphiques et des tables dans l'application à l'aide de vos données.

Planification du chargement des données

Après avoir chargé les données, vous pouvez les afficher dans l'application. Comme nous l'avons vu, vous pouvez charger les données en ouvrant l'éditeur de script et en cliquant sur Charger les données. Cependant, vous avez également la possibilité de charger les données manuellement, ou selon une planification établie, dans l'interface utilisateur du hub de cloud. Pour plus d'informations, voir Chargement des données d'application dans le hub de cloud.