Procedura dettagliata – Caricamenti dati incrementali con il comando Store

Questa procedura dettagliata di esempio mostra come eseguire caricamenti di dati incrementali utilizzando il comando Store in Qlik Sense Enterprise on Kubernetes.

Con Store è possibile creare un file QVD e caricarlo in DataFiles. Il file potrebbe contenere record di dati che un database rende disponibili solo per un determinato periodo di tempo, ad esempio un certo numero di giorni prima della data corrente. I dati storici possono essere caricati da un file QVD creato dall'utente e possono quindi essere combinati con i dati più recenti disponibili da un database sorgente. I dati più recenti possono quindi essere reinseriti nel file QVD. L'esempio qui illustrato dimostra questo caso di utilizzo.

È inoltre possibile utilizzare il comando Store per caricare da una connessione dati che si desidera archiviare una sola volta, per poi aggiungere nuovi dati da un database. In questo modo si possono ridurre i tempi dei successivi caricamenti di dati, nonché il carico sui server di database, sulla rete e così via. L'esempio qui illustrato non considera questo caso di utilizzo. La procedura da seguire sarebbe comunque simile.

In questo esempio si crea una connessione utilizzando Standard Search Twitter API e si cerca un termine di testo specifico. La ricerca esamina i tweet degli ultimi 7 giorni, il limite imposto da Twitter. In questo esempio, quindi, Standard Search Twitter API limita la quantità di dati caricati dal database di Twitter.

Con Store si memorizza la tabella dati di Twitter in un file QVD, che viene quindi caricato in DataFiles. Si inviano quindi a Twitter richieste per ottenere i dati più recenti e si caricano i dati nell'app insieme ai dati del file QVD. Questi dati vengono caricati nuovamente nel file QVD, incrementando così il file QVD.

Si pubblica quindi l'app e si caricano i dati più recenti nell'app pubblicata.

Per ulteriori informazioni sulle attività e i concetti illustrati nell'esempio, vedere:

• Store
• Floor - funzione dello script e del grafico
• Utilizzo dei file QVD
• Caricamento di record nuovi e aggiornati mediante il carico incrementale
• Twitter Search Tweets overview (Panoramica della ricerca di tweet in Twitter)
• Twitter Standard Search API reference (Riferimento all'API di ricerca standard di Twitter)

Prerequisiti

• Sottoscrizione a un hub cloud (Qlik Sense Enterprise on Kubernetes).
• Account Twitter per utilizzare Twitter API.
• È necessario sapere come creare un'app in un hub cloud. Per ulteriori informazioni, vedere Creazione di app nell'hub cloud.
• È necessario sapere come utilizzare l'editor caricamento dati. Per ulteriori informazioni, vedere Utilizzo dell'editor caricamento dati.

Attività

Per questo esempio è necessario svolgere le attività seguenti:

1. Creare un'app e connettersi a Twitter
2. Selezione di dati da Twitter
3. Aggiungere istruzioni dello script per creare il file QVD e incrementarlo con i dati di Twitter
4. Eseguire lo script
5. Impostare la pianificazione di ricaricamento dati

Creare un'app e connettersi a Twitter

Procedere come indicato di seguito:

1. Creare un'app nell'area di lavoro dell'hub cloud.
2. Aprire l'editor di script. L'opzione di apertura dell'editor di script viene visualizzata quando si crea una nuova app. È inoltre possibile accedere all'editor di script anche dall'editor caricamento dati.
3. Nel menu a destra, sotto Connessioni dati, fare clic su Crea nuova connessione. Si aprirà la finestra Crea nuova connessione.
4. Selezionare Twitter dall'elenco a discesa Sorgenti dati. Si aprirà una finestra di autenticazione.
5. Fare clic su Authenticate (Autentica). Si aprirà una finestra di autenticazione di Twitter API. Può essere necessario abilitare i pop-up nel browser.
6. Per autorizzare i connettori Web Qlik a utilizzare il proprio account Twitter , immettere le proprie credenziali Twitter .
7. Fare clic su Accedi. Si aprirà una finestra di Twitter con un codice di accesso. Copiare il codice.
8. Nella finestra di autenticazione di Qlik Sense incollare il codice e fare clic su Verifica. La connessione verrà autenticata.
9. Fare clic su Prova connessione per verificare la creazione della connessione.

10. Assegnare un nome alla connessione e fare clic su Crea. La connessione verrà creata e si aprirà l'editor caricamento dati. La connessione verrà aggiunta all'elenco Connessioni dati nel menu a destra.

Selezione di dati da Twitter

Dopo avere creato la connessione, è possibile selezionare i dati che si desidera caricare da Twitter.

Procedere come indicato di seguito:

1. Aggiungere una nuova scheda allo script nell'editor di script.
2. Assegnare un nome alla scheda. In questo esempio la scheda viene denominata New Data (Twitter). Posizionare il cursore nella finestra dell'editor di script.

3. Nell'editor caricamento dati fare clic su Seleziona dati per la connessione Twitter.

   Si aprirà la finestra Selezionare i dati da caricare.

4. Selezionare la tabella denominata Search, quindi selezionare un termine da cercare. Nel nostro esempio useremo "Kubernetes".

    

   Finestra di caricamento dati con la tabella Search selezionata

   

5. Fare clic su Anteprima dati. Verranno visualizzati i campi dei dati della tabella Search. Selezionare i campi che si desidera caricare. Per questo esempio si selezionano i campi: id, created_at, text, source e user_name.

    

   Finestra di caricamento dati che mostra un'anteprima dei dati

   

6. Fare clic su Inserisci script. Il segmento di script viene aggiunto alla scheda Nuovi dati (Twitter) dell'editor di script nell'editor caricamento dati.

7. Assegnare un nome alla tabella aggiungendo una riga sopra l'istruzione Load. In questo esempio si utilizza il nome TwitterSearch

    

   L'aspetto della scheda sarà simile a quello della schermata seguente (esclusi i commenti):

    

   Nuova scheda dati (Twitter) nell'editor caricamento dati

   

8. Per verificare che il caricamento dei dati funzioni, fare clic su Carica dati nel menu in alto. I dati verranno caricati.

    

   Finestra di avanzamento del caricamento dati

   

Se si desidera, è possibile visualizzare i dati delle tabelle e dei campi nel sistema di visualizzazione modello dati. È anche possibile creare una tabella nell'app per visualizzare i dati correnti.

Aggiungere istruzioni dello script per creare il file QVD e incrementarlo con i dati di Twitter

Dopo avere configurato l'app per il caricamento dei dati da Twitter, è possibile archiviare tali dati in un file QVD. Dal momento che Twitter Standard API consente di estrarre dati solo dagli ultimi 7 giorni, il file QVD, dopo il caricamento iniziale, conterrà tali dati.

Procedere come indicato di seguito:

1. Aggiungere una nuova scheda allo script nell'editor di script.
2. Assegnare un nome alla scheda. In questo esempio la scheda viene denominata Historical data (QVD).

3. Aggiungere nella scheda le istruzioni dello script seguenti. I commenti (//) sono per riferimento. Non verranno eseguiti quando si esegue lo script.

    

   Nota informaticaSe si copia e incolla da Firefox, può essere necessario incollare il contenuto prima in un altro documento, ad esempio Word, per fare in modo che le interruzioni di riga siano visualizzate correttamente nell'editor di script.

    

   //Method to test QVD file size. If the file does not exist returns <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //Set the historical data pull range to a variable LET vRollingDate = Today()-90; //If the file exists and contains some data then the if statement is executed; //if the file does not exist, i.e. is null, then the if statement will be skipped if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ids are unique; ensures only new tweets added WHERE NOT EXISTS (Search.id) //Load last 90 days of data from the qvd file; //QVD file provides historical data beyond Twitter Standard API limit of 7 days. //Also ensures that stored incremented qvd file does not grow too large in size. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

    

   L'aspetto della scheda sarà simile a quello della schermata seguente:

    

   Scheda Dati storici (QVD) nell'editor caricamento dati

   

4. Aggiungere un'altra scheda allo script.
5. Assegnare un nome alla scheda. In questo esempio la scheda viene denominata Store to QVD.

6. Aggiungere nella scheda le istruzioni dello script seguenti.

    

   //Regardless of the QVD file existing previously or not, updated data gets stored into the QVD. STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

    

   L'aspetto della scheda sarà simile a quello della schermata seguente:

    

   Scheda Memorizza in QVD nell'editor caricamento dati

   

Eseguire lo script

Quando si esegue lo script per la prima volta, i dati vengono caricati da Twitter e dai dati di Twitter viene creato il file QVD denominato AllTweets.qvd. Il file QVD viene aggiunto allo spazio DataFiles dell'utente. Quando si esegue di nuovo lo script, i dati vengono caricati da Twitter e dal file QVD. Il file  QVD viene quindi aggiornato con i dati caricati dal file QVD.

1. Fare clic su Carica dati. Quando si esegue lo script per la prima volta, i dati vengono caricati da Twitter e viene creato il file AllTweets QVD in base a tali dati. Il file QVD viene aggiunto allo spazio DataFiles dell'utente e può essere visualizzato facendo clic su Select data.

    

   La prima volta che si esegue lo script, si vedrà un messaggio simile al seguente:

    

   Finestra di avanzamento del caricamento dati

   

    

   Le volte successive che si caricano i dati, si vedrà un messaggio simile al seguente:

    

   Finestra di avanzamento del caricamento dati

   

2. Creare grafici e tabelle nell'app utilizzando i propri dati.

Impostare la pianificazione di ricaricamento dati

Dopo avere caricato i dati, è possibile visualizzarli nell'app. Un modo per ricaricarli, come si è visto, è aprire l'editor di script e fare clic su Carica dati. Tuttavia, è anche possibile caricare i dati manualmente o in base a una pianificazione scelta dall'utente nell'interfaccia utente dell'hub cloud. Per ulteriori informazioni, vedere Ricaricamento dei dati delle app nell'hub cloud.