Gå till huvudinnehåll

Stegvisa instruktioner – öka dataladdningar med kommandot Store

PÅ DEN HÄR SIDAN

Stegvisa instruktioner – öka dataladdningar med kommandot Store

Det här steg för steg-exemplet visar hur du laddar data i etapper med kommandot Store i Qlik Sense SaaS.

Du kan använda Store för att skapa en QVD-fil och ladda den till DataFiles. Dessa data kan till exempel vara dataposter som bara är tillgängliga från en databas under en viss tidsperiod, som ett visst antal dagar före aktuellt datum. Historiska data kan laddas från en QVD-fil som du skapar och sedan kombineras med senaste tillgängliga data från en källdatabas. Senaste data kan sedan infogas igen i QVD -filen. Detta exempel demonstrerar det här användarfallet.

Du kan också använda Store för att lagra data från en anslutning som du bara vill lagra en gång och sedan lägga till nya data från databasen. Detta kan minska påföljande dataladdningstider, samt minska belastningen på databasservrar, nätverket o.s.v. Exemplet gäller inte detta användarfall. Samma steg gäller dock i allmänhet.

I detta exempel skapar vi en anslutning med Standard Search Twitter API och söker efter en specifik textterm. Sökningen matchas mot tweets under de senaste sju dagarna, gränsen har fastställts av Twitter. I det här exemplet begränsar Standard Search Twitter API den mängd data som laddas från Twitter databasen.

Med hjälp av Store lagrar vi sedan Twitter-datatabellen i en QVD-fil och laddar denna fil i MyDataFiles. Vi begär sedan nyaste data från Twitter och laddar uppgifterna i appen tillsammans med uppgifterna från QVD-filen. Dessa uppgifter laddas tillbaka till QVD-filen och ökar därmed QVD-filen.

Sedan publicerar vi appen och laddar vår publicerade app med de senaste uppgifterna.

För mer information om uppgifterna och koncepten i exemplet, se:

Förutsättningar

  • Molnhubbsprenumeration (Qlik Sense SaaS).
  • Twitter konto som ska använda Twitter API.
  • Du bör kunna skapa en app i en molnhubb. Mer information finns i Skapa appar och lägga till data.
  • Du bör känna till hur du använder dataladdningsredigeraren. Mer information finns i Använda Skriptredigeraren.

Uppgifter

Följande uppgifter krävs för att slutföra det här exemplet:

  1. Skapa en app och anslut till Twitter
  2. Välj data från Twitter
  3. Lägg till skriptförklaringar för att skapa och öka QVD filen från Twitter-data
  4. Kör skript
  5. Ställ in schema för när data ska laddas igen

Skapa en app och anslut till Twitter

  1. Skapa en app i ditt molnhubbarbetsområde.
  2. Öppna skriptredigeraren. Alternativet att öppna skriptredigeraren visas när du skapar en ny app. Du kan också nå skriptredigeraren från dataladdningsredigeraren.
  3. Under Dataanslutningar, klicka på Skapa ny anslutning i menyn till höger. Fönstret Skapa ny anslutning öppnas.
  4. Välj Twitter från listrutan Datakällor. Ett autentiseringsfönster öppnas.
  5. Klicka på Autentisera. Ett Twitter API autentiseringsfönster öppnas. Du kanske behöver aktivera popup-fönster i webbläsaren.
  6. För att auktorisera Qlik webbkopplingar för att använda Twitter -kontot, ange dina inloggningsuppgifter för Twitter .
  7. Klicka på Logga in. Ett Twitter -fönster öppnas som visar en åtkomstkod. Kopiera koden.
  8. I Qlik Sense-autentiseringsfönstret klistrar du in koden och klickar sedan på Verifiera. Anslutningen autentiseras.
  9. Klicka på Testa uppkoppling för att kontrollera att kopplingen har skapats.
  10. Ge ett namn åt anslutningen och klicka sedan på Skapa. Kopplingen har skapats och skriptredigeraren öppnas. Anslutningen läggs till i listan Dataanslutningar i menyn till höger.

Välj data från Twitter

När du har skapat anslutningen kan du välja de uppgifter du vill ladda från Twitter.

  1. Lägg till en ny flik till skriptet i skriptredigeraren.
  2. Namnge fliken. Vi kallade vår flik New Data (Twitter). Placera markören i fönstret med skriptredigeraren.
  3. Klicka på Välj data för Twitter-anslutningen i skriptredigeraren.

    Fönstret Välj data att ladda öppnas.

  4. Välj tabellen som heter Search och välj sedan en term att söka. I vårt exempel väljer vi ”Kubernetes”.

     

    Dataladdningsfönster med söktabell markerad

    Data load window with Search table selected.

  5. Klicka på Förhandsgranska data. Datafälten i tabellen Search visas. Välj de fält du vill ladda. I vårt exempel väljer vi följande fält: id, created_at, text, källa och user_name.

     

    Dataladdningsfönster som visar en förhandsgranskning av data

    Data load window showing a preview of data.

  6. Klicka på Infoga skript. Skriptsegmentet läggs till fliken Nya data (Twitter) i skriptredigeraren i Skriptredigeraren.

  7. Ge ett namn åt tabellen genom att lägga till en rad ovanför Load uttalandet. I vårt exempel kallar vi den TwitterSearch

     

    Din flik bör se ut ungefär som följande skärmklipp (förutom kommentarerna):

     

    Fliken Nya data (Twitter) i Skriptredigeraren

    New data (Twitter) tab in the data load editor.

  8. Verifiera att dataladdningen fungerar genom att klicka på Ladda data i menyn längst upp. Data har laddats.

     

    Förloppsfönster för dataladdning

    Data load progress window.

Om du vill kan du visa data i tabeller och fält i datamodellvyn. Du kan också skapa en tabell i appen för att visa aktuella data.

Lägg till skriptförklaringar för att skapa och öka QVD filen från Twitter-data

När du har ställt in så att appen importerar data från Twitter, kan du lagra dessa data i en QVD-fil. Eftersom Twitter Standard API endast tillåter att du tar data från föregående 7 dagar innehåller vår QVD först dessa data efter de har laddats.

  1. Lägg till en ny flik till skriptet i skriptredigeraren.
  2. Namnge fliken. Vi kallade vår flik Historical data (QVD).
  3. Lägg till följande skriptförklaringar i fliken. Kommentarerna (//) är för referens. Dessa verkställs inte när du kör skriptet.

     

    Observera: Om du kopierar och klistrar in från Firefox, kan du behöva först klistra in i ett annat dokument, som t.ex. Word, så att radbrytningarna visas korrekt i skriptredigeraren.

     

    //Metod för att testa QVD-filstorlek. Om filen inte finns returneras <null> let size = FileSize('lib://MyDataFiles/AllTweets.qvd'); //Ställ in historiskt dataimportområde till en variabel LET vRollingDate = Today()-90; //Om filen finns och innehåller data verkställs om-uttalandet; //Om filen inte finns, d.v.s. är null hoppas om-uttalandet över om inte isnull(storlek) sedan Twitter-sökning: LOAD * FROM ['lib://MyDataFiles/AllTweets.qvd'](qvd) //Twitter-ID:n är unika. Säkerställer att bara nya tweets läggs till WHERE NOT EXISTS (Search.id) //Ladda senaste 90 dagarna med data från qvd-filen; //QVD-filen ger historiska data utöver Twitter Standard API-gränsen på 7 dagar. //Säkerställer också att lagrad inkrementerad qvd-fil inte blir för stor. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); avsluta om

     

    Din flik bör se ut ungefär som följande skärmklipp:

     

    Fliken Historiska data (QVD) i Skriptredigeraren

    Historical Data (QVD) in the data load editor.

  4. Lägg till en annan ny flik till skriptet.
  5. Namnge fliken. Vi kallade vår flik Store to QVD.
  6. Lägg till följande skriptförklaringar i fliken.

     

    //Oberoende av om QVD-filen fanns tidigare eller inte lagras uppdaterade data i QVD-filen. LAGRA Twitter-sökning INTO [lib://MyDataFiles/AllTweets.qvd](qvd);

     

    Din flik bör se ut ungefär som följande skärmklipp:

     

    Fliken Store till QVD i Skriptredigeraren

    Store to QVD tab in the data load editor.

Kör skript

När du kör skriptet för första gången importeras data från Twitter, och filen QVD med namnet AllTweets.qvd skapas från Twitter data. QVD-filen läggs till i ditt DataFiles-utrymme. När du kör skriptet igen laddas data från Twitter och QVD-filen. QVD-filen uppdateras sedan med de data du laddade från QVD-filen.

  1. Klicka på Ladda data. Första gången du kör skriptet importeras data från Twitter och AllTweets QVD-filen skapas med dessa data. QVD-filen läggs till i ditt DataFiles-utrymme och kan visas genom att klicka på Select data.

     

    Första gången du kör skriptet får du se ett meddelande som ser ut ungefär så här:

     

    Förloppsfönster för dataladdning

    Data load progress window.

     

    Den andra och därpå följande gånger du importerar data får du se ett meddelande som ser ut ungefär så här:

     

    Förloppsfönster för dataladdning

    Data load progress window.

  2. Skapa diagram och tabeller i appen med dina data.

Ställ in schema för när data ska laddas igen

När du har laddat data kan du visa dem i appen. Ett sätt att ladda data igen, som vi har sett, är att öppna skriptredigeraren och klicka på Ladda data. Du kan emellertid också ladda data manuellt eller enligt ett schema du väljer i molnhubbens gränssnitt. Mer information finns i Ladda appdata i molnhubben.