Data för analys
Måttet Data för analys visar hur mycket av din kapacitet som används. Detta ämne förklarar vilka data som räknas och vad som är uteslutet. Det täcker även hur användningen beräknas. Att förstå dessa detaljer hjälper dig att se vad som förbrukar din Qlik Cloud-kapacitet och hantera dina data mer effektivt.
Data som ingår i mätningen
Måttet Data för analys mäter den totala datavolym som lästs in i och lagras i din miljö.
Räknade data
Måttet inkluderar:
-
Data som lästs in i Qlik Cloud från externa källor
-
Ominläsningar ökar datamängden när nya inkrementella data läggs till. Om en ominläsning innehåller färre data än tidigare minskar datamängden i motsvarande grad.
-
Data som läses in i flera klientorganisationer räknas separat för varje klientorganisation.
-
Data som läses in en gång och används i flera appar inom samma klientorganisation räknas bara en gång.
-
-
Datafiler som laddas upp till eller skapas i Qlik Cloud
-
Filstorleken för uppladdade eller skapade filer räknas.
-
Om du kopierar en datafil inom Qlik Cloud räknas den nya filen mot måttet.
-
Att kopiera en app i delat utrymme utan ominläsning ökar inte antalet.
-
Hur måttet beräknas
Mätvärdet data för analys beräknas så här:
-
Volymen med externa data som inhämtas till Qlik Cloud via en Qlik Sense-app.
-
Resulterande QVD-filstorlek från externa data som laddas in i Qlik Cloud via Qlik Data Gateway – dataflytt.
-
Filstorlek för datafiler som laddas upp till Qlik Cloud.
-
Filstorleken för en app som laddats upp som en QVF, mätt som appens grundläggande RAM-fotavtryck.
Data som inte räknas
Följande data ingår inte i mätvärdet:
-
Appar och data i en användares personliga utrymme. Detta inkluderar alla appar eller data som lästs in från valfri källa eller genererats i ett personligt utrymme med hjälp av On-demand app generation (ODAG).
-
Måttet baseras på appens plats, inte platsen för dess datakoppling: appar i personliga utrymmen räknas inte även om de använder en koppling i ett delat utrymme, appar i delade utrymmen ingår alltid i måttet.
-
-
Appar som endast binärt laddar en annan app lagrad i Qlik Cloud. Den ursprungliga appen räknas redan, så den laddande appen bidrar inte till mätvärdet.
-
Appar som endast läser in data från filer som lagras i Qlik Cloud (till exempel QVD:er). Källfilerna räknas redan separat.
-
Appar och data som publiceras till hanterade utrymmen. Inläsning av appar i hanterade utrymmen räknas dock in i måttet.
-
Data som lästs in via Direct Query.
Prenumerera på kapacitet för Data för analys
Du prenumererar på datapaket baserat på dina krav för Data för analys.
Varje användare har en viss kapacitet tillgänglig i sitt personliga utrymme, utöver den volym som ingår i din prenumeration. Denna mängd räknas inte in i totalvärdet för Data för analys.
Startversionen av Qlik Cloud Analytics har en fast datakapacitet där prenumerationerna för den här versionen baseras på antalet användare.
Flytta data in i Qlik Cloud
Dina alternativ för att flytta data inkluderar:
-
Direkta datakopplingar från Qlik Sense
-
Qlik Data Gateway – direktåtkomst
-
Dataflytt till Qlik Cloud med Qlik Talend Data Integration
Med Premium- och Enterprise-versionerna av Qlik Cloud Analytics kan du flytta data från vilken källa som helst till Qlik Cloud. Standardversionen tillåter dataförflyttning från alla källor utom SAP, stordator och äldre källor.
Beräkna volym av data för analys
Att förstå hur data för analys beräknas hjälper dig att använda din kapacitet effektivt. I det här delavsnittet förklaras hur månadstopp, dataladdning, appinläsning och dataskapande mäts.
Månads- och dagstoppar
När du köper kapacitet för Data för analys mäts din användning mot den mängd du har köpt. Systemet registrerar din användning varje dag och dagen med den högsta användningen under månaden blir den månatliga toppen, eller högsta vattenstämpeln. Till exempel, om du köper 250 GB kapacitet och den månatliga toppen överskrider detta, kan överförbrukningsavgifter tillkomma.
Hur daglig användning spåras
Din användning följs upp dagligen. Varje dag beräknar systemet din dagliga topp som summan av:
-
Den totala storleken på de filer som lagras
-
Mängden data som tas in under ominläsning av appen
-
Mängden härledda eller skapade data
Appar som laddades tidigare men inte laddas om ingår fortfarande i din användning. Systemet för över deras data från den senaste omladdningen tills en ny omladdning sker eller appen raderas.
Överföringsbeteende
Om en app inte laddas om en viss dag för systemet över de data som matades in från dess senaste lyckade omladdning. Appen fortsätter att bidra med denna mängd till den dagliga toppen tills en ny omladdning matar in en annan mängd vilket sedan uppdaterar den rapporterade användningen.
I början av en ny månad återställs månadstoppen. Den dagliga toppen för den första dagen i den nya månaden kan dock fortfarande inkludera det överförda värdet från den senaste omladdningen av föregående månad. Detta kan göra att den rapporterade användningen verkar högre än de data som för närvarande är synliga i appen.
Exempel:
-
Dag 1: Klientorganisationen lagrar 70 GB datafiler och matar in 40 GB via en app-omladdning. Den dagliga toppnoteringen är 110 GB.
-
Dag 2: Klientorganisationen lagrar 70 GB datafiler, och ingen omladdning sker (0 GB inmatat). Den dagliga toppen visar fortfarande 110 GB eftersom de tidigare inmatade 40 GB förs över. Endast en ny omladdning som matar in mindre än 40 GB kommer att minska detta värde.
Månatlig topp och högt vattenmärke
Månadstoppen är den högsta dygnstoppen som registrerats under månaden. Den fungerar som ett högvattenmärke och visar den dag då din totala dataanvändning var som högst. Månadstoppen jämförs med din köpta kapacitet för att avgöra om överförbrukningsavgifter tillkommer.
Exempel – identifiering av månadstopp från daglig användning
För att visa hur den månatliga toppnoteringen fastställs används i detta exempel ett förenklat scenario som omfattar endast fyra dagar och en köpt kapacitet på 250 GB. Användningsvärdena hjälper till att illustrera hur den högsta dagliga toppnoteringen blir den månatliga toppnoteringen.
Tabellen visar dataanvändningen under fyra dagar, kategoriserad efter typ:
| Dag | Lagrade | Läs in igen | Skapat | Daglig topp |
|---|---|---|---|---|
| 1 | 50 GB | 30 GB | 15 GB | 95 GB |
| 2 | 70 GB | 40 GB | 30 GB | 140 GB |
| 3 | 60 GB | 0 GB | 20 GB | 120 GB |
| 4 | 80 GB | 50 GB | 40 GB | 170 GB |
Förstå tabelldata:
-
Dag 3 har ingen ominläsning av data. Ominläsningsdelen från dag 2 (40 GB) överförs och bidrar till den dagliga toppnoteringen (120 GB).
-
Dag 4 har den högsta dagliga toppnoteringen (170 GB), som blir månadens toppnotering.
Eftersom den månatliga toppnoteringen ligger inom den köpta kapaciteten på 250 GB tillämpas inte överförbrukning. Om förbrukningen någon dag överstiger 250 GB kan överförbrukningsavgifter tillkomma annars krävs en kapacitetsuppgradering.
Daglig användning under fyra dagar som visar lagrade, inlästa och skapade data. Den gröna linjen markerar den inköpta kapaciteten.
Läser in data till Qlik Cloud
Data som laddas till Qlik Cloud från externa källor räknas in i den dagliga toppen.
-
Om samma datauppsättning laddas in i flera appar separat, räknas varje inläsning individuellt.
-
Data som laddats in i en klientorganisation en gång kan återanvändas av flera appar inom den klientorganisationen utan att räknas igen. För att undvika att något räknas flera gånger kan du ladda data en gång till QVD-filer och låta flera appar läsa från dessa QVD-filer.
-
Data som läses in i flera klientorganisationer räknas separat för varje klientorganisation.
Hur data bidrar till den dagliga toppen:
-
Filbaserade data som laddas via appar: Mäts i filstorlek.
-
Appomladdningar som använder frågor eller kopplingar: Räknas som det maximala antalet bytes som inhämtas från datakällan. Om flera omladdningar sker samma dag, räknas endast den största omladdningen mot den dagliga toppen.
Exempel: En app laddas om tre gånger med 0,75 GB, 1,25 GB och 1 GB under en dag. Endast 1,25 GB bidrar till den dagliga toppen.
Anteckning om informationNär en omladdning har räknats förblir den en del av den dagliga toppen även om appen tas bort senare samma dag. Maximalt antal inhämtade bytes räknas så länge appen finns hos klientorganisationen. -
Data som laddas till Qlik Cloud via Qlik Data Gateway – dataflytt: Mäts via storleken på den resulterande QVD-filen.
-
Appar som läses in eller laddas via filimport via aktivitetscentret för Analyser eller med qlik-cli: Mäts via appens statiska storlek i byte.
-
Uppladdade QVD-filer: Mäts i filstorlek.
Olika sätt att ladda data till Qlik Cloud: via appar, dataflyttning eller importerat via aktivitetscentret för Analyser eller qlik-cli.
I de följande situationerna inkluderas data inte i beräkningen av den dagliga toppen:
-
Data som laddas till en användares personliga utrymme räknas inte, så länge den är begränsad till det utrymmet. Om användaren flyttar data till ett delat utrymme för samarbete med andra kommer de att räknas in.
-
Om en laddning misslyckas räknas inte inhämtade bytes. Men alla resulterande QVD-filer räknas.
-
När du laddar en app med data som redan finns i Qlik Cloud räknas inte laddade data. Exempelvis kopierade eller binärt laddade appar (laddade data från en annan Qlik Sense-app) påverkar inte den dagliga toppen, under förutsättning att de inte laddas från en extern källa.n
Appladdningar från interna källor har ingen påverkan på den dagliga toppen.
Mäta bytes som inhämtats för appladdningar
Följande gäller när du laddar en Qlik Sense-app från en extern källa:
-
Du kan ladda en app flera gånger från samma källdatauppsättning utan att den dagliga toppen påverkas, så länge som datavolymen är oförändrad.
-
Om källdatauppsättningen ökar i storlek påverkas den dagliga toppen. Varje ytterligare GB med data som läggs till i datauppsättningen bidrar med en motsvarande summa till inhämtade data under laddningen.
-
På motsvarande sätt, om källdatauppsättningen minskar i storleken återspeglas den här minskningen också i den dagliga toppen.
Exempel: Om datauppsättningens storlek minskas med 0,25 GB minskar omladdningsstorleken lika mycket. Men om en 1 GB-laddning inträffade tidigare på dagen förblir den dagliga toppen för den dagen 1 GB. Minskningen återspeglas inte förrän i den dagliga toppen följande dag.
-
Ändringar av innehållet i källdatauppsättningen som inte förändrar dess storlek påverkar inte den dagliga toppen. Endast datavolymen påverkar den dagliga toppen.
Mätning av inhämtade bytes när storleken eller innehållet i källdatauppsättningen förändras.
-
Om du frågar samma datauppsättning flera gånger inom samma laddningsskript räknas varje fråga separat. Den totala datavolymen är summan av alla frågor.
Exempel: Om du har ett laddningsskript som omfattar tre frågor på 1 GB var från samma datauppsättning räknas alla tre frågorna individuellt. Därför blir den totala datasumman för din dagliga topp 3 GB.
-
Att ladda en app och därefter tar bort tabellen minskas inte den dagliga toppen, eftersom den dagliga toppen baseras på den maximala appladdningsstorleken för den dagen.
-
Om du laddar en app och sedan tar bort den samma dag kommer den fortfarande att bidra till den dagliga toppen för den dagen eftersom den existerade under dagen. Följande dag finns appen inte längre och bidrar inte till den dagliga toppen.
Mäta bytes som inhämtats för olika appladdningsscenarier.
Mäta data som lästs in till QVD-filer med Qlik Talend Data Integration
Följande gäller när du laddar data till en QVD-fil från en extern källa med Qlik Data Gateway – dataflytt:
-
Uppladning, importeringen eller genererering av en datauppsättning flera gånger påverkar inte den dagliga toppen så länge datavolymen är oförändrad.
-
Om källdatauppsättningen ökar i storlek påverkas den dagliga toppen. Varje ytterligare GB med data bidrar med en motsvarande ökning till storleken på den resulterande QVD-filen.
-
Om en QVD-fil ändrar storlek under dagen registreras den största storlek som har uppnåtts. Det dagliga toppvärdet återspeglar alltid den högsta observerade storleken för den dagen.
-
Om källdatauppsättningen minskar i storlek återspeglas den här minskningen också i den dagliga toppen.
Exempel: En minskning på 0,25 GB i datamängd reducerar QVD-filstorleken med samma mängd.
-
Ändringar av innehållet i datauppsättningen som inte förändrar dess storlek påverkar inte den dagliga toppen. Endast datavolymen påverkar den dagliga toppen.
Mätning av QVD-filens storlek när storleken eller innehållet i källdatauppsättningen förändras.
Ladda appar från externa och interna källor
Hur data som laddas in i appar påverkar det dagliga toppvärdet beror på källan. Följande scenarier visar hur olika typer av data bidrar.
-
En app laddas från en extern källa
Data som laddas från en extern källa räknas som inhämtade bytes.
Exempel: Om 10 GB laddas in bidrar appen med 10 GB till det dagliga toppvärdet.
-
En app laddas från en QVD i Qlik Cloud
Laddning av data från en QVD-fil lagrad i Qlik Cloud räknas inte som extern inmatning för appen.
Exempel: Om appen laddar 10 GB från en QVD, bidrar appen med 0 GB. QVD-filen bidrar med 10 GB separat.
-
En ny QVD-fil genereras från en QVD i Qlik Cloud
När en QVD-generator-app laddar data från en befintlig QVD i Qlik Cloud, bidrar appen med 0 GB. Den resulterande QVD-filen räknas.
Exempel: Om en 10 GB QVD omvandlas till en ny 5 GB QVD, är det totala dagliga toppbidraget 15 GB.
-
En app laddas både från externa och interna källor
Om en app laddar 10 GB från en extern källa och 5 GB från en QVD i Qlik Cloud räknas endast de 10 GB med extern inmatning för appen. QVD-filen bidrar med sina 5 GB separat så det totala bidraget till den dagliga toppen är 15 GB.
Att mäta totalsumman för datafiler plus inhämtade data vid laddning från interna och externa källor.
Skapa data i Qlik Cloud
När du skapar nya data i Qlik Cloud, oavsett om du kopierar datafiler eller härleder dem genom att kombinera och bearbeta befintliga rådata, räknas det in i den dagliga toppen. Data mäts som den totala storleken av de filer som genereras under skapandeprocessen. De data som skapas räknas bara en gång, oavsett hur många appar som använder den.
Exempel:
-
Att skapa en 1 GB QVD-fil med en STORE-sats lägger till 1 GB i den dagliga toppen.
-
Att kopiera en 1 GB QVD-fil lägger till 1 GB i den dagliga toppen, eftersom båda kopiorna bidrar till summan.
-
Att skapa en 0,5 GB QVD-fil genom omvandling lägger till lägger till 0,5 GB i den dagliga toppen. Endast den resulterande QVD-filen räknas; QVD-generatorappen räknas inte eftersom den laddar data som redan finns i Qlik Cloud.
Att mäta datafiler som skapats i Qlik Cloud.
Metodtips för hantering av data
Effektiv datahantering hjälper dig att få ut det mesta av din Data för analys-kapacitet. Rekommendationerna nedan beskriver hur du optimerar dataladdning, minskar onödig lagring och hanterar äldre eller inaktivt innehåll i Qlik Cloud.
Skapa QVD-filer för återanvändning av data
Använd QVD-filer när data delas mellan flera appar. Att läsa in externa data en gång och lagra dem som en QVD minskar upprepad inläsning och hjälper till att hålla den dagliga toppen lägre. Att använda QVD-filer för återanvändning av data med Qlik Data Gateway – dataflytt är generellt mer effektivt än att ladda om data direkt i appar.
Exempel:
Om du läser in 10 GB externa data en gång och lagrar dem som en 5 GB QVD-fil, är de totala data som räknas mot den dagliga toppen 15 GB. Appar som laddar 5 GB QVD återinmatar inte de ursprungliga 10 GB. Om du istället läser in samma 10 GB externa data direkt till två appar, sker inläsningen två gånger, vilket resulterar i att 20 GB räknas.
Det är mer effektivt att skapa en QVD och ladda data från den till flera appar än att ladda externa data direkt till varje app.
Använd datainläsningsmetoder effektivt.
Tillämpa filtrering och omvandlingar vid datakällan (SQL pushdown) för att minska data som överförs under omladdningar.
Exempel:
I denna fråga tillämpas filtret vid källan så att endast en delmängd av alla data överförs.
Använd On-demand-appar för stora datauppsättningar
Appgenerering på begäran (ODAG) låter dig arbeta med stora datamängder genom att först läsa in aggregerad data och hämta detaljerade delmängder endast vid behov.
Mer information finns i On-demand-appar.
Hantera stora datauppsättningar med Direct Query och Dynamiska vyer
Direct Query och dynamiska vyer låter dig fråga stora datamängder på begäran utan att läsa in alla data i minnet. Genom att endast fråga de data du behöver minskar intaget och hjälper till att hålla användningen inom din kapacitet.
Mer information finns här:
Hantera gamla eller oanvända appar
Appar i klientorganisationen fortsätter att bidra till användningen av Data för analys baserat på deras senaste lyckade ominläsning. Så länge en app finns med dess data inläst bidrar den till din kapacitetsrapportering.
För att undvika onödig användning:
Minska eller ta bort onödiga data
Ta bort data från appar som inte längre kräver fullständiga datauppsättningar eller skapa appar utan data när endast strukturen behövs. Att ladda om en app med en mindre datauppsättning uppdaterar dess rapporterade användning.
Undvik onödig kopiering
Kopiera appar endast vid behov. Varje kopia behandlas som en separat app och bidrar till kapacitetsanvändningen.
Använd delade utrymmen medvetet
Delade utrymmen kan hjälpa till att kontrollera var och hur ominläsningar sker.
Ta bort appar som du inte längre behöver
Regelbunden rensning förhindrar att föråldrat innehåll förbrukar kapacitet.
-
Identifiera oanvända produkter i Katalogen genom att kontrollera Senast uppdaterad, Visad av och Använd i.
-
Använd konsekvensanalys och ursprung för att förstå var datafiler används.
-
Ta bort oanvända appar och datafiler från aktivitetscenter. Administratörer kan också ta bort appar från Administration.
Mer information finns här:
Minska ominläsningsrelaterad förbrukning
En apps rapporterade ominläsningsstorlek minskar bara om ominläsningen producerar en mindre datauppsättning. För att minska den rapporterade storleken, ladda om appen med mindre data så att den rapporterade storleken uppdateras.
Appens ominläsningsbeteende
-
Omladdning utan ny data:
Om en app läses in igen utan att lägga till nya data förblir den rapporterade storleken densamma.
Exempel: En app laddar om med samma datauppsättning som den hade tidigare. Den rapporterade användningen ändras inte eftersom inga ytterligare eller färre data matades in.
-
Appen tömdes efter inmatning:
Även om en app tar bort alla tabeller och lämnar datamodellen tom bidrar den senaste lyckade inmatningen fortfarande till den dagliga användningen.
Exempel: En app matar in 10 GB externa data, genererar QVD-filer och tar bort alla tabeller i slutet av skriptet. Appen är nu tom men de 10 GB som matades in räknas fortfarande mot den dagliga användningen.
-
Kopiera appar till ett annat utrymme:
När en app kopieras till ett annat utrymme, behandlas den som en separat app och räknas igen mot kapacitetsanvändningen.
Metoder för att begränsa ominläsningsrelaterad förbrukning
Du kan minska ominläsningsrelaterad dataförbrukning med någon av följande två metoder. Båda metoderna tar bort data från appen.
-
Stoppa laddningsskriptet tidigt: Lägg till en Exit script;-sats i början av laddningsskriptet för att ladda om appen utan data. När fullständiga data behövs, kommentera bort satsen eller tillämpa ett villkor så att den bara körs i specifika scenarier (till exempel när appen är i ett visst utrymme).
-
Återskapa appen utan data: Ladda ner appen utan data och importera den som en ny app. Efter att ha validerat den nya versionen, ta bort den ursprungliga appen.