Data för analys
Måttet Data för analys visar hur mycket av din Qlik Cloud-kapacitet som används. Det mäter den totala datavolym som lästs in i och lagras i din miljö. Det här avsnittet förklarar vilka typer av data som räknas mot din användning, vilka som är uteslutna och hur användningen beräknas. Att förstå dessa detaljer hjälper dig att se vad som förbrukar din Qlik Cloud-kapacitet och hantera dina data mer effektivt.
Data som ingår i mätningen
Följande data räknas:
-
Data som lästs in i Qlik Cloud från externa källor. För ominläsningar ökar nya inkrementella data datamängden. Om ominläsningen har mindre mängd data minskar datamängden.
-
Datafiler som laddas upp till eller skapas i Qlik Cloud. Filstorleken räknas. Om du kopierar datafiler i Qlik Cloud räknas de nya datafilerna. Om du kopierar en app i delat utrymme utan att ladda om kommer den inte att räknas.
Mätvärdet Analyserade data beräknas så här:
-
Volymen med externa data som inhämtas till Qlik Cloud via en Qlik Sense-app.
-
Resulterande QVD-filstorlek från externa data som laddas in i Qlik Cloud via Qlik Data Gateway – dataflytt.
-
Filstorlek för datafiler som laddas upp till Qlik Cloud.
-
Statisk storlek i byte för appen.
Data som laddas in i flera klientorganisationer räknas flera gånger medan data som laddats in en gång och används i flera appar bara räknas en gång.
Följande räknas inte in i mätvärdet:
-
Appar och data som laddas i ett personligt utrymme med hjälp av generering av On-Demand-appar (ODAG).
-
Appar i personligt utrymme. Inklusive de som använder en datakoppling lagrad i ett delat utrymme.
-
Appar som endast binärt laddar en annan app. Den ursprungliga appen som binärt laddas är redan räknad.
-
Appar som bara laddar QVD-filer. QVD:er räknas redan separat.
-
Appar och data som publiceras till hanterade utrymmen.
Anteckning om informationInläsning av appar i hanterade utrymmen räknas in i måttet. -
Data som laddas via Direct Query.
Prenumerera på kapacitet för Data för analys
Du prenumererar på datapaket baserat på dina krav för Data för analys. Varje användare har en viss mängd Data för analys-kapacitet tillgänglig i sitt personliga utrymme. Dessa personliga data räknas inte in i totalmängden Data för analys. Men om användaren flyttar data till ett delat utrymme för samarbete kommer de att räknas i den totala kapaciteten.
Starterutgåvan av Qlik Cloud Analytics har fast datakapacitet. I den här version baseras prenumerationerna på antalet användare.
Flytta data in i Qlik Cloud
Dina alternativ för att flytta data inkluderar:
-
Direkta datakopplingar från Qlik Sense
-
Qlik Data Gateway – direktåtkomst
-
Dataflytt till Qlik Cloud med Qlik Talend Data Integration
Du kan flytta in data i Qlik Cloud från vilken källa som helst med Premium- och Enterprise-versionerna av Qlik Cloud Analytics. Med Qlik Cloud-analys standard kan du flytta data från vilken källa som helst förutom SAP-källor, stordator och äldre källor.
Beräkna volym av data för analys
Att förstå hur data för analys beräknas hjälper dig att använda din kapacitet effektivt. I det här delavsnittet förklaras hur månadstopp, dataladdning, appinläsning och dataskapande mäts.
Månadstopp
När du köper Data för analys-kapacitet får du en bestämd mängd utrymme för lagring och analys av data. Denna kapacitet är en maxgräns, inte en förbrukningsbar kredit. Om du t.ex. köper 250 GB kapacitet kan du lagra och analysera upp till 250 GB data när som helst. Om du överskrider denna gräns kan det uppstå en överförbrukning som redovisas separat.
Hur daglig användning spåras
Din användning följs upp dagligen. Varje dag beräknar systemet din dagliga topp som summan av:
-
Den totala storleken på de filer som lagras
-
Mängden data som tas in under ominläsning av appen
-
Mängden härledda eller skapade data
Överföringsbeteende
Om ingen ominläsning sker en viss dag, överför systemet det värde för inmatade data som gäller för den senaste ominläsningen. I början av en ny månad återställs månadstoppen. Om ingen ominläsning sker den första dagen i den nya månaden, tillämpas det sista ominläsningsvärdet från föregående månad på den dagen.
Lagrade data och härledda data mäts alltid på nytt varje dag, utan överföring.
Särskilda fall
-
Användningsvärdet återspeglar den senaste lyckade ominläsningen av varje app. Om en app senare laddas om med en tom datamodell (t.ex. endast för att skapa och exportera QVD-filer), kan den rapporterade användningen fortfarande visa storleken från den senaste lyckade ominläsningen.
-
Användningsvärdet uppdateras endast när appen läses in igen. Detta kan orsaka skillnader mellan de data som syns i appen och den rapporterade användningen av Data för analys. För att minska den rapporterade användningen, läs in appen med en mindre datauppsättning.
Exempel på överföring
Följande exempel visar hur inläsningsvärden förs vidare när ingen ny laddning sker, och hur detta beteende interagerar med lagrade och skapade data.
Exempel 1 – Regelbunden överföring:
-
Dag 1: 70 GB datafiler lagrade, 40 GB inlästa appar, 30 GB datafiler skapade. Den dagliga toppnoteringen är 140 GB.
-
Dag 1: 60 GB datafiler lagrade, 0 GB inlästa appar, 20 GB datafiler skapade. Värdet för ominläsning från dag 1 (40 GB) gäller även fortsättningsvis. Den dagliga toppnoteringen är 120 GB.
Exempel 2 – scenario för app med endast QVD
-
Dag 1: Läs in appen med 10 GB externa data, skapa QVD-filer, ta bort alla tabeller. Den slutliga modellen för appen är tom. Den dagliga toppnoteringen är 10 GB (inläsningsdelen).
-
Dag 2: Ingen ominläsning sker. Den dagliga toppnoteringen är fortfarande 10 GB (den del som läses in överförs), trots att appen nu inte har några tabeller.
Detta värde uppdateras endast vid en ny inläsning.
Detta innebär att den dagliga toppen kan återspegla både överförda inläsningsdata (även om appen i sig är tom, som i scenariot med enbart QVD) och alla nya lagrade eller skapade data för den dagen.
Månatlig topp och högt vattenmärke
Månadstoppen är den högsta dygnstoppen som registrerats under månaden. Den fungerar som ett högvattenmärke och visar den dag då din totala dataanvändning var som högst. Månadstoppen jämförs med din köpta kapacitet för att avgöra om överförbrukningsavgifter tillkommer.
Exempel – identifiering av månadstopp från daglig användning
För att visa hur den månatliga toppnoteringen fastställs används i detta exempel ett förenklat scenario som omfattar endast fyra dagar och en köpt kapacitet på 250 GB. Användningsvärdena hjälper till att illustrera hur den högsta dagliga toppnoteringen blir den månatliga toppnoteringen.
Tabellen visar dataanvändningen under fyra dagar, kategoriserad efter typ:
| Dag | Lagrade | Läs in igen | Skapat | Daglig topp |
|---|---|---|---|---|
| 1 | 50 GB | 30 GB | 15 GB | 95 GB |
| 2 | 70 GB | 40 GB | 30 GB | 140 GB |
| 3 | 60 GB | 0 GB | 20 GB | 120 GB |
| 4 | 80 GB | 50 GB | 40 GB | 170 GB |
Förstå tabelldata:
-
Dag 3 har ingen ominläsning av data. Ominläsningsdelen från dag 2 (40 GB) överförs och bidrar till den dagliga toppnoteringen (120 GB).
-
Dag 4 har den högsta dagliga toppnoteringen (170 GB), som blir månadens toppnotering.
Eftersom den månatliga toppnoteringen ligger inom den köpta kapaciteten på 250 GB tillämpas inte överförbrukning. Om förbrukningen någon dag överstiger 250 GB kan överförbrukningsavgifter tillkomma annars krävs en kapacitetsuppgradering.
Daglig användning under fyra dagar, som visar lagrade, inlästa (ominläsning) och skapade data. Den gröna linjen markerar den inköpta kapaciteten på 250 GB.
Läser in data till Qlik Cloud
Data som laddas till Qlik Cloud från externa källor räknas in i den dagliga toppen. När du laddar data i en klientorganisation räknas den en gång och kan analyseras och användas flera gånger. Data som laddas till flera klientorganisationer räknas flera gånger.
Data som bidrar till den dagliga toppen mäts på följande sätt:
-
Filbaserade data som laddas via en Qlik Sense-app mäts via filstorleken.
-
Appladdningar som använder frågor eller kopplingar räknas som det maximala antalet bytes som inhämtas från datakällan. När det finns flera laddningar som inträffar samma dag är den största appstorleken den som kommer att räknas mot den dagliga toppen. Om en app exempelvis laddas under en dag med 0,75 GB, 1,25 GB respektive 1 GB kommer värdet som används för den dagen vara 1,25 GB.
Så länge en app finns i Qlik Cloud-klientorganisationen utvärderas de maximala byte som hämtar in för appen.
-
Data som laddas till Qlik Cloud via Qlik Data Gateway – dataflytt mäts via storleken på den resulterande QVD-filen.
-
Appar som läses in eller laddas via filimport, antingen i aktivitetscentret för Analyser eller med qlik-cli, mäts via appens statiska storlek i byte.
-
Uppladdade QVD-filer mäts via sin filstorlek.
Olika sätt att ladda data till Qlik Cloud: via appar, dataflyttning eller importerat via aktivitetscentret för Analyser eller qlik-cli.
I de följande situationerna inkluderas data inte i beräkningen av den dagliga toppen:
-
Data som laddas till en användares personliga utrymme räknas inte, så länge den är begränsad till det utrymmet. Om användaren flyttar data till ett delat utrymme för samarbete med andra kommer de att räknas in.
-
Om en laddning misslyckas räknas inte inhämtade bytes. Men alla resulterande QVD-filer räknas.
-
När du laddar en app med data som redan finns i Qlik Cloud räknas inte laddade data. Exempelvis kopierade eller binärt laddade appar (laddade data från en annan Qlik Sense-app) påverkar inte den dagliga toppen, under förutsättning att de inte laddas från en extern källa.n
Appladdningar från interna källor har ingen påverkan på den dagliga toppen.
Mäta bytes som inhämtats för appladdningar
Följande gäller när du laddar en Qlik Sense-app från en extern källa:
-
Du kan ladda en app flera gånger från samma källdatauppsättning utan att den dagliga toppen påverkas, så länge som datavolymen är oförändrad.
-
Om källdatauppsättningen ökar i storlek påverkas den dagliga toppen. Varje ytterligare GB med data som läggs till i datauppsättningen bidrar med en motsvarande summa till inhämtade data under laddningen.
-
På motsvarande sätt, om källdatauppsättningen minskar i storleken återspeglas den här minskningen också i den dagliga toppen. Om datauppsättningens storlek exempelvis minskas med 0,25 GB minskar laddningsstorleken lika mycket. Men om en 1 GB-laddning inträffade tidigare på dagen blir den dagliga toppen för den dagen 1 GB. Minskningen skulle bara återspeglas i den dagliga toppen för nästa dag.
-
Ändringar av innehållet i källdatauppsättningen som inte ändrar dess storlek påverkar inte den dagliga toppen. Den dagliga toppen påverkas bara av datavolymen.
Mätning av inhämtade bytes när storleken eller innehållet i källdatauppsättningen förändras.
-
Om du frågar samma datauppsättning flera gånger inom samma laddningsskript räknas alla dessa frågor separat och deras datavolymer räknas ihop. Om du exempelvis har ett laddningsskript som omfattar tre frågor på 1 GB var från samma datauppsättning räknas alla tre frågorna individuellt. Därför blir den totala datasumman för din dagliga topp 3 GB.
-
Att ladda en app och därefter tar bort tabellen minskas inte den dagliga toppen, eftersom den dagliga toppen baseras på den maximala appladdningsstorleken för den dagen.
-
Om du laddar en app och sedan tar bort den samma dag kommer den fortfarande att bidra till den dagliga toppen för den dagen. Men den minskar den dagliga toppen för den följande dagen när appen inte längre finns.
Mäta bytes som inhämtats för olika appladdningsscenarier.
Mäta data som lästs in till QVD-filer med Qlik Talend Data Integration
Följande gäller när du laddar data till en QVD-fil från en extern källa med Qlik Data Gateway – dataflytt:
-
Du kan ladda upp importera eller generera en datauppsättning flera gånger utan att den dagliga toppen påverkas, så länge som datavolymen är oförändrad.
-
Om källdatauppsättningen ökar i storlek påverkas den dagliga toppen. Varje ytterligare GB med data som läggs till i datauppsättningen bidrar med en motsvarande summa till storleken som motsvarar den resulterande QVD-filen.
-
På motsvarande sätt, om källdatauppsättningen minskar i storleken återspeglas den här minskningen också i den dagliga toppen. Om datauppsättningens storlek exempelvis minskas med 0,25 GB minskar storleken på den resulterande QVD-filen lika mycket.
-
Ändringar av innehållet i källdatauppsättningen som inte ändrar dess storlek påverkar inte den dagliga toppen. Den dagliga toppen påverkas bara av datavolymen.
Mätning av QVD-filens storlek när storleken eller innehållet i källdatauppsättningen förändras.
Ladda appar från externa och interna källor
Det är viktigt att förstå hur data som laddas till appar påverkar den dagliga toppen beroende på datakällan. Vi kan ta en titt på följande scenarier där data laddas från olika källor:
-
En app laddas från en extern källa
När du laddar data från en extern källa till en app räknas det som inhämtade bytes. Om du exempelvis laddar 10 GB bidrar den till den dagliga toppen med 10 GB.
-
En app laddas från en QVD i Qlik Cloud
Att ladda data till en app från en QVD -fil som finns i Qlik Cloud räknas inte med i den dagliga toppen. Om 10 GB data laddas till en app från QVD räknas inga data eftersom det inte finns någon inhämtning av externa data. Bidraget till den dagliga toppen är 0 GB.
-
En ny QVD-fil genereras från en QVD i Qlik Cloud
Data som lästs in till en QVD-generatorapp från en Qlik Cloud-baserad QVD räknas inte in i den dagliga toppen. Men den resulterande QVD-filen som genereras från appen räknas. Om exempelvis en 10 GB QVD-fil omvandlas till en ny 5 GB QVD är bidraget till den dagliga toppen är summan av de två filerna, d.v.s. 15 GB. Eftersom det inte har skett någon extern datainhämtning räknas inte laddningen av QVD-generatorappen (en dedikerad app som skapar en datamodell och genererar en QVD) in.
-
En app laddas både från externa och interna källor
Om en app laddar 10 GB från en extern källa och 5 GB från en QVD inom Qlik Cloud är det totala bidraget till den dagliga toppen från appen 10 GB, eftersom bara data som lästs in från den externa källan räknas.
Att mäta totalsumman för datafiler plus inhämtade data vid laddning från interna och externa källor.
Skapa data i Qlik Cloud
När du skapar nya data Qlik Cloud, oavsett om du kopierar datafiler eller härleder dem genom att kombinera och bearbeta befintliga rådata räknas det in i den dagliga toppen. Data mäts som den totala storleken av de filer som genereras under dataskapandeprocessen. De data som skapas räknas bara en gång, oavsett hur många appar som använder den.
Betrakta de här exemplen på dataskapande:
-
Att skapa en 1 GB QVD-fil med en STORE-sats lägger till 1 GB i den dagliga toppen.
-
Att kopiera en 1 GB QVD-fil lägger till 1 GB i den dagliga toppen, eftersom båda kopiorna bidrar till summan.
-
Att skapa en 0,5 GB QVD-fil genom omvandling lägger till lägger till 0,5 GB i den dagliga toppen. Endast den resulterande QVD-filen räknas; QVD-generatorappen räknas inte eftersom den laddar data som redan finns i Qlik Cloud.
Att mäta datafiler som skapats i Qlik Cloud.
Metodtips för hantering av data
Effektiv datahantering hjälper dig att få ut det mesta av din Data för analys-kapacitet. Rekommendationerna nedan beskriver hur du optimerar dataladdning, minskar onödig lagring och hanterar äldre eller inaktivt innehåll i Qlik Cloud.
Skapa QVD-filer för återanvändning av data
Använd QVD-filer när data delas mellan flera appar. Att läsa in externa data en gång och lagra dem som en QVD minskar upprepad inläsning och hjälper till att hålla den dagliga toppen lägre. Att skapa QVD-filer för återanvändning av data med Qlik Data Gateway – dataflytt är generellt mer effektivt än att läsa in data direkt i appar.
Exempel:
Om du läser in 10 GB externa data en gång och lagrar dem som en 5 GB QVD-fil, är de totala data som räknas mot den dagliga toppen 15 GB. Appar som laddar 5 GB QVD återinmatar inte de ursprungliga 10 GB. Om du istället läser in samma 10 GB externa data direkt till två appar, sker inläsningen två gånger, vilket resulterar i att 20 GB räknas.
Att skapa en QVD och ladda appar från den är effektivare än att ladda externa data direkt till flera appar.
Använd datainläsningsmetoder effektivt.
Flytta så mycket filtrering och transformering som möjligt till datakällan (SQL pushdown). Detta minskar mängden data som överförs vid ominläsningar.
Exempel:
I denna fråga tillämpas filtret vid källan så att endast en delmängd av alla data överförs.
Använd On-demand-appar för stora datauppsättningar
Appgenerering på begäran (ODAG) låter dig arbeta med stora datamängder genom att först läsa in aggregerad data och hämta detaljerade delmängder endast vid behov.
Mer information finns i On-demand-appar.
Hantera stora datauppsättningar med Direct Query och Dynamiska vyer
Direct Query och dynamiska vyer låter dig fråga stora datamängder på begäran utan att läsa in alla data i minnet. Dessa metoder minskar intaget och hjälper till att hålla användningen inom din kapacitet.
Mer information finns här:
Hantera gamla eller oanvända appar
Appar i klientorganisationen fortsätter att bidra till användningen av Data för analys baserat på deras senaste lyckade ominläsning. Så länge en app finns med dess data inläst, fortsätter den att bidra till din kapacitetsrapportering.
För att undvika onödig användning:
Minska eller ta bort onödiga data
Ta bort data från appar som inte längre kräver fullständiga datauppsättningar eller skapa appar utan data när endast strukturen behövs. Att ladda om en app med en mindre datauppsättning uppdaterar dess rapporterade användning.
Undvik onödig kopiering
Kopiera appar endast vid behov. Varje kopia behandlas som en separat app och bidrar till kapacitetsanvändningen.
Använd delade utrymmen medvetet
Delade utrymmen kan hjälpa till att kontrollera var och hur ominläsningar sker.
Ta bort appar som du inte längre behöver
Regelbunden rensning förhindrar att föråldrat innehåll förbrukar kapacitet.
-
Identifiera oanvända produkter i Katalogen genom att kontrollera Senast uppdaterad, Visad av och Använd i.
-
Använd konsekvensanalys och ursprung för att förstå var datafiler används.
-
Ta bort oanvända appar och datafiler från aktivitetscenter. Administratörer kan också ta bort appar från Administration.
Mer information finns här:
Minska ominläsningsrelaterad förbrukning
En apps rapporterade ominläsningsstorlek minskar bara om ominläsningen producerar en mindre datauppsättning. För att minska den rapporterade storleken, ladda om appen med mindre data så att den rapporterade storleken uppdateras.
Appens ominläsningsbeteende
-
Om en app läses in igen utan nya data, förblir den rapporterade storleken densamma.
-
När en app kopieras till ett annat utrymme, behandlas den som en separat app och räknas igen mot kapacitetsanvändningen.
Metoder för att begränsa ominläsningsrelaterad förbrukning
Du kan minska ominläsningsrelaterad dataförbrukning med någon av följande två metoder. Båda metoderna tar bort data från appen.
-
Stoppa laddningsskriptet tidigt: Lägg till en Exit script;-sats i början av laddningsskriptet för att ladda om appen utan data. När fullständiga data behövs, kommentera bort satsen eller tillämpa ett villkor så att den bara körs i specifika scenarier (till exempel när appen är i ett visst utrymme).
-
Återskapa appen utan data: Ladda ner appen utan data och importera den som en ny app. Efter att ha validerat den nya versionen, ta bort den ursprungliga appen.