Värdemätare för prenumeration

Beräknar och hanterar Data för analys-volym

Genom att förstå hur Data för analys beräknas kan du få ut mesta möjliga av din Data för analys-kapaciteten i Qlik Cloud. I det här delavsnittet tar vi en närmare titt på hur månadstopp, dataladdning, appladdningar och dataskapande mäts och tittar på bästa praxis för datahantering.

Månadstopp

Den dagliga toppen anger den totala Data för analysvolymen för en viss dag. Den maximala dagliga toppen för månaden är din månadstopp, som mäts mot din inköpta Data för analys-kapacitet.

Den dagliga toppen beräknas som summan av alla filstorlekar för format som QVD, CSV eller textfiler plus det maximala antalet bytes som inhämtats från externa källor för appladdningar under den dagen.

Vi ska titta på följande exempel:

Under månaden varierar den dagliga dataanvändningen. På dag 1 når den en topp på 3 GB, men på dag 2 är den 6 GB och så vidare fram till slutet av månaden. Den högsta dagliga användningen, noterad på dag 2, var 6 GB. Det ger oss en månadstopp på 6 GB. På dagar när det inte har förekommit någon appladdning, som på dag 3 i vårt exempel, flyttas värdet från föregående dag framåt.

Laddar data till Qlik Cloud

Data som laddas till Qlik Cloud från externa källor räknas in i den dagliga toppen. När du laddar data i en klientorganisation räknas den en gång och kan analyseras och användas flera gånger. Data som laddas till flera klientorganisationer räknas flera gånger.

Data som bidrar till den dagliga toppen mäts på följande sätt:

• Filbaserade data som laddas via en Qlik Sense-app mäts via filstorleken.

• Appladdningar som använder frågor eller kopplingar räknas som det maximala antalet bytes som inhämtas från datakällan. När det finns flera laddningar som inträffar samma dag är den största appstorleken den som kommer att räknas mot den dagliga toppen. Om en app exempelvis laddas under en dag med 0,75 GB, 1,25 GB respektive 1 GB kommer värdet som används för den dagen vara 1,25 GB.

  Så länge en app finns i Qlik Cloud-klientorganisationen utvärderas de maximala byte som hämtar in för appen.

• Data som laddas till Qlik Cloud via Qlik Data Gateway – dataflytt mäts via storleken på den resulterande QVD-filen.

• Appar som laddas upp eller laddas via filimport, antingen i aktivitetscentret för Analyser eller med qlik-cli, mäts via appens statiska storlek i byte.

• Uppladdade QVD-filer mäts via sin filstorlek.

I de följande situationerna inkluderas data inte i beräkningen av den dagliga toppen:

• Data som laddas till en användares personliga utrymme räknas inte, så länge den är begränsad till det utrymmet. Om användaren flyttar data till ett delat utrymme för samarbete med andra kommer de att räknas in.

• Om en laddning misslyckas räknas inte inhämtade bytes. Men alla resulterande QVD-filer räknas.

• När du laddar en app med data som redan finns i Qlik Cloud räknas inte laddade data. Exempelvis kopierade eller binärt laddade appar (laddade data från en annan Qlik Sense-app) påverkar inte den dagliga toppen, under förutsättning att de inte laddas från en extern källa.n

Mäta bytes som inhämtats för appladdningar

Följande gäller när du laddar en Qlik Sense-app från en extern källa:

• Du kan ladda en app flera gånger från samma källdatauppsättning utan att den dagliga toppen påverkas, så länge som datavolymen är oförändrad.

• Om källdatauppsättningen ökar i storlek påverkas den dagliga toppen. Varje ytterligare GB med data som läggs till i datauppsättningen bidrar med en motsvarande summa till inhämtade data under laddningen.

• På motsvarande sätt, om källdatauppsättningen minskar i storleken återspeglas den här minskningen också i den dagliga toppen. Om datauppsättningens storlek exempelvis minskas med 0,25 GB minskar laddningsstorleken lika mycket. Men om en 1 GB-laddning inträffade tidigare på dagen blir den dagliga toppen för den dagen 1 GB. Minskningen skulle bara återspeglas i den dagliga toppen för nästa dag.

• Ändringar av innehållet i källdatauppsättningen som inte ändrar dess storlek påverkar inte den dagliga toppen. Den dagliga toppen påverkas bara av datavolymen.

• Om du frågar samma datauppsättning flera gånger inom samma laddningsskript räknas alla dessa frågor separat och deras datavolymer räknas ihop. Om du exempelvis har ett laddningsskript som omfattar tre frågor på 1 GB var från samma datauppsättning räknas alla tre frågorna individuellt. Därför blir den totala datasumman för din dagliga topp 3 GB.

• Att ladda en app och därefter tar bort tabellen minskas inte den dagliga toppen, eftersom den dagliga toppen baseras på den maximala appladdningsstorleken för den dagen.

• Om du laddar en app och sedan tar bort den samma dag kommer den fortfarande att bidra till den dagliga toppen för den dagen. Men den minskar den dagliga toppen för den följande dagen när appen inte längre finns.

Mäta data som laddats till QVD-filer med Qlik Talend Data Integration

Följande gäller när du laddar data till en QVD-fil från en extern källa med Qlik Data Gateway – dataflytt:

• Du kan ladda upp importera eller generera en datauppsättning flera gånger utan att den dagliga toppen påverkas, så länge som datavolymen är oförändrad.

• Om källdatauppsättningen ökar i storlek påverkas den dagliga toppen. Varje ytterligare GB med data som läggs till i datauppsättningen bidrar med en motsvarande summa till storleken som motsvarar den resulterande QVD-filen.

• På motsvarande sätt, om källdatauppsättningen minskar i storleken återspeglas den här minskningen också i den dagliga toppen. Om datauppsättningens storlek exempelvis minskas med 0,25 GB minskar storleken på den resulterande QVD-filen lika mycket.

• Ändringar av innehållet i källdatauppsättningen som inte ändrar dess storlek påverkar inte den dagliga toppen. Den dagliga toppen påverkas bara av datavolymen.

Ladda appar från externa och interna källor

Det är viktigt att förstå hur data som laddas till appar påverkar den dagliga toppen beroende på datakällan. Vi kan ta en titt på följande scenarier där data laddas från olika källor:

• En app laddas från en extern källa

  När du laddar data från en extern källa till en app räknas det som inhämtade bytes. Om du exempelvis laddar 10 GB bidrar den till den dagliga toppen med 10 GB.

• En app laddas från en QVD i Qlik Cloud

  Att ladda data till en app från en QVD -fil som finns i Qlik Cloud räknas inte med i den dagliga toppen. Om 10 GB data laddas till en app från QVD räknas inga data eftersom det inte finns någon inhämtning av externa data. Bidraget till den dagliga toppen är 0 GB.

• En ny QVD-fil genereras från en QVD i Qlik Cloud

  Data som laddats till en QVD-generatorapp från en Qlik Cloud-baserad QVD räknas inte in i den dagliga toppen. Men den resulterande QVD-filen som genereras från appen räknas. Om exempelvis en 10 GB QVD-fil omvandlas till en ny 5 GB QVD är bidraget till den dagliga toppen är summan av de två filerna, d.v.s. 15 GB. Eftersom det inte har skett någon extern datainhämtning räknas inte laddningen av QVD-generatorappen (en dedikerad app som skapar en datamodell och genererar en QVD) in.

• En app laddas både från externa och interna källor

  Om en app laddar 10 GB från en extern källa och 5 GB från en QVD inom Qlik Cloud är det totala bidraget till den dagliga toppen från appen 10 GB, eftersom bara data som laddats från den externa källan räknas.

Skapa data i Qlik Cloud

När du skapar nya data Qlik Cloud, oavsett om du kopierar datafiler eller härleder dem genom att kombinera och bearbeta befintliga rådata räknas det in i den dagliga toppen. Data mäts som den totala storleken av de filer som genereras under dataskapandeprocessen. De data som skapas räknas bara en gång, oavsett hur många appar som använder den.

Betrakta de här exemplen på dataskapande:

• Att skapa en 1 GB QVD-fil med en STORE-sats lägger till 1 GB i den dagliga toppen.

• Att kopiera en 1 GB QVD-fil lägger till 1 GB i den dagliga toppen, eftersom båda kopiorna bidrar till summan.

• Att skapa en 0,5 GB QVD-fil genom omvandling lägger till lägger till 0,5 GB i den dagliga toppen. Endast den resulterande QVD-filen räknas; QVD-generatorappen räknas inte eftersom den laddar data som redan finns i Qlik Cloud.

Metodtips för hantering av data

Med korrekt datahantering förbättras prestandan och säkerställs att du får ut mesta möjliga av din Data för analys-kapacitet. I det här delavsnittet lär du dig att hantera data effektivt i Qlik Cloud.

• Skapa QVD-filer för återanvändning av data

  När du hanterar data som kommer att användas i flera Qlik Sense-appar bör du överväga att skapa QVD-filer. Med QVD-filer kan du ladda data en gång och återanvända den i flera appar utan att lägga till i den dagliga toppen. På så sätt kan du reducera datainhämtningen och lagringskostnaderna avsevärt.

  Om du exempelvis laddar 10 GB med externa data och skapar en 5 GB QVD-fil är totalsumman för den dagliga toppen 15 GB data. Att ladda samma data direkt i två appar resulterar i 20 GB.

  

  Generellt är det mer effektivt att skapa QVD-filer för återanvändning av data med Qlik Data Gateway – dataflytt än att ladda data direkt via appar.

• Använd dataladdningsmetoder effektivt.

  Dra fördel av SQL-pushdownomvandlingar för att optimera dataladdning. Den här tekniken omfattar att flytta dataomvandlingar och åtgärder direkt till datakällan. Genom att filtrera och omvandla data vid källan minskar du den överförda datavolymen och förbättrar laddningseffektiviteten.

  I den här pushdown-frågan exempelvis bearbetas WHERE-satsen direkt på källdata. Endast den delmängd av data som uppfyller specifika kriterier överförs, vilket reducerar datamängden som laddas till minnet.

  Select * from my-external-database-table where my_column = 10

  Observera att när QVD-filer laddas bearbetas WHERE-satsen efter att filen har lästs från källan och hela filen räknas.

• Använd On-demand-appar för stora datauppsättningar

  On-demand-appar (ODAG) är användbara vid hantering av stora datauppsättningar. Med ODAG kan du ladda aggregerade data för den överordnade appen och bara hämta mer detaljerade data när det behövs. Användare ställer in summerade översikter över stordatakällor så att de kan identifiera och ladda relevanta delmängder av data för detaljerad analys. Se On-demand-appar för mer information.

• Hantera stora datauppsättningar med Direct Query och Dynamiska vyer

  För stora datauppsättningar bör du överväga att använda Direct Query och Dynamiska vyer. Med de här funktionerna kan du fråga och visa relevanta delmängder av stora datauppsättningar utan att behöva importera eller ladda all data till minnet. Det finns några begränsningar jämfört med appar i minnet, men det är ändå ett effektivt sätt att arbeta med stora datauppsättningar. Mer information finns i Direct Query-appar och Hantera data med dynamiska vyer.

• Rensa undan oanvända appar och filer regelbundet

  För att optimera resursanvändning och förbättra webbplatsens övergripande prestanda bör du regelbundet identifiera och ta bort oanvända appar och datafiler. Följande steg kan vara till hjälp med att rensa upp:

  • Identifiera oanvända appar och datafiler i Katalog genom att sortera och kontrollera kolumnerna Senast uppdaterad, Visad av och Använd i. Då kan du se om objektet har öppnats under de senaste 28 dagarna och i hur många appar en datafil används. Se Mått på visningar och användning av element för mer information.

  • Påverkansanalys och Ursprung hjälper dig att ta reda på var en datafil används och vilka datafiler som används i en specifik app. Mer information finns i Analysera påverkansanalys för appar, skript och datauppsättningar och Analysera ursprung för appar, skript och datauppsättningar.

  • Du kan ta bort appar och datafiler från aktivitetscenter. Administratörer kan också ta bort appar från aktivitetscentret för Administration.

Exempel: Beräkna mängden Flyttade data

I det här exemplet har vi en datauppsättning för produktkategorier. Datauppsättningen har 100 rader och följande kolumner:

Det finns en fast storlek för varje datatyp:

Vi kan nu beräkna den uppskattade radstorleken som summan av kolumnstorlekarna: 4 + 7,5 + 200 + 200 = 411,5 bytes. Multiplicerat med 100 rader ger detta en total datavolym på 41 150 bytes.

Full-användare

Användare med Full User-rättighet kan visa, redigera och skapa innehåll i appar, exportera diagram och appar, arbeta med dataintegrering, automatiseringar, maskininlärning och utföra en mängd andra uppgifter förutsatt att dina användarbehörigheter och utrymmesbehörigheter tillåter det. Se Hantera användarrättigheter för mer information.

Användare med Basic User-rättigheter

Den avgiftsfria Basic User-rättigheten finns i Qlik Cloud-analys premium- och Qlik Cloud Enterprise-prenumerationer. Den är avsedd för begränsad, skrivskyddad åtkomst. Basic User-användare kan inte skapa eller redigera appar och andra tillgångar, eller arbeta med Dataintegrering. Om ytterligare behörigheter beviljas uppgraderas de automatiskt till användare med Full User-rättigheter. Mer information finns i Hantera användarrättigheter.