Waardemeters van abonnement

De hoeveelheid gegevens voor analyse berekenen en beheren

Als u begrijpt hoe gegevens voor analyse worden berekend, kan dit u helpen om het beste gebruik te maken van uw capaciteit voor gegevensanalyse in Qlik Cloud. In deze sectie kijken we uitgebreid hoe maandelijkse piek, gegevensladingen, app-ladingen en het maken van gegevens wordt berekend. Daarnaast behandelen we de aanbevolen procedures voor gegevensbeheer.

Maandelijkse piek

De dagelijkse piek vertegenwoordigt de totale hoeveelheid gegevens voor analyse van een bepaalde dag. De maximale dagelijkse piek voor de maand is uw maandelijkse piek, die wordt gemeten aan de hand van uw aangeschafte capaciteit voor gegevensanalyse.

De dagelijkse piek wordt berekend als de som van alle bestandsgrootten voor indelingen zoals QVD-, CSV- of tekstbestanden plus het maximumaantal bytes dat wordt opgenomen door externe bronnen voor app-ladingen op die dag.

Laten we kijken naar het volgende voorbeeld:

Het dagelijkse gegevensverbruik varieert gedurende een maand. Op dag 1 bereikt het een piek van 3 GB, terwijl het 6 GB is op dag 2, enzovoort tot aan het einde van de maand. Het hoogste dagelijkse gebruik, geregistreerd op dag 2, was 6 GB. Dit resulteert in een maandelijkse piek van 6 GB. Op dagen waar er geen app-ladingen waren, zoals op dag 3 in ons voorbeeld, wordt verder gegaan met de waarde van de vorige dag.

Gegevens laden in Qlik Cloud

Gegevens van externe bronnen die zijn geladen in Qlik Cloud worden meegeteld voor de dagelijkse piek. Als u gegevens laadt naar een tenant, worden deze één keer geteld en kunnen ze meerdere keren worden geanalyseerd en gebruikt. Gegevens die naar meerdere tenants worden geladen, worden meerdere keren geteld.

Gegevens die bijdragen aan de dagelijkse piek, worden als volgt berekend:

• Gegevens op basis van bestanden die worden geladen via een Qlik Sense-app worden berekend op basis van de bestandsgrootte.

• App-ladingen met query's of connectoren worden geteld als het maximumaantal bytes dat van de gegevensbron wordt opgenomen. Als er meerdere ladingen op dezelfde dag plaatsvinden, wordt de grootste app meegeteld voor de dagelijkse piek. Als een app bijvoorbeeld op een dag wordt geladen met respectievelijk 0,75 GB, 1,25 GB en 1 GB, wordt de waarde 1,25 GB voor die dag gebruikt.

  Zolang een app bestaat in de Qlik Cloud-tenant, worden de maximum opgenomen bytes voor de app geëvalueerd.

• Gegevens die via Qlik Gegevensgateway - Gegevensverplaatsing zijn geladen naar Qlik Cloud worden gemeten op basis van de grootte van het resulterende QVD-bestand.

• Apps die zijn geüpload of geladen via bestandsimport, in het Analyse-activiteitencentrum of met behulp van qlik-cli, worden berekend aan de hand van de grootte van statische bytes van de app.

• Geüploadde QVD-bestanden worden berekend op basis van hun bestandsgrootte.

In de volgende situaties zijn gegevens niet opgenomen in de berekening van de dagelijkse piek:

• Gegevens die zijn geladen naar een persoonlijke ruimte van een gebruiker worden niet meegeteld, zolang deze zijn beperkt tot deze ruimte. Als de gebruiker de gegevens naar een gedeelde ruimte verplaatst om met andere gebruikers samen te werken, worden deze wel meegerekend.

• Als een lading mislukt, worden de opgenomen bytes niet meegeteld. Resulterende QVD-bestanden worden echter wel meegerekend.

• Als u een app laadt met gegevens die al aanwezig zijn in Qlik Cloud, wordt de gegevenslading niet meegerekend. Gekopieerde of binair geladen apps (gegevens laden van een andere Qlik Sense-app) hebben bijvoorbeeld geen invloed op de dagelijkse piek, mits ze niet vanuit een externe bron zijn geladen.

Bytes berekenen die zijn opgenomen voor app-ladingen

Het volgende geldt als u een Qlik Sense-app van een externe bron laadt:

• U kunt een app meerdere keren laden vanuit dezelfde brongegevensverzameling zonder dat dit invloed heeft op de dagelijkse piek, zolang het gegevensvolume hetzelfde blijft.

• Als de grootte van de brongegevensverzameling toeneemt, heeft dit invloed op de dagelijkse piek. Elke extra GB gegevens die wordt toegevoegd aan de gegevensverzameling draagt een gelijkwaardige hoeveelheid bij aan de gegevens die tijdens de lading worden opgenomen.

• Omgekeerd, als de grootte van de brongegevensverzameling afneemt, is deze afname ook terug te zien in de dagelijkse piek. Als de grootte van de brongegevensverzameling met 0,25 GB afneemt, neemt de laadgrootte ook met 0,25 GB af. Als er eerder die dag een lading van 1 GB heeft plaatsgevonden, is de dagelijkse piek voor die dag 1 GB. De afname is alleen terug te zien in de dagelijkse piek voor de volgende dag.

• Wijzigingen in de inhoud van de brongegevensverzameling, zonder dat daarbij de grootte van de verzameling wijzigt, hebben geen invloed op de dagelijkse piek. Alleen het gegevensvolume is van invloed op de dagelijkse piek.

• Als u binnen een afzonderlijk load-script meerdere malen een query uitvoert voor dezelfde gegevensverzameling, worden al deze query's afzonderlijk geteld en hun gegevensvolumes opgeteld. Als u bijvoorbeeld een load-script hebt dat drie query's van elk 1 GB van dezelfde gegevensverzameling bevat, worden deze drie query's afzonderlijk geteld. Dit betekent dat de totale hoeveelheid gegevens die wordt meegeteld voor uw dagelijkse piek 3 GB bedraagt.

• Als u een app laadt en vervolgens de tabel verwijdert, heeft dit geen invloed op de dagelijkse piek. De dagelijkse piek is namelijk gebaseerd op de maximale grootte van de app-lading van die dag.

• Wanneer u een app laadt en op dezelfde dag weer verwijdert, draagt dit nog steeds bij voor de dagelijkse piek van die dag. Dit zorgt wel voor een afname van de dagelijkse piek van de volgende dag als de app niet langer bestaat.

Gegevens berekenen die met behulp van Qlik Talend Data Integration in QVD-bestanden zijn geladen.

Het volgende geldt als u gegevens van een externe bron laadt in een QVD-bestand met behulp van Qlik Gegevensgateway - Gegevensverplaatsing:

• U kunt een gegevensverzameling meerdere keren uploaden, importeren of genereren zonder dat dit invloed heeft op de dagelijkse piek, zolang het gegevensvolume hetzelfde blijft.

• Als de grootte van de brongegevensverzameling toeneemt, heeft dit invloed op de dagelijkse piek. Elke extra GB aan gegevens die wordt toegevoegd aan de gegevensverzameling draagt een gelijkwaardige hoeveelheid gegevens bij aan de grootte van het resulterende QVD-bestand.

• Omgekeerd, als de grootte van de brongegevensverzameling afneemt, is deze afname ook terug te zien in de dagelijkse piek. Als de grootte van de brongegevensverzameling met 0,25 GB afneemt, neemt de laadgrootte van het resulterende QVD-bestand ook met 0,25 GB af.

• Wijzigingen in de inhoud van de brongegevensverzameling, zonder dat daarbij de grootte van de verzameling wijzigt, hebben geen invloed op de dagelijkse piek. Alleen het gegevensvolume is van invloed op de dagelijkse piek.

Apps laden van externe en interne bronnen

Het is belangrijk om te begrijpen hoe het laden van gegevens in apps van invloed is op de dagelijkse piek, afhankelijk van de gegevensbron. Laten we kijken naar de volgende scenario's waarbij gegevens vanuit verschillende bronnen worden geladen.

• Een app wordt geladen vanuit een externe bron

  Als u gegevens laadt vanuit een externe bron naar een app, telt dit als opgenomen bytes. Bij een lading van 10 GB, neemt de dagelijkse piek toe met 10 GB.

• Een app is geladen vanuit een QVD in Qlik Cloud

  Gegevens laden naar een app vanuit een QVD-bestand dat zich in Qlik Cloud bevindt, wordt niet meegerekend voor de dagelijkse piek. Als 10 GB aan gegevens vanuit de QVD in een app wordt geladen, worden er geen gegevens meegeteld omdat er geen externe gegevens worden opgenomen. De bijdrage aan de dagelijkse piek is 0 GB.

• Een nieuw QVD-bestand is gegenereerd vanuit een QVD in Qlik Cloud

  Gegevens die zijn geladen in een QVD-generatorapp van een QVD op basis van Qlik Cloud worden niet meegerekend voor de dagelijkse piek. Het resulterende QVD-bestand dat is gegenereerd door de app wordt wel meegerekend. Als bijvoorbeeld een QVD-bestand van 10 GB wordt getransformeerd in een nieuwe QVD van 5 GB, dan is de bijdrage aan de dagelijkse piek de som van de twee bestanden, namelijk 15 GB. Er worden geen externe gegevens opgenomen en daarom wordt de lading van de QVD-generatorapp (een speciale app die een gegevensmodel en een QVD genereert) niet meegeteld.

• Een app wordt geladen vanuit zowel externe als interne bronnen

  Als een app 10 GB laadt van een externe bron en 5 GB van een QVD binnen Qlik Cloud, neemt de dagelijkse piek toe met 10 GB, omdat alleen de gegevens die zijn geladen van de externe bron worden meegerekend.

Gegevens maken in Qlik Cloud

Wanneer u nieuwe gegevens maakt in Qlik Cloud, door het kopiëren van gegevensbestanden of door ze af te leiden door bestaande onbewerkte gegevens te combineren en verwerken, tellen ze mee voor de dagelijkse piek. Gegevens worden berekend als de totale omvang van de bestanden die zijn gegenereerd tijdens het maken van de gegevens. De gemaakte gegevens worden slechts één keer meegeteld, ongeacht hoeveel apps de gegevens gebruiken.

Bekijk de volgende voorbeelden van het maken van gegevens:

• Door het maken van een QVD-bestand van 1 GB met de STORE-opdracht wordt 1 GB toegevoegd aan de dagelijkse piek.

• Door het kopiëren van een QVD-bestand van 1 GB wordt 1 GB toegevoegd aan de dagelijkse piek, omdat beide kopieën meetellen voor het totaal.

• Door het maken van een QVD-bestand van 0,5 GB via een transformatie wordt 0,5 GB toegevoegd aan de dagelijkse piek. Alleen het resulterende QVD-bestand wordt meegeteld; de QVD-generatorapp wordt niet meegeteld, omdat deze gegevens laadt die al aanwezig zijn in Qlik Cloud.

Aanbevolen procedures voor het beheren van gegevens

Goed gegevensbeheer verbetert de prestaties en zorgt dat u alles kunt halen uit uw capaciteit voor gegevensanalyse. In deze sectie wordt u getoond hoe u in Qlik Cloud efficiënt kunt omgaan met gegevens.

• QVD-bestanden maken voor hergebruik van gegevens

  Overweeg om QVD-bestanden te maken voor gegevens die in meerdere Qlik Sense-apps worden gebruikt. Met QVD-bestanden kunt u gegevens eenmalig laden en in meerdere apps opnieuw gebruiken zonder dat dit wordt meegerekend voor de dagelijkse piek. Hierdoor kan de opname van gegevens en de opslagkosten aanzienlijk worden verlaagd.

  Als u bijvoorbeeld 10 GB aan externe gegevens laadt en een QVD-bestand van 5 GB maakt, wordt er 15 GB meegeteld voor de dagelijkse piek. Door dezelfde gegevens direct in twee apps te laden, resulteert dit in 20 GB.

  

  Over het algemeen is het maken van QVD-bestanden voor hergebruik van gegevens in Qlik Gegevensgateway - Gegevensverplaatsing efficiënter dan gegevens direct via apps laden.

• Efficiënte laadmethoden voor gegevens gebruiken

  Maak slim gebruik van SQL-pushdowntransformaties om gegevensladingen te optimaliseren. Bij deze methode worden gegevenstransformaties en bewerkingen direct naar de gegevensbron verzonden. Door gegevens in de bron te filteren en transformeren, verlaagt u de hoeveelheid gegevens die worden verzonden en verbetert zo de laadefficiëntie.

  In deze pushdown-query bijvoorbeeld wordt de WHERE-clause direct voor de brongegevens verwerkt. Alleen de subset van gegevens die aan specifieke criteria voldoen worden verzonden, waardoor de hoeveelheid gegevens afneemt die in het geheugen wordt geladen.

  Select * from my-external-database-table where my_column = 10

  Houd er rekening mee dat bij het laden van QVD-bestanden, de WHERE-clausule wordt verwerkt nadat het bestand vanuit de bron is gelezen en dat het volledige bestand wordt meegerekend.

• On-demand apps gebruiken voor grote gegevensverzamelingen

  On-demand apps (ODAG) zijn handig om te gebruiken met grote gegevensverzamelingen. Met ODAG kunt u geaggregeerde gegevens laden voor de bovenliggende app en alleen indien nodig meer gedetailleerde gegevens ophalen. Gebruikers zien samengevoegde weergaven van opgeslagen big data in. Ook kunnen ze relevante subsets van de gegevens identificeren en laden voor een gedetailleerde analyse. Ga voor meer informatie naar On-demand-apps.

• Omgaan met grote gegevensverzamelingen via Direct Query en dynamische weergaven

  Voor grote gegevensverzamelingen kunt u overwegen om Direct Query en dynamische weergaven te gebruiken. Met deze functies kunt u query's uitvoeren en relevante subsets van grote gegevensverzamelingen bekijken zonder dat u alle gegevens in het geheugen moet importeren of laden. Er bestaan enkele beperkingen in vergelijking tot apps in het geheugen, maar het is een efficiënte manier om te werken met zeer grote gegevensverzamelingen. Ga voor meer informatie naar Direct Query-apps en Gegevens beheren met dynamische weergaven.

• Schoon niet-gebruikte apps en gegevensbestanden regelmatig op

  Identificeer en verwijder niet-gebruikte apps en gegevensbestanden regelmatig om het resourcegebruik te optimaliseren en de algemene prestaties van de site te verbeteren. De volgende staps kunnen helpen bij het opschonen:

  • Identificeer niet-gebruikte apps en gegevensbestanden in de Catalogus door de kolommen te sorteren op Laatst bijgewerkt, Bekeken door en Gebruikt in en de kolommen te controleren. Zo kunt u zien of het item in de afgelopen 28 dagen is geopend en in hoeveel apps een gegevensbestand is gebruikt. Ga voor meer informatie naar Metingen van kijkers en itemgebruik.

  • Met behulp van impactanalyse en herkomst kunt u uitzoeken waar een gegevensbestand wordt gebruikt en welke gegevensbestanden in een specifieke app worden gebruikt. Ga voor meer informatie naar Impactanalyse voor apps, scipts en gegevensverzamelingen analyseren en Herkomst van apps, scripts en gegevensverzamelingen analyseren.

  • U kunt apps en gegevensbestanden uit activiteitencentra verwijderen. Beheerders kunnen apps verwijderen vanuit het Beheer-activiteitencentrum.

Voorbeeld: Hoeveelheid verplaatste gegevens berekenen

In dit voorbeeld hebben we een gegevensverzameling voor productcategorieën. De gegevensverzameling bevat 100 rijen en de volgende kolommen:

Er is een vaste grootte per gegevenstype:

We kunnen nu de geschatte rijgrootte berekenen als de som van de kolomgrootten: 4 + 7,5 + 200 + 200 = 411,5 bytes. Als dit wordt vermenigvuldigd met 100 rijen, levert dit een totaal gegevensvolume van 41.150 bytes op.

Full Users

Gebruikers met het Full User-recht kunnen inhoud weergeven, bewerken en maken in apps, diagrammen en apps exporteren, werken met gegevensintegratie, automatiseringen, machine learning en verschillende andere taken uitvoeren, mits hun gebruikersmachtigingen en ruimtemachtigingen dit toestaan. Ga voor meer informatie naar Gebruikersrechten beheren.

Basic Users

Het gratis Basic User-recht is beschikbaar met Qlik Cloud Analyse Premium- en Qlik Cloud Enterprise-abonnementen. Dit is bedoeld voor beperkte toegang met alleen-lezen. Basic Users kunnen geen apps en andere bedrijfsmiddelen maken of bewerken of werken met Gegevensintegratie. Als aanvullende machtigingen worden toegekend, worden ze automatisch gepromoveerd naar Full Users. Ga voor meer informatie naar Gebruikersrechten beheren.