Compteurs de valeur des abonnements
Les abonnements basés sur la capacité Qlik Cloud utilisent le volume Données à analyser ou Données déplacées comme principal compteur de valeur. Pour Qlik Cloud Analytics - Standard, le compteur de valeur est le nombre de Full Users.
Le tableau montre les principaux compteurs de valeur de chacune des options d'abonnement.
Option d'abonnement | Compteur de valeur |
---|---|
Qlik Cloud Enterprise | Données à analyser et Données déplacées |
Qlik Cloud Data Integration - Standard et Premium | Données déplacées |
Qlik Cloud Analytics - Premium | Données à analyser |
Qlik Cloud Analytics - Standard | Full Users |
Les administrateurs peuvent suivre la consommation de Données à analyser, Données déplacées, Full Users et d'autres ressources dans la Console de gestion et l'application Génération de rapports de capacité de données. Pour plus d'informations, voir Suivi de la consommation de ressources et Suivi de l'utilisation grâce à des rapports de consommation détaillés. Le propriétaire du compte de service de l'abonnement Qlik Cloud peut suivre la consommation et afficher les détails des abonnements dans le portail My Qlik.
Données à analyser
Qlik Cloud Analytics est mesuré en fonction du volume Données à analyser. Votre utilisation mensuelle maximale est mesurée par rapport à la capacité que vous avez achetée. La métrique Données à analyser correspond au total de l'ensemble des données chargées et résidant dans Qlik Cloud, comme indiqué ci-dessous.
Les données suivantes sont incluses dans la métrique :
-
Données chargées dans Qlik Cloud provenant de sources externes. Pour les actualisations, les nouvelles données incrémentielles augmentent le nombre de données. Si l'actualisation comporte moins de données, le nombre de données diminue.
-
Fichiers de données chargés ou créés dans Qlik Cloud. La taille de fichier est comptée. Si vous copiez des fichiers de données dans Qlik Cloud, les nouveaux fichiers de données sont inclus dans le nombre.
La métrique Données analysées est calculée comme suit :
-
Le volume des données externes ingérées dans Qlik Cloud via une application Qlik Sense.
-
La taille du fichier QVD obtenu provenant des données externes chargées dans Qlik Cloud via Qlik Data Gateway - Data Movement.
-
La taille de fichier des fichiers de données chargés dans Qlik Cloud.
-
Le pic de taille d'actualisation des applications chargées dans Qlik Cloud.
Les données chargées dans différents clients sont comptées plusieurs fois, tandis que les données chargées une seule fois et utilisées dans différentes applications sont comptées une seule fois.
Abonnement à la capacité Données à analyser
Vous vous abonnez à des packs de données en fonction de vos besoins pour Données à analyser. Outre les packs de données, chaque droit Full User inclut une certaine capacité de Données à analyser. Ces données sont limitées à l'espace personnel de l'utilisateur et ne sont pas comptées dans les Données à analyser totales. Cependant, si l'utilisateur déplace les données vers un espace partagé pour collaborer avec d'autres utilisateurs, ces données seront comptées.
Notez que Qlik Cloud Analytics - Standard a une capacité de données fixe. Pour cette édition, vous vous abonnez en fonction du nombre de Full Users.
Déplacement de données vers Qlik Cloud
Vos options, pour déplacer des données, incluent les suivantes :
-
Connexions de données directes depuis Qlik Sense
-
Qlik Data Gateway - Direct Access
-
Déplacement de données vers Qlik Cloud avec Qlik Cloud Data Integration
Vous pouvez déplacer des données vers Qlik Cloud depuis n'importe quelle source avec les éditions Premium et Enterprise de Qlik Cloud Analytics. Avec Qlik Cloud Analytics - Standard, vous pouvez déplacer des données provenant de n'importe quelle source sauf de SAP, de mainframe (grand système) et de sources héritées.
Calcul et gestion du volume Données à analyser
Le fait de savoir comment la valeur Données à analyser est calculée peut vous aider à tirer le maximum de votre capacité Données à analyser dans Qlik Cloud. Dans cette section, nous allons nous pencher de plus près sur le mode de mesure du pic mensuel, du chargement de données, des actualisations d'applications et de la création de données ainsi que sur les bonnes pratiques de gestion de données.
Pic mensuel
Le pic quotidien représente le volume Données à analyser total d'un jour donné. Le pic quotidien maximal du mois est votre pic mensuel, mesuré par rapport à la capacité Données à analyser que vous avez achetée.
Le pic quotidien est calculé comme la somme de l'ensemble des tailles de fichiers aux formats QVD, CSV ou texte plus le nombre maximal d'octets ingérés depuis des sources externes pour les actualisations d'applications ayant lieu le jour en question.
Prenons l'exemple suivant :
L'utilisation quotidienne des données varie tout au long du mois. Le jour 1, elle atteint un pic de 3 Go, tandis que le jour 2, elle est de 6 Go, etc., jusqu'à la fin du mois. L'utilisation quotidienne maximale, enregistrée le jour 2, était de 6 Go. Cela nous donne un pic mensuel de 6 Go. Les jours sans actualisation d'application, comme le jour 3 dans notre exemple, la valeur du jour précédent est reportée.
Chargement de données dans Qlik Cloud
Les données chargées dans Qlik Cloud depuis des sources externes sont comptabilisées dans le pic quotidien. Lorsque vous chargez des données dans un client, elles sont comptées une fois et peuvent être analysées et utilisées plusieurs fois. Les données chargées dans plusieurs clients sont comptabilisées plusieurs fois.
Les données qui contribuent au pic quotidien sont mesurées comme suit :
-
Les données basées sur des fichiers chargées via une application Qlik Sense sont mesurées en fonction de leur taille de fichier.
-
Les actualisations d'applications qui utilisent des requêtes ou des connecteurs sont comptabilisées comme le nombre maximal d'octets ingérés depuis la source de données. Lorsque plusieurs actualisations ont lieu le même jour, la taille d'application maximale est celle qui sera comptabilisée dans le pic quotidien. Par exemple, si une application est actualisée au cours d'une journée avec 0,75 Go, 1,25 Go et 1 Go, respectivement, la valeur utilisée pour la journée en question sera de 1,25 Go.
-
Les données chargées dans Qlik Cloud via Qlik Data Gateway - Data Movement sont mesurées en fonction de la taille du fichier QVD obtenu.
-
Les applications chargées ou téléversées via l'import de fichiers, que ce soit dans le hub ou via qlik-cli, sont mesurées en fonction du pic de taille d'actualisation de l'application.
-
Les fichiers QVD chargés sont mesurés en fonction de leur taille de fichier.
Dans les cas suivants, les données ne sont pas incluses dans le calcul du pic quotidien :
-
Les données chargées dans un espace personnel d'un utilisateur ne sont pas comptées, à condition qu'elles soient limitées à cet espace. Si l'utilisateur déplace les données vers un espace partagé pour collaborer avec d'autres, ces données seront comptées.
-
En cas d'échec d'une actualisation, les octets ingérés ne sont pas comptés. Cependant, tous les fichiers QVD obtenus sont comptés.
-
Lorsque vous chargez une application avec des données qui réside déjà dans Qlik Cloud, le chargement de données n'est pas compté. Par exemple, les données copiées ou chargées au format binaire (chargement de données provenant d'une autre application Qlik Sense) n'ont pas d'impact sur le pic quotidien, à condition qu'elles ne soient pas actualisées d'une source externe.
Mesure des octets ingérés pour les actualisations d'applications
Les règles suivantes s'appliquent lorsque vous actualisez une application Qlik Sense depuis une source externe :
-
Vous pouvez actualiser une application plusieurs fois depuis le même ensemble de données source sans affecter le pic quotidien, à condition que le volume de données reste inchangé.
-
Si la taille de l'ensemble de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté à l'ensemble de données contribue en quantité équivalente aux données ingérées lors de l'actualisation.
-
Inversement, si la taille de l'ensemble de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien. Par exemple, si la taille de l'ensemble de données est réduite de 0,25 Go, la taille de l'actualisation diminue de la même quantité. En revanche, si une actualisation de 1 Go a eu lieu plus tôt dans la journée, le pic quotidien pour la journée en question sera de 1 Go. La réduction sera reflétée uniquement dans le pic quotidien du jour suivant.
-
Les changements de contenu de l'ensemble de données source, sans altération de sa taille, n'ont pas d'impact sur le pic quotidien. Le pic quotidien est affecté uniquement par le volume des données.
-
Si vous interrogez le même ensemble de données plusieurs fois dans un seul script de chargement, l'ensemble de ces requêtes sont comptabilisées séparément, et leurs volumes de données sont additionnés. Par exemple, si vous avez un script de chargement incluant trois requêtes de 1 Go chacune provenant du même ensemble de données, l'ensemble de ces trois requêtes sont comptabilisées individuellement. Par conséquent, la quantité totale de données comptabilisée dans le pic quotidien est de 3 Go.
-
Le fait de charger une application, puis d'abandonner la table, ne réduit pas le pic quotidien, car ce dernier est basé sur la taille d'actualisation d'applications maximale de la journée.
-
Si vous chargez une application et si vous la supprimez ensuite le même jour, elle contribuera tout de même au pic quotidien de la journée en question. En revanche, si l'application n'existe plus, le pic quotidien du jour suivant sera réduit.
Mesure des données chargées dans des fichiers QVD avec Qlik Cloud Data Integration
Les règles suivantes s'appliquent lorsque vous chargez des données dans un fichier QVD depuis une source externe via Qlik Data Gateway - Data Movement :
-
Vous pouvez charger, importer ou générer un ensemble de données plusieurs fois sans affecter le pic quotidien, à condition que le volume de données reste inchangé.
-
Si la taille de l'ensemble de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté à l'ensemble de données contribue en quantité équivalente à la taille du fichier QVD obtenu.
-
Inversement, si la taille de l'ensemble de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien. Par exemple, si la taille de l'ensemble de données est réduite de 0,25 Go, la taille du fichier QVD obtenu diminue de la même quantité.
-
Les changements de contenu de l'ensemble de données source, sans altération de sa taille, n'ont pas d'impact sur le pic quotidien. Le pic quotidien est affecté uniquement par le volume des données.
Chargement d'applications provenant de sources internes et externes
Il est important de comprendre la manière dont les données chargées dans des applications affectent le pic quotidien, suivant la source de données. Prenons les scénarios suivants, dans lesquels des données sont chargées de différentes sources.
-
Chargement d'une application depuis une source externe.
Lorsque vous chargez des données provenant d'une source externe dans une application, elles sont comptées en termes d'octets ingérés. Par exemple, si vous chargez 10 Go, la contribution au pic quotidien est de 10 Go.
-
Chargement d'une application depuis un QVD dans Qlik Cloud
Le chargement de données dans une application depuis un fichier QVD résidant dans Qlik Cloud n'est pas comptabilisé dans le pic quotidien. Si 10 Go de données sont chargés dans une application depuis le QVD, aucune donnée n'est comptabilisée, en raison de l'absence d'ingestion de données externes. La contribution au pic quotidien est de 0 Go.
-
Génération d'un nouveau fichier QVD depuis un QVD dans Qlik Cloud
Les données chargées dans une application génératrice de QVD depuis un QVD basé dans Qlik Cloud ne sont pas comptabilisées dans le pic quotidien. En revanche, le fichier QVD obtenu généré depuis l'application est comptabilisé. Par exemple, si un fichier QVD de 10 Go est transformé en nouveau QVD de 5 Go, la contribution au pic quotidien est la somme des deux fichiers, à savoir, 15 Go. Étant donné l'absence d'ingestion de données externes, le chargement de l'application génératrice de QVD (une application dédiée qui crée un modèle de données et génère un QVD) n'est pas comptabilisé.
-
Chargement d'une application depuis des sources externe et internes
Si une application charge 10 Go depuis une source externe et 5 Go depuis un QVD dans Qlik Cloud, la contribution totale au pic quotidien de l'application est de 10 Go, car seules les données chargées depuis la source externe sont comptabilisées.
Création de données dans Qlik Cloud
Lorsque vous créez des données dans Qlik Cloud, que ce soit en copiant des fichiers de données ou en les dérivant via la combinaison et le traitement de données brutes existantes, elles sont comptabilisées dans le pic quotidien. Les données sont mesurées comme la taille totale des fichiers générés lors du processus de création de données. Les données créées sont comptabilisées une seule fois, quel que soit le nombre d'applications qui les utilisent.
Prenons ces exemples de création de données :
-
La création d'un fichier QVD de 1 Go via l'instruction STORE ajoute 1 Go au pic quotidien.
-
La copie d'un fichier QVD de 1 Go ajoute 1 Go au pic quotidien, car les deux copies contribuent au total.
-
La création d'un fichier QVD de 0,5 Go via une transformation ajoute 0,5 Go au pic quotidien. Seul le fichier QVD obtenu est comptabilisé ; l'application génératrice de QVD n'est pas comptabilisée, car elle charge des données qui figurent déjà dans Qlik Cloud.
Bonnes pratiques pour la gestion des données
La gestion appropriée des données améliore les performances et vous garantit de tirer le maximum de votre capacité Données à analyser. Cette section vous montrera comment gérer efficacement les données dans Qlik Cloud.
-
Création de fichiers QVD à des fins de réutilisation des données
Lorsque vous avez affaire à des données qui seront utilisées dans plusieurs applications Qlik Sense, pensez à créer des fichiers QVD. Les fichiers QVD vous permettent de charger des données une fois et de les réutiliser dans différentes applications sans augmenter le pic quotidien. Cela peut considérablement réduire les coûts d'ingestion et de stockage de données.
Par exemple, si vous chargez 10 Go de données externes et si vous créez un fichier QVD de 5 Go, vous obtenez un total de 15 Go de données contribuant au pic quotidien. Le chargement des mêmes données directement dans deux applications représente 20 Go.
En règle générale, la création de fichiers QVD à des fins de réutilisation des données avec Qlik Data Gateway - Data Movement est plus efficace que l'actualisation des données directement via des applications.
-
Utilisation de méthodes de chargement de données efficaces
Tirez parti des transformations SQL pushdown pour optimiser le chargement de données. Cette technique consiste à « pousser » les transformations et les opérations de données directement à la source de données. En filtrant et en transformant les données à la source, vous réduisez le volume de données transférées et vous améliorez l'efficacité du chargement.
Par exemple, dans cette requête pushdown, la clause WHERE est traitée directement sur les données sources. Seul le sous-ensemble de données remplissant des critères spécifiques est transféré, réduisant la quantité de données chargées en mémoire.
Select * from my-external-database-table where my_column = 10
Notez que dans le cas du chargement de fichiers QVD, la clause WHERE est traitée après la lecture du fichier depuis la source et que le fichier tout entier est comptabilisé.
-
Utilisation d'applications On-demand pour les ensembles de données volumineux
Les applications On-demand (ODAG) s'avèrent utiles lorsque l'on a affaire à des ensembles de données volumineux. ODAG vous permet de charger des données agrégées pour l'application parente et de récupérer des données plus détaillées uniquement lorsque cela s'avère nécessaire. Les utilisateurs obtiennent des vues agrégées de magasins de données volumineux, ce qui leur permet d'identifier et de charger des sous-ensembles de données pertinents des données pour une analyse détaillée. Pour plus d'informations, voir Applications On-demand.
-
Gestion des ensembles de données volumineux avec Direct Query et Vues dynamiques
Pour les ensembles de données volumineux, pensez à utiliser Direct Query et Vues dynamiques. Ces fonctions vous permettent d'interroger et d'afficher des sous-ensembles pertinents d'ensembles de données volumineux sans besoin d'importer ou de charger la totalité des données en mémoire. En cas de limitations par rapport aux applications en mémoire, il s'agit d'une méthode efficace pour travailler avec des ensembles de données de grandes tailles. Pour plus d'informations, voir Applications Direct Query et Gestion des données avec des vues dynamiques.
-
Nettoyage régulier des applications et des fichiers de données non utilisés
Pour optimiser l'utilisation des ressources et améliorer les performances générales du site, identifiez et supprimez régulièrement les applications et les fichiers de données non utilisés. Les étapes suivantes peuvent faciliter le nettoyage :
-
Identifiez les applications et les fichiers de données non utilisés dans Catalogue en triant et en vérifiant les colonnes Dernière mise à jour, Visité par et Utilisé dans. Cela vous permet de voir si l'élément a été ouvert au cours des 28 derniers jours et dans combien d'applications un fichier de données est utilisé. Pour plus d'informations, voir Métriques relatives aux visiteurs et à l'utilisation des éléments.
-
L'Analyse de l'impact et la Traçabilité vous permet de savoir où un fichier de données est utilisé et quels fichiers de données sont utilisés dans une application donnée. Pour plus d'informations, voir Examen de l'analyse de l'impact pour les applications, les scripts et les ensembles de données et Examen de la traçabilité pour les applications, les scripts et les ensembles de données.
-
Vous pouvez supprimer des applications et des fichiers de données du hub. Les administrateurs peuvent également supprimer des applications de la Console de gestion.
-
Données déplacées
La métrique Données déplacées correspond à la somme de toutes les données déplacées vers une cible. Vous pouvez déplacer des données vers tout type de cible. Le type des sources depuis lesquelles vous pouvez déplacer des données dépend de votre abonnement. Qlik Cloud Data Integration - Premium et Enterprise prennent en charge toutes les sources, tandis que l'édition Standard ne prend pas en charge les sources SAP ni grand système. Le nombre de cibles ou de sources est illimité.
Les Données déplacées sont mesurées à partir du début du mois. Elles sont comptabilisées à mesure qu'elles sont déposées temporairement dans la cible. Cela signifie que les mêmes données répliquées vers deux cibles différentes sont comptées deux fois. Le chargement complet initial de nouvelles tables ou de nouveaux fichiers est gratuit et n'est pas compté.
Le volume Données déplacées est calculé comme le nombre de lignes de l'ensemble de données multiplié par la taille de ligne estimée. La taille de ligne estimée est calculée comme la taille totale de toutes les colonnes d'une ligne, suivant le type de données de chaque colonne. Pour des informations détaillées sur le rapport entre la représentation interne des types de données et votre schéma cible, consultez Connexion à des plates-formes de données Cloud dans vos projets de données et accédez à la section Types de données de la rubrique de votre plateforme de données Cloud.
Le nombre de lignes utilisé dans le calcul du volume Données déplacées peut être légèrement différent de la valeur prévue. Ces petites variations sont prévues et sont dues à des artefacts techniques qui ne peuvent pas être contrôlés par Qlik.
Par exemple, lors du chargement d'une table volumineuse, la base de données peut envoyer deux fois la même ligne (lectures fantômes) ou compter une ligne comme actualisation et comme ligne de modification. Des variations peuvent également se produire dans les nombres de modifications lorsqu'une modification déclenche une exécution ; cela produit des modifications imprévues supplémentaires, et les nombres de modifications sont lus dans le journal des transactions ou dans une source de modifications.
Le calcul Données déplacées est basé sur l'ensemble de données de dépôt temporaire tel qu'il apparaît dans Qlik Cloud. Les modifications apportées à cet ensemble de données seront prises en compte, par exemple, l'ajout de nouvelles colonnes. Si vous tentez de reproduire les calculs de volume Données déplacées, assurez-vous d'utiliser les bons types de données tels qu'ils apparaissent dans Qlik Cloud et non la source, car cela affecte la taille de colonne du calcul. Par exemple, l'utilisation de varchar(20) au lieu de varchar(10) double la contribution des colonnes à la taille de ligne estimée.
Le tableau suivant répertorie la taille de chaque type de données. La fonction min() utilisée pour bytes, string et wstring renvoie la plus petite des deux valeurs, soit length/2, soit 200.
Type de données | Taille (en octets) |
---|---|
Non spécifié | 1 |
BOOLEAN | 1 |
BYTES(length) | min(length/2, 200) |
DATE | 4 |
TIME | 4 |
DATETIME | 8 |
INT1 | 1 |
INT2 | 2 |
INT4 | 4 |
INT8 | 8 |
REAL4 | 2 |
REAL8 | 4 |
UINT1 | 1 |
UINT2 | 2 |
UINT4 | 4 |
UINT8 | 8 |
NUMERIC | 2 |
STRING(length) | min(length/2, 200) |
WSTRING(length) | min(length/2, 200) |
BLOB | 200 |
CLOB | 200 |
NCLOB | 200 |
Calcul du volume Données déplacées
Dans cet exemple, nous avons un ensemble de données de catégories de produits. L'ensemble de données comporte 100 lignes et les colonnes suivantes :
Nom de la colonne | Type de données |
---|---|
CategoryID | INT4 |
CategoryName | WSTRING(15) |
Description | NCLOB |
Image | BLOB |
Une taille fixe est associée à chaque type de données :
Type de données | Taille (en octets) |
---|---|
INT4 | 4 |
WSTRING(15) | min(15/2, 200) = 7.5 |
NCLOB | 200 |
BLOB | 200 |
À présent, nous pouvons calculer la taille de ligne estimée comme la somme des tailles de colonne : 4 + 7,5 + 200 + 200 = 411,5 octets. Cette valeur, multipliée par 100 lignes, nous donne un volume de données total de 41 150 octets.
Full Users
En tant que Full User, vous pouvez afficher, éditer et créer du contenu dans des applications, exporter des graphiques et des applications, utiliser Intégration de données, Automatisations, Apprentissage machine et effectuer d'autres tâches diverses, à condition que vos autorisations utilisateur et vos autorisations d'espace le permettent.
Pour plus d'informations, voir Gestion des droits d'utilisateur.
Basic Users
Outre le droit Full User, il existe également un type d'utilisateur gratuit appelé Basic User. Ce dernier est disponible avec les abonnements Qlik Cloud Analytics - Premium et Qlik Cloud Enterprise.
Le droit Basic User est prévu pour les scénarios en lecture seule limités. Les Basic Users ne peuvent pas créer ni éditer d'applications ni d'autres ressources, et ils ne peuvent pas non plus utiliser Intégration de données. Un Basic User peut uniquement disposer du rôle d'espace A une vue restreinte dans les espaces gérés. Cela permet à l'utilisateur d'afficher le contenu des applications et de créer des notes et des favoris privés. Les utilisateurs peuvent télécharger des images et des données d'applications, s'ils y sont autorisés dans les paramètres Utilisateur par défaut (voir Rôles et autorisations des utilisateurs et des administrateurs).Vous pouvez promouvoir des Basic Users au rang de Full Users en leur affectant des rôles supplémentaires.
Pour plus d'informations, voir Gestion des droits d'utilisateur.