Compteurs de valeur des abonnements

Calcul et gestion du volume Données à analyser

Le fait de savoir comment la valeur Données à analyser est calculée peut vous aider à tirer le maximum de votre capacité Données à analyser dans Qlik Cloud. Dans cette section, nous allons nous pencher de plus près sur le mode de mesure du pic mensuel, du chargement de données, des actualisations d'applications et de la création de données ainsi que sur les bonnes pratiques de gestion de données.

Pic mensuel

Le pic quotidien représente le volume Données à analyser total d'un jour donné. Le pic quotidien maximal du mois est votre pic mensuel, mesuré par rapport à la capacité Données à analyser que vous avez achetée.

Le pic quotidien est calculé comme la somme de l'ensemble des tailles de fichiers aux formats QVD, CSV ou texte plus le nombre maximal d'octets ingérés depuis des sources externes pour les actualisations d'applications ayant lieu le jour en question.

Prenons l'exemple suivant :

L'utilisation quotidienne des données varie tout au long du mois. Le jour 1, elle atteint un pic de 3 Go, tandis que le jour 2, elle est de 6 Go, etc., jusqu'à la fin du mois. L'utilisation quotidienne maximale, enregistrée le jour 2, était de 6 Go. Cela nous donne un pic mensuel de 6 Go. Les jours sans actualisation d'application, comme le jour 3 dans notre exemple, la valeur du jour précédent est reportée.

Chargement de données dans Qlik Cloud

Les données chargées dans Qlik Cloud depuis des sources externes sont comptabilisées dans le pic quotidien. Lorsque vous chargez des données dans un client, elles sont comptées une fois et peuvent être analysées et utilisées plusieurs fois. Les données chargées dans plusieurs clients sont comptabilisées plusieurs fois.

Les données qui contribuent au pic quotidien sont mesurées comme suit :

• Les données basées sur des fichiers chargées via une application Qlik Sense sont mesurées en fonction de leur taille de fichier.

• Les actualisations d'applications qui utilisent des requêtes ou des connecteurs sont comptabilisées comme le nombre maximal d'octets ingérés depuis la source de données. Lorsque plusieurs actualisations ont lieu le même jour, la taille d'application maximale est celle qui sera comptabilisée dans le pic quotidien. Par exemple, si une application est actualisée au cours d'une journée avec 0,75 Go, 1,25 Go et 1 Go, respectivement, la valeur utilisée pour la journée en question sera de 1,25 Go.

  S'il existe une application dans le client Qlik Cloud, le nombre maximal d'octets ingérés est évalué pour l'application.

• Les données chargées dans Qlik Cloud via Qlik Data Gateway - Data Movement sont mesurées en fonction de la taille du fichier QVD obtenu.

• Les applications chargées ou téléversées via l'importation de fichiers, que ce soit dans le centre d'activités Analyses ou via qlik-cli, sont mesurées en fonction de la taille d'octet statique de l'application.

• Les fichiers QVD chargés sont mesurés en fonction de leur taille de fichier.

Dans les cas suivants, les données ne sont pas incluses dans le calcul du pic quotidien :

• Les données chargées dans un espace personnel d'un utilisateur ne sont pas comptées, à condition qu'elles soient limitées à cet espace. Si l'utilisateur déplace les données vers un espace partagé pour collaborer avec d'autres, ces données seront comptées.

• En cas d'échec d'une actualisation, les octets ingérés ne sont pas comptés. Cependant, tous les fichiers QVD obtenus sont comptés.

• Lorsque vous chargez une application avec des données qui réside déjà dans Qlik Cloud, le chargement de données n'est pas compté. Par exemple, les données copiées ou chargées au format binaire (chargement de données provenant d'une autre application Qlik Sense) n'ont pas d'impact sur le pic quotidien, à condition qu'elles ne soient pas actualisées d'une source externe.

Mesure des octets ingérés pour les actualisations d'applications

Les règles suivantes s'appliquent lorsque vous actualisez une application Qlik Sense depuis une source externe :

• Vous pouvez actualiser une application plusieurs fois depuis le même jeu de données source sans affecter le pic quotidien, à condition que le volume de données reste inchangé.

• Si la taille du jeu de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté au jeu de données contribue en quantité équivalente aux données ingérées lors de l'actualisation.

• Inversement, si la taille du jeu de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien. Par exemple, si la taille du jeu de données est réduite de 0,25 Go, la taille de l'actualisation diminue de la même quantité. En revanche, si une actualisation de 1 Go a eu lieu plus tôt dans la journée, le pic quotidien pour la journée en question sera de 1 Go. La réduction sera reflétée uniquement dans le pic quotidien du jour suivant.

• Les changements de contenu du jeu de données source, sans altération de sa taille, n'ont pas d'impact sur le pic quotidien. Le pic quotidien est affecté uniquement par le volume des données.

• Si vous interrogez le même jeu de données plusieurs fois dans un seul script de chargement, l'ensemble de ces requêtes sont comptabilisées séparément, et leurs volumes de données sont additionnés. Par exemple, si vous avez un script de chargement incluant trois requêtes de 1 Go chacune provenant du même jeu de données, l'ensemble de ces trois requêtes sont comptabilisées individuellement. Par conséquent, la quantité totale de données comptabilisée dans le pic quotidien est de 3 Go.

• Le fait de charger une application, puis d'abandonner la table, ne réduit pas le pic quotidien, car ce dernier est basé sur la taille d'actualisation d'applications maximale de la journée.

• Si vous chargez une application et si vous la supprimez ensuite le même jour, elle contribuera tout de même au pic quotidien de la journée en question. En revanche, si l'application n'existe plus, le pic quotidien du jour suivant sera réduit.

Mesure des données chargées dans des fichiers QVD avec Qlik Talend Data Integration

Les règles suivantes s'appliquent lorsque vous chargez des données dans un fichier QVD depuis une source externe via Qlik Data Gateway - Data Movement :

• Vous pouvez charger, importer ou générer un jeu de données plusieurs fois sans affecter le pic quotidien, à condition que le volume de données reste inchangé.

• Si la taille du jeu de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté au jeu de données contribue en quantité équivalente à la taille du fichier QVD obtenu.

• Inversement, si la taille du jeu de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien. Par exemple, si la taille du jeu de données est réduite de 0,25 Go, la taille du fichier QVD obtenu diminue de la même quantité.

• Les changements de contenu du jeu de données source, sans altération de sa taille, n'ont pas d'impact sur le pic quotidien. Le pic quotidien est affecté uniquement par le volume des données.

Chargement d'applications provenant de sources internes et externes

Il est important de comprendre la manière dont les données chargées dans des applications affectent le pic quotidien, suivant la source de données. Prenons les scénarios suivants, dans lesquels des données sont chargées de différentes sources.

• Chargement d'une application depuis une source externe.

  Lorsque vous chargez des données provenant d'une source externe dans une application, elles sont comptées en termes d'octets ingérés. Par exemple, si vous chargez 10 Go, la contribution au pic quotidien est de 10 Go.

• Chargement d'une application depuis un QVD dans Qlik Cloud

  Le chargement de données dans une application depuis un fichier QVD résidant dans Qlik Cloud n'est pas comptabilisé dans le pic quotidien. Si 10 Go de données sont chargés dans une application depuis le QVD, aucune donnée n'est comptabilisée, en raison de l'absence d'ingestion de données externes. La contribution au pic quotidien est de 0 Go.

• Génération d'un nouveau fichier QVD depuis un QVD dans Qlik Cloud

  Les données chargées dans une application génératrice de QVD depuis un QVD basé dans Qlik Cloud ne sont pas comptabilisées dans le pic quotidien. En revanche, le fichier QVD obtenu généré depuis l'application est comptabilisé. Par exemple, si un fichier QVD de 10 Go est transformé en nouveau QVD de 5 Go, la contribution au pic quotidien est la somme des deux fichiers, à savoir, 15 Go. Étant donné l'absence d'ingestion de données externes, le chargement de l'application génératrice de QVD (une application dédiée qui crée un modèle de données et génère un QVD) n'est pas comptabilisé.

• Chargement d'une application depuis des sources externe et internes

  Si une application charge 10 Go depuis une source externe et 5 Go depuis un QVD dans Qlik Cloud, la contribution totale au pic quotidien de l'application est de 10 Go, car seules les données chargées depuis la source externe sont comptabilisées.

Création de données dans Qlik Cloud

Lorsque vous créez des données dans Qlik Cloud, que ce soit en copiant des fichiers de données ou en les dérivant via la combinaison et le traitement de données brutes existantes, elles sont comptabilisées dans le pic quotidien. Les données sont mesurées comme la taille totale des fichiers générés lors du processus de création de données. Les données créées sont comptabilisées une seule fois, quel que soit le nombre d'applications qui les utilisent.

Prenons ces exemples de création de données :

• La création d'un fichier QVD de 1 Go via l'instruction STORE ajoute 1 Go au pic quotidien.

• La copie d'un fichier QVD de 1 Go ajoute 1 Go au pic quotidien, car les deux copies contribuent au total.

• La création d'un fichier QVD de 0,5 Go via une transformation ajoute 0,5 Go au pic quotidien. Seul le fichier QVD obtenu est comptabilisé ; l'application génératrice de QVD n'est pas comptabilisée, car elle charge des données qui figurent déjà dans Qlik Cloud.

Bonnes pratiques pour la gestion des données

La gestion appropriée des données améliore les performances et vous garantit de tirer le maximum de votre capacité Données à analyser. Cette section vous montrera comment gérer efficacement les données dans Qlik Cloud.

• Création de fichiers QVD à des fins de réutilisation des données

  Lorsque vous avez affaire à des données qui seront utilisées dans plusieurs applications Qlik Sense, pensez à créer des fichiers QVD. Les fichiers QVD vous permettent de charger des données une fois et de les réutiliser dans différentes applications sans augmenter le pic quotidien. Cela peut considérablement réduire les coûts d'ingestion et de stockage de données.

  Par exemple, si vous chargez 10 Go de données externes et si vous créez un fichier QVD de 5 Go, vous obtenez un total de 15 Go de données contribuant au pic quotidien. Le chargement des mêmes données directement dans deux applications représente 20 Go.

  

  En règle générale, la création de fichiers QVD à des fins de réutilisation des données avec Qlik Data Gateway - Data Movement est plus efficace que l'actualisation des données directement via des applications.

• Utilisation de méthodes de chargement de données efficaces

  Tirez parti des transformations SQL pushdown pour optimiser le chargement de données. Cette technique consiste à « pousser » les transformations et les opérations de données directement à la source de données. En filtrant et en transformant les données à la source, vous réduisez le volume de données transférées et vous améliorez l'efficacité du chargement.

  Par exemple, dans cette requête pushdown, la clause WHERE est traitée directement sur les données sources. Seul le sous-jeu de données remplissant des critères spécifiques est transféré, réduisant la quantité de données chargées en mémoire.

  Select * from my-external-database-table where my_column = 10

  Notez que dans le cas du chargement de fichiers QVD, la clause WHERE est traitée après la lecture du fichier depuis la source et que le fichier tout entier est comptabilisé.

• Utilisation d'applications On-demand pour les jeux de données volumineux

  Les applications On-demand (ODAG) s'avèrent utiles lorsque l'on a affaire à des jeux de données volumineux. ODAG vous permet de charger des données agrégées pour l'application parente et de récupérer des données plus détaillées uniquement lorsque cela s'avère nécessaire. Les utilisateurs obtiennent des vues agrégées de magasins de données volumineux, ce qui leur permet d'identifier et de charger des sous-jeux de données pertinents des données pour une analyse détaillée. Pour plus d'informations, consultez Applications On-demand.

• Gestion des jeux de données volumineux avec Direct Query et Vues dynamiques

  Pour les jeux de données volumineux, pensez à utiliser Direct Query et Vues dynamiques. Ces fonctions vous permettent d'interroger et d'afficher des sous-ensembles pertinents de jeux de données volumineux sans besoin d'importer ou de charger la totalité des données en mémoire. En cas de limitations par rapport aux applications en mémoire, il s'agit d'une méthode efficace pour travailler avec des jeux de données de grandes tailles. Pour plus d'informations, consultez Applications Direct Query et Gestion des données avec des vues dynamiques.

• Nettoyage régulier des applications et des fichiers de données non utilisés

  Pour optimiser l'utilisation des ressources et améliorer les performances générales du site, identifiez et supprimez régulièrement les applications et les fichiers de données non utilisés. Les étapes suivantes peuvent faciliter le nettoyage :

  • Identifiez les applications et les fichiers de données non utilisés dans Catalogue en triant et en vérifiant les colonnes Dernière mise à jour, Visité par et Utilisé dans. Cela vous permet de voir si l'élément a été ouvert au cours des 28 derniers jours et dans combien d'applications un fichier de données est utilisé. Pour plus d'informations, consultez Métriques relatives aux visiteurs et à l'utilisation des éléments.

  • L'Analyse de l'impact et la Traçabilité vous permet de savoir où un fichier de données est utilisé et quels fichiers de données sont utilisés dans une application donnée. Pour plus d'informations, voir Examen de l'analyse de l'impact pour les applications, les scripts et les ensembles de données et Examen de la traçabilité pour les applications, les scripts et les jeux de données.

  • Vous pouvez supprimer des applications et des fichiers de données des centres d'activités. Les administrateurs peuvent également supprimer des applications du centre d'activités Administration.

Calcul du volume Données déplacées

Dans cet exemple, nous avons un jeu de données de catégories de produits. Le jeu de données comporte 100 lignes et les colonnes suivantes :

Une taille fixe est associée à chaque type de données :

À présent, nous pouvons calculer la taille de ligne estimée comme la somme des tailles de colonne : 4 + 7,5 + 200 + 200 = 411,5 octets. Cette valeur, multipliée par 100 lignes, nous donne un volume de données total de 41 150 octets.

Full Users

Les utilisateurs titulaires du droit Full User peuvent afficher, modifier et créer du contenu dans des applications, exporter des graphiques et des applications, utiliser Intégration de données, Automatisations, Apprentissage automatique et effectuer d'autres tâches diverses, à condition que leurs autorisations utilisateur et leurs autorisations d'espace le permettent. Pour plus d'informations, consultez Gestion des droits d'utilisateur.

Basic Users

Le droit Basic User gratuit est disponible avec les abonnements Qlik Cloud Analytics - Premium et Qlik Cloud Enterprise. Il est destiné à un accès en lecture seule limité. Les Basic Users ne peuvent pas créer ni modifier d'applications ni d'autres ressources, et ils ne peuvent pas non plus utiliser Intégration de données. L'octroi d'autorisations supplémentaires les promeut automatiquement au rang de Full Users. Pour plus d'informations, consultez Gestion des droits d'utilisateur.