Compteurs de valeur des abonnements

Calcul et gestion du volume Données à analyser

Le fait de savoir comment la valeur Données à analyser est calculée peut vous aider à tirer le maximum de votre capacité Données à analyser dans Qlik Cloud. Dans cette section, nous allons nous pencher de plus près sur le mode de mesure du pic mensuel, du chargement de données, des actualisations d'applications et de la création de données ainsi que sur les bonnes pratiques de gestion de données.

Pic mensuel

Le pic quotidien représente le volume Données à analyser total d'un jour donné. Le pic quotidien maximal du mois est votre pic mensuel, mesuré par rapport à la capacité Données à analyser que vous avez achetée.

Le pic quotidien est calculé comme la somme de l'ensemble des tailles de fichiers aux formats QVD, CSV ou texte plus le nombre maximal d'octets ingérés depuis des sources externes pour les actualisations d'applications ayant lieu le jour en question.

Prenons l'exemple suivant :

L'utilisation quotidienne des données varie tout au long du mois. Le jour 1, elle atteint un pic de 3 Go, tandis que le jour 2, elle est de 6 Go, etc., jusqu'à la fin du mois. L'utilisation quotidienne maximale, enregistrée le jour 2, était de 6 Go. Cela nous donne un pic mensuel de 6 Go. Les jours sans actualisation d'application, comme le jour 3 dans notre exemple, la valeur du jour précédent est reportée.

Chargement de données dans Qlik Cloud

Les données chargées dans Qlik Cloud depuis des sources externes sont comptabilisées dans le pic quotidien. Lorsque vous chargez des données dans un client, elles sont comptées une fois et peuvent être analysées et utilisées plusieurs fois. Les données chargées dans plusieurs clients sont comptabilisées plusieurs fois.

Les données qui contribuent au pic quotidien sont mesurées comme suit :

• Les données basées sur des fichiers chargées via une application Qlik Sense sont mesurées en fonction de leur taille de fichier.

• Les actualisations d'applications qui utilisent des requêtes ou des connecteurs sont comptabilisées comme le nombre maximal d'octets ingérés depuis la source de données. Lorsque plusieurs actualisations ont lieu le même jour, la taille d'application maximale est celle qui sera comptabilisée dans le pic quotidien. Par exemple, si une application est actualisée au cours d'une journée avec 0,75 Go, 1,25 Go et 1 Go, respectivement, la valeur utilisée pour la journée en question sera de 1,25 Go.

• Les données chargées dans Qlik Cloud via Qlik Data Gateway - Data Movement sont mesurées en fonction de la taille du fichier QVD obtenu.

• Les applications chargées ou téléversées via l'import de fichiers, que ce soit dans le hub ou via qlik-cli, sont mesurées en fonction du pic de taille d'actualisation de l'application.

• Les fichiers QVD chargés sont mesurés en fonction de leur taille de fichier.

Dans les cas suivants, les données ne sont pas incluses dans le calcul du pic quotidien :

• Les données chargées dans un espace personnel d'un utilisateur ne sont pas comptées, à condition qu'elles soient limitées à cet espace. Si l'utilisateur déplace les données vers un espace partagé pour collaborer avec d'autres, ces données seront comptées.

• En cas d'échec d'une actualisation, les octets ingérés ne sont pas comptés. Cependant, tous les fichiers QVD obtenus sont comptés.

• Lorsque vous chargez une application avec des données qui réside déjà dans Qlik Cloud, le chargement de données n'est pas compté. Par exemple, les données copiées ou chargées au format binaire (chargement de données provenant d'une autre application Qlik Sense) n'ont pas d'impact sur le pic quotidien, à condition qu'elles ne soient pas actualisées d'une source externe.

Mesure des octets ingérés pour les actualisations d'applications

Les règles suivantes s'appliquent lorsque vous actualisez une application Qlik Sense depuis une source externe :

• Vous pouvez actualiser une application plusieurs fois depuis le même ensemble de données source sans affecter le pic quotidien, à condition que le volume de données reste inchangé.

• Si la taille de l'ensemble de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté à l'ensemble de données contribue en quantité équivalente aux données ingérées lors de l'actualisation.

• Inversement, si la taille de l'ensemble de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien. Par exemple, si la taille de l'ensemble de données est réduite de 0,25 Go, la taille de l'actualisation diminue de la même quantité. En revanche, si une actualisation de 1 Go a eu lieu plus tôt dans la journée, le pic quotidien pour la journée en question sera de 1 Go. La réduction sera reflétée uniquement dans le pic quotidien du jour suivant.

• Les changements de contenu de l'ensemble de données source, sans altération de sa taille, n'ont pas d'impact sur le pic quotidien. Le pic quotidien est affecté uniquement par le volume des données.

• Si vous interrogez le même ensemble de données plusieurs fois dans un seul script de chargement, l'ensemble de ces requêtes sont comptabilisées séparément, et leurs volumes de données sont additionnés. Par exemple, si vous avez un script de chargement incluant trois requêtes de 1 Go chacune provenant du même ensemble de données, l'ensemble de ces trois requêtes sont comptabilisées individuellement. Par conséquent, la quantité totale de données comptabilisée dans le pic quotidien est de 3 Go.

• Le fait de charger une application, puis d'abandonner la table, ne réduit pas le pic quotidien, car ce dernier est basé sur la taille d'actualisation d'applications maximale de la journée.

• Si vous chargez une application et si vous la supprimez ensuite le même jour, elle contribuera tout de même au pic quotidien de la journée en question. En revanche, si l'application n'existe plus, le pic quotidien du jour suivant sera réduit.

Mesure des données chargées dans des fichiers QVD avec Qlik Cloud Data Integration

Les règles suivantes s'appliquent lorsque vous chargez des données dans un fichier QVD depuis une source externe via Qlik Data Gateway - Data Movement :

• Vous pouvez charger, importer ou générer un ensemble de données plusieurs fois sans affecter le pic quotidien, à condition que le volume de données reste inchangé.

• Si la taille de l'ensemble de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté à l'ensemble de données contribue en quantité équivalente à la taille du fichier QVD obtenu.

• Inversement, si la taille de l'ensemble de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien. Par exemple, si la taille de l'ensemble de données est réduite de 0,25 Go, la taille du fichier QVD obtenu diminue de la même quantité.

• Les changements de contenu de l'ensemble de données source, sans altération de sa taille, n'ont pas d'impact sur le pic quotidien. Le pic quotidien est affecté uniquement par le volume des données.

Chargement d'applications provenant de sources internes et externes

Il est important de comprendre la manière dont les données chargées dans des applications affectent le pic quotidien, suivant la source de données. Prenons les scénarios suivants, dans lesquels des données sont chargées de différentes sources.

• Chargement d'une application depuis une source externe.

  Lorsque vous chargez des données provenant d'une source externe dans une application, elles sont comptées en termes d'octets ingérés. Par exemple, si vous chargez 10 Go, la contribution au pic quotidien est de 10 Go.

• Chargement d'une application depuis un QVD dans Qlik Cloud

  Le chargement de données dans une application depuis un fichier QVD résidant dans Qlik Cloud n'est pas comptabilisé dans le pic quotidien. Si 10 Go de données sont chargés dans une application depuis le QVD, aucune donnée n'est comptabilisée, en raison de l'absence d'ingestion de données externes. La contribution au pic quotidien est de 0 Go.

• Génération d'un nouveau fichier QVD depuis un QVD dans Qlik Cloud

  Les données chargées dans une application génératrice de QVD depuis un QVD basé dans Qlik Cloud ne sont pas comptabilisées dans le pic quotidien. En revanche, le fichier QVD obtenu généré depuis l'application est comptabilisé. Par exemple, si un fichier QVD de 10 Go est transformé en nouveau QVD de 5 Go, la contribution au pic quotidien est la somme des deux fichiers, à savoir, 15 Go. Étant donné l'absence d'ingestion de données externes, le chargement de l'application génératrice de QVD (une application dédiée qui crée un modèle de données et génère un QVD) n'est pas comptabilisé.

• Chargement d'une application depuis des sources externe et internes

  Si une application charge 10 Go depuis une source externe et 5 Go depuis un QVD dans Qlik Cloud, la contribution totale au pic quotidien de l'application est de 10 Go, car seules les données chargées depuis la source externe sont comptabilisées.

Création de données dans Qlik Cloud

Lorsque vous créez des données dans Qlik Cloud, que ce soit en copiant des fichiers de données ou en les dérivant via la combinaison et le traitement de données brutes existantes, elles sont comptabilisées dans le pic quotidien. Les données sont mesurées comme la taille totale des fichiers générés lors du processus de création de données. Les données créées sont comptabilisées une seule fois, quel que soit le nombre d'applications qui les utilisent.

Prenons ces exemples de création de données :

• La création d'un fichier QVD de 1 Go via l'instruction STORE ajoute 1 Go au pic quotidien.

• La copie d'un fichier QVD de 1 Go ajoute 1 Go au pic quotidien, car les deux copies contribuent au total.

• La création d'un fichier QVD de 0,5 Go via une transformation ajoute 0,5 Go au pic quotidien. Seul le fichier QVD obtenu est comptabilisé ; l'application génératrice de QVD n'est pas comptabilisée, car elle charge des données qui figurent déjà dans Qlik Cloud.

Bonnes pratiques pour la gestion des données

La gestion appropriée des données améliore les performances et vous garantit de tirer le maximum de votre capacité Données à analyser. Cette section vous montrera comment gérer efficacement les données dans Qlik Cloud.

• Création de fichiers QVD à des fins de réutilisation des données

  Lorsque vous avez affaire à des données qui seront utilisées dans plusieurs applications Qlik Sense, pensez à créer des fichiers QVD. Les fichiers QVD vous permettent de charger des données une fois et de les réutiliser dans différentes applications sans augmenter le pic quotidien. Cela peut considérablement réduire les coûts d'ingestion et de stockage de données.

  Par exemple, si vous chargez 10 Go de données externes et si vous créez un fichier QVD de 5 Go, vous obtenez un total de 15 Go de données contribuant au pic quotidien. Le chargement des mêmes données directement dans deux applications représente 20 Go.

  

  En règle générale, la création de fichiers QVD à des fins de réutilisation des données avec Qlik Data Gateway - Data Movement est plus efficace que l'actualisation des données directement via des applications.

• Utilisation de méthodes de chargement de données efficaces

  Tirez parti des transformations SQL pushdown pour optimiser le chargement de données. Cette technique consiste à « pousser » les transformations et les opérations de données directement à la source de données. En filtrant et en transformant les données à la source, vous réduisez le volume de données transférées et vous améliorez l'efficacité du chargement.

  Par exemple, dans cette requête pushdown, la clause WHERE est traitée directement sur les données sources. Seul le sous-ensemble de données remplissant des critères spécifiques est transféré, réduisant la quantité de données chargées en mémoire.

  Select * from my-external-database-table where my_column = 10

  Notez que dans le cas du chargement de fichiers QVD, la clause WHERE est traitée après la lecture du fichier depuis la source et que le fichier tout entier est comptabilisé.

• Utilisation d'applications On-demand pour les ensembles de données volumineux

  Les applications On-demand (ODAG) s'avèrent utiles lorsque l'on a affaire à des ensembles de données volumineux. ODAG vous permet de charger des données agrégées pour l'application parente et de récupérer des données plus détaillées uniquement lorsque cela s'avère nécessaire. Les utilisateurs obtiennent des vues agrégées de magasins de données volumineux, ce qui leur permet d'identifier et de charger des sous-ensembles de données pertinents des données pour une analyse détaillée. Pour plus d'informations, voir Applications On-demand.

• Gestion des ensembles de données volumineux avec Direct Query et Vues dynamiques

  Pour les ensembles de données volumineux, pensez à utiliser Direct Query et Vues dynamiques. Ces fonctions vous permettent d'interroger et d'afficher des sous-ensembles pertinents d'ensembles de données volumineux sans besoin d'importer ou de charger la totalité des données en mémoire. En cas de limitations par rapport aux applications en mémoire, il s'agit d'une méthode efficace pour travailler avec des ensembles de données de grandes tailles. Pour plus d'informations, voir Applications Direct Query et Gestion des données avec des vues dynamiques.

• Nettoyage régulier des applications et des fichiers de données non utilisés

  Pour optimiser l'utilisation des ressources et améliorer les performances générales du site, identifiez et supprimez régulièrement les applications et les fichiers de données non utilisés. Les étapes suivantes peuvent faciliter le nettoyage :

  • Identifiez les applications et les fichiers de données non utilisés dans Catalogue en triant et en vérifiant les colonnes Dernière mise à jour, Visité par et Utilisé dans. Cela vous permet de voir si l'élément a été ouvert au cours des 28 derniers jours et dans combien d'applications un fichier de données est utilisé. Pour plus d'informations, voir Métriques relatives aux visiteurs et à l'utilisation des éléments.

  • L'Analyse de l'impact et la Traçabilité vous permet de savoir où un fichier de données est utilisé et quels fichiers de données sont utilisés dans une application donnée. Pour plus d'informations, voir Examen de l'analyse de l'impact pour les applications, les scripts et les ensembles de données et Examen de la traçabilité pour les applications, les scripts et les ensembles de données.

  • Vous pouvez supprimer des applications et des fichiers de données du hub. Les administrateurs peuvent également supprimer des applications de la Console de gestion.

Calcul du volume Données déplacées

Dans cet exemple, nous avons un ensemble de données de catégories de produits. L'ensemble de données comporte 100 lignes et les colonnes suivantes :

Une taille fixe est associée à chaque type de données :

À présent, nous pouvons calculer la taille de ligne estimée comme la somme des tailles de colonne : 4 + 7,5 + 200 + 200 = 411,5 octets. Cette valeur, multipliée par 100 lignes, nous donne un volume de données total de 41 150 octets.

Full Users

En tant que Full User, vous pouvez afficher, éditer et créer du contenu dans des applications, exporter des graphiques et des applications, utiliser Intégration de données, Automatisations, Apprentissage machine et effectuer d'autres tâches diverses, à condition que vos autorisations utilisateur et vos autorisations d'espace le permettent.

Pour plus d'informations, voir Gestion des droits d'utilisateur.

Basic Users

Outre le droit Full User, il existe également un type d'utilisateur gratuit appelé Basic User. Ce dernier est disponible avec les abonnements Qlik Cloud Analytics - Premium et Qlik Cloud Enterprise.

Le droit Basic User est prévu pour les scénarios en lecture seule limités. Les Basic Users ne peuvent pas créer ni éditer d'applications ni d'autres ressources, et ils ne peuvent pas non plus utiliser Intégration de données. Un Basic User peut uniquement disposer du rôle d'espace A une vue restreinte dans les espaces gérés. Cela permet à l'utilisateur d'afficher le contenu des applications et de créer des notes et des favoris privés. Les utilisateurs peuvent télécharger des images et des données d'applications, s'ils y sont autorisés dans les paramètres Utilisateur par défaut (voir Rôles et autorisations des utilisateurs et des administrateurs).Vous pouvez promouvoir des Basic Users au rang de Full Users en leur affectant des rôles supplémentaires.

Pour plus d'informations, voir Gestion des droits d'utilisateur.