Données à analyser

La métrique Données à analyser indique la quantité consommée de votre capacité. Cette rubrique explique quelles données sont comptées et ce qui est exclu. Elle couvre également la façon dont la consommation est calculée. Comprendre ces détails vous aide à voir ce qui consomme votre capacité Qlik Cloud et à gérer vos données plus efficacement.

Données incluses dans la métrique

La métrique Données à analyser mesure le volume total de données chargées et stockées dans votre environnement.

Données comptées

La métrique inclut les éléments suivants :

Données chargées dans Qlik Cloud provenant de sources externes
- Les actualisations augmentent la quantité de données lorsque de nouvelles données incrémentielles sont ajoutées. Si une actualisation contient moins de données qu'auparavant, la quantité de données diminue en conséquence.
- Les données chargées dans plusieurs clients sont comptées séparément pour chaque client.
- Les données chargées une seule fois et utilisées dans plusieurs applications au sein du même client ne sont comptées qu'une seule fois.
Fichiers de données chargés ou créés dans Qlik Cloud
- La taille de fichier des fichiers chargés ou créés est comptée.
- La copie d'un fichier de données au sein de Qlik Cloud comptabilise le nouveau fichier dans la métrique.
- La duplication d'une application dans un espace partagé sans actualisation n'augmente pas la quantité.

Mode de calcul de la métrique

La métrique Données à analyser est calculée comme suit :

Le volume des données externes ingérées dans Qlik Cloud via une application Qlik Sense.
La taille du fichier QVD obtenu provenant des données externes chargées dans Qlik Cloud via Passerelle de données Qlik - Déplacement des données.
La taille de fichier des fichiers de données chargés dans Qlik Cloud.
La taille de fichier d’une application chargée en tant que QVF, mesurée comme l’empreinte RAM de base de l’application.

Données non comptées

Les données suivantes ne sont pas incluses dans la métrique :

Applications et données dans l'espace personnel d'un utilisateur. Cela inclut toutes les applications ou données chargées depuis n’importe quelle source ou générées dans un espace personnel à l’aide de ODAG (On-Demand App Generation - Génération d'applications à la demande).
- La métrique est basée sur l’emplacement de l’application et non sur l’emplacement de sa connexion de données : les applications dans des espaces personnels ne sont pas comptabilisées, même si elles utilisent une connexion dans un espace partagé ; les applications dans des espaces partagés sont toujours comptabilisées dans la métrique.
Applications qui effectuent uniquement le chargement du binaire d'une autre application stockée dans Qlik Cloud. L'application d'origine est déjà comptabilisée, de sorte que l'application en chargement n'est pas ajoutée à la métrique.
Applications qui chargent uniquement des données à partir de fichiers stockés dans Qlik Cloud (par exemple, des QVD). Les fichiers sources sont déjà comptabilisés séparément.
Applications et données publiées dans des espaces gérés. En revanche, les actualisations d'applications dans des espaces gérés sont comptabilisées.
Données chargées via Direct Query.

Abonnement à la capacité Données à analyser

Vous vous abonnez à des packs de données en fonction de vos besoins en matière de Données à analyser.

Chaque utilisateur dispose d'une certaine quantité de capacité disponible dans son espace personnel, en plus du volume inclus dans votre abonnement. Cette quantité n'est pas comptée dans la métrique totale Données à analyser.

L'édition Qlik Cloud Analytics Starter (Débutant) dispose d'une capacité de données fixe, avec des abonnements pour cette édition basés sur le nombre d'utilisateurs.

Déplacement de données vers Qlik Cloud

Vos options, pour déplacer des données, incluent les suivantes :

Connexions de données directes depuis Qlik Sense
Passerelle de données Qlik - Accès direct
Déplacement de données vers Qlik Cloud avec Qlik Talend Data Integration

Avec les éditions Premium et Enterprise de Qlik Cloud Analytics, vous pouvez déplacer des données de n'importe quelle source vers Qlik Cloud. L'édition Standard permet le déplacement de données depuis n'importe quelle source, à l'exception de SAP, des mainframes et des sources héritées.

Calcul du volume Données à analyser

Le fait de savoir comment la valeur Données à analyser est calculée peut vous aider à optimiser l'utilisation de votre capacité. Cette section explique comment sont mesurés le pic mensuel, le chargement de données, les actualisations d'applications et la création de données.

Pics mensuel et quotidien

Lorsque vous achetez de la capacité Données à analyser, votre consommation est mesurée par rapport à la quantité que vous avez achetée. Chaque jour, le système enregistre votre consommation, et le jour enregistrant la consommation la plus élevée au cours du mois devient le pic mensuel, ou la limite supérieure. Par exemple, si vous achetez 250 Go de capacité et que le pic mensuel dépasse cette quantité, des frais de dépassement peuvent s'appliquer.

Mode de suivi de l'utilisation quotidienne

Votre utilisation est suivie au quotidien. Chaque jour, le système calcule votre pic quotidien comme étant le total des valeurs suivantes :

Taille totale de fichiers stockés
Quantité de données ingérées lors des actualisations d'applications
Quantité de données dérivées ou créées

Les applications précédemment chargées, mais non actualisées, restent incluses dans votre consommation. Le système reporte leurs données depuis la dernière actualisation jusqu'à ce qu'une nouvelle actualisation ait lieu ou que l'application soit supprimée.

Comportement de report

Si une application n'est pas actualisée un jour donné, le système reporte les données ingérées depuis sa dernière actualisation aboutie. L'application continue d'apporter cette quantité au pic quotidien jusqu'à ce qu'une nouvelle actualisation ingère une quantité différente, ce qui met alors à jour la consommation signalée.

Au début d'un nouveau mois, le pic mensuel est réinitialisé. Cependant, le pic quotidien du premier jour du nouveau mois peut encore inclure la valeur reportée de la dernière actualisation du mois précédent. Par conséquent, il se peut que la consommation signalée apparaisse plus élevée que les données actuellement visibles dans l'application.

Exemple :

Jour 1 : le client stocke 70 Go de fichiers de données et ingère 40 Go via l'actualisation d'applications. Le pic quotidien est de 110 Go.
Jour 2 : le client stocke 70 Go de fichiers de données et il ne se produit aucune actualisation (0 Go ingéré). Le pic quotidien continue d'afficher 110 Go, car les 40 Go précédemment ingérés sont reportés. Seule une nouvelle actualisation ingérant moins de 40 Go réduira cette valeur.

Pic mensuel et limite supérieure

Le pic mensuel est le pic quotidien le plus élevé enregistré au cours du mois. Il joue le rôle de limite supérieure, qui indique le jour où votre utilisation de données totale a été la plus élevée. Le pic mensuel est comparé à la capacité que vous avez achetée pour déterminer si des frais de dépassement s'appliquent.

Exemple - Identification du pic mensuel à partir de l'utilisation quotidienne

Pour montrer comment le pic mensuel est déterminé, cet exemple utilise un scénario simplifié couvrant seulement quatre jours et une capacité achetée de 250 Go. Les valeurs d'utilisation permettent d'illustrer la manière dont le pic quotidien le plus élevé devient le pic mensuel.

Le tableau présente l'utilisation de données sur quatre jours, catégorisées par type :

Jour	Stocké	Recharger	Créé	Pic quotidien
1	50 Go	30 Go	15 Go	95 Go
2	70 Go	40 Go	30 Go	140 Go
3	60 Go	0 Go	20 Go	120 Go
4	80 Go	50 Go	40 Go	170 Go

Compréhension des données du tableau :

Le jour 3 ne comporte pas d'actualisation de données. La portion d'actualisation du jour 2 (40 Go) est reportée et contribue au pic quotidien (120 Go).
Le jour 4 présente le pic quotidien le plus élevé (170 Go), qui devient le pic mensuel.

Comme le pic mensuel ne dépasse pas la capacité achetée de 250 Go, aucun dépassement ne s'applique. Si l'utilisation avait dépassé 250 Go un jour donné, des frais de dépassement auraient pu s'appliquer ou une mise à niveau de la capacité aurait pu s'avérer nécessaire.

Graphique à barres illustrant l'utilisation de données sur quatre jours — Consommation quotidienne sur quatre jours, montrant les données stockées, ingérées et créées. La ligne verte indique la capacité achetée.

Chargement de données dans Qlik Cloud

Les données chargées dans Qlik Cloud depuis des sources externes sont comptabilisées dans le pic quotidien.

Si le même jeu de données est chargé séparément dans plusieurs applications, chaque chargement est compté individuellement.
Les données chargées une seule fois dans un client peuvent être réutilisées par plusieurs applications au sein de ce client sans être comptées de nouveau. Pour éviter plusieurs prises en compte, pensez à charger les données une fois dans des fichiers QVD et à faire en sorte que plusieurs applications lisent à partir de ces QVD.
Les données chargées dans plusieurs clients sont comptées séparément pour chaque client.

Comment les données contribuent au pic quotidien :

Données basées sur des fichiers chargées via des applications : mesurées en fonction de la taille de fichier.
Actualisations d'applications qui utilisent des requêtes ou des connecteurs : comptabilisées comme le nombre maximal d'octets ingérés depuis la source de données. S'il se produit plusieurs actualisations le même jour, seule l'actualisation la plus volumineuse est comptabilisée dans le pic quotidien.

Exemple : Une application s'actualise à trois reprises avec 0,75 Go, 1,25 Go et 1 Go en une journée. Seule la quantité de 1,25 Go contribue au pic quotidien.

Note InformationsUne fois qu'une actualisation est comptabilisée, elle fait partie du pic quotidien et le reste, même si l'application est supprimée plus tard dans la journée. Le nombre maximal d'octets ingérés est comptabilisé tant que l'application existe dans le client.
Données chargées dans Qlik Cloud via Passerelle de données Qlik - Déplacement des données : mesurées en fonction de la taille du fichier QVD obtenu.
Applications chargées ou téléversées via l'importation de fichiers, que ce soit par le biais du centre d'activités Analytiques ou par qlik-cli : mesurées en fonction de la taille d'octets statique de l'application.
Fichiers QVD chargés : mesurés en fonction de la taille de fichier.

Dans les cas suivants, les données ne sont pas incluses dans le calcul du pic quotidien :

Les données chargées dans un espace personnel d'un utilisateur ne sont pas comptées, à condition qu'elles soient limitées à cet espace. Si l'utilisateur déplace les données vers un espace partagé pour collaborer avec d'autres, ces données seront comptées.
En cas d'échec d'une actualisation, les octets ingérés ne sont pas comptés. Cependant, tous les fichiers QVD obtenus sont comptés.
Lorsque vous chargez une application avec des données qui réside déjà dans Qlik Cloud, le chargement de données n'est pas compté. Par exemple, les données copiées ou chargées au format binaire (chargement de données provenant d'une autre application Qlik Sense) n'ont pas d'impact sur le pic quotidien, à condition qu'elles ne soient pas actualisées d'une source externe.

Illustration d'actualisations d'applications non comptabilisées dans le pic quotidien. — Les actualisations d'applications provenant de sources internes n'ont aucun impact sur le pic quotidien.

Mesure des octets ingérés pour les actualisations d'applications

Les règles suivantes s'appliquent lorsque vous actualisez une application Qlik Sense depuis une source externe :

Vous pouvez actualiser une application plusieurs fois depuis le même jeu de données source sans affecter le pic quotidien, à condition que le volume de données reste inchangé.
Si la taille du jeu de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté au jeu de données contribue en quantité équivalente aux données ingérées lors de l'actualisation.
Inversement, si la taille du jeu de données source diminue, cette réduction est elle aussi reflétée dans le pic quotidien.

Exemple : Si la taille du jeu de données est réduite de 0,25 Go, la taille de l'actualisation diminue de la même quantité. En revanche, si une actualisation de 1 Go a eu lieu plus tôt dans la journée, le pic quotidien pour la journée en question reste de 1 Go. La réduction est reflétée uniquement dans le pic quotidien du jour suivant.
Les changements de contenu du jeu de données source, sans modification de sa taille, n'ont pas d'impact sur le pic quotidien. Seul le volume de données affecte le pic quotidien.

Illustration d'actualisations d'applications provenant de jeux de données de taille différente. — Mesure des octets ingérés lorsque la taille ou le contenu du jeu de données source est modifié.

Si vous interrogez le même jeu de données plusieurs fois dans un seul script de chargement, chaque requête est comptée séparément. Le volume total de données est la somme de toutes les requêtes.

Exemple : Si vous avez un script de chargement incluant trois requêtes de 1 Go chacune provenant du même jeu de données, l'ensemble de ces trois requêtes sont comptabilisées individuellement. Par conséquent, la quantité totale de données comptabilisée dans le pic quotidien est de 3 Go.
Le fait de charger une application, puis d'abandonner la table, ne réduit pas le pic quotidien, car ce dernier est basé sur la taille d'actualisation d'applications maximale de la journée.
Si vous chargez une application et si vous la supprimez par la suite le même jour, elle est tout de même comptée dans le pic quotidien du jour en question, car elle a existé pendant cette journée. Le jour suivant, l'application n'existe plus et ne contribue pas au pic quotidien.

Illustration de différents scénarios d'actualisation d'applications. — Mesure des octets ingérés pour les différents scénarios d'actualisation d'applications.

Mesure des données chargées dans des fichiers QVD avec Qlik Talend Data Integration

Les règles suivantes s'appliquent lorsque vous chargez des données dans un fichier QVD depuis une source externe via Passerelle de données Qlik - Déplacement des données :

Le chargement, l'importation ou la génération d'un jeu de données à plusieurs reprises n'affecte pas le pic quotidien, tant que le volume de données reste inchangé.
Si la taille du jeu de données source augmente, le pic quotidien est affecté. Chaque Go de données supplémentaire ajouté augmente en quantité équivalente la taille du fichier QVD obtenu.
Si la taille d'un fichier QVD change au cours de la journée, la taille la plus grande atteinte est enregistrée. Le pic quotidien reflète toujours la taille la plus élevée observée pour cette journée.
Si la taille du jeu de données source diminue, la réduction est elle aussi reflétée dans le pic quotidien.

Exemple : Une réduction de 0,25 Go dans le jeu de données réduit la taille du fichier QVD de la même quantité.
Les changements de contenu du jeu de données, sans modification de sa taille, n'ont pas d'impact sur le pic quotidien. Seul le volume de données affecte le pic quotidien.

Illustration de chargements de QVD provenant de jeux de données de taille différente. — Mesure de la taille du fichier QVD lorsque la taille ou le contenu du jeu de données source est modifié.

Chargement d'applications provenant de sources internes et externes

La manière dont les données chargées dans les applications affectent le pic quotidien dépend de la source. Les scénarios suivants montrent le mode de contribution de différents types de données.

Chargement d'une application depuis une source externe.

Les données chargées provenant d'une source externe sont comptabilisées comme des octets ingérés.

Exemple : Si 10 Go sont chargés, l'application contribue au pic quotidien à hauteur de 10 Go.
Chargement d'une application depuis un QVD dans Qlik Cloud

Le chargement de données à partir d'un fichier QVD stocké dans Qlik Cloud ne compte pas comme une ingestion externe pour l'application.

Exemple : Si l'application charge 10 Go à partir d'un QVD, l'application contribue à hauteur de 0 Go. Le fichier QVD contribue à hauteur de 10 Go séparément.
Génération d'un nouveau fichier QVD depuis un QVD dans Qlik Cloud

Lorsqu'une application génératrice de QVD charge des données à partir d'un QVD existant dans Qlik Cloud, l'application contribue à hauteur de 0 Go. Le fichier QVD obtenu est comptabilisé.

Exemple : Si un fichier QVD de 10 Go est transformé en nouveau fichier QVD de 5 Go, la contribution au pic quotidien total est de 15 Go.
Chargement d'une application depuis des sources externe et internes

Si une application charge 10 Go depuis une source externe et 5 Go depuis un fichier QVD dans Qlik Cloud, seuls les 10 Go d'ingestion externe sont comptabilisés pour l'application. Le fichier QVD contribue à hauteur de 5 Go séparément, de sorte que la contribution totale au pic quotidien est de 15 Go.

Illustration d'exemples de calcul de la quantité totale de données chargée. — Mesure du total des fichiers de données plus les données ingérées lors du chargement depuis des sources internes et externes.

Création de données dans Qlik Cloud

Lorsque vous créez des données dans Qlik Cloud, que ce soit en copiant des fichiers de données ou en les dérivant via la combinaison et le traitement de données brutes existantes, elles sont comptabilisées dans le pic quotidien. Les données sont mesurées comme la taille totale des fichiers générés lors du processus de création. Les données créées sont comptabilisées une seule fois, quel que soit le nombre d'applications qui les utilisent.

Exemples :

La création d'un fichier QVD de 1 Go via l'instruction STORE ajoute 1 Go au pic quotidien.
La copie d'un fichier QVD de 1 Go ajoute 1 Go au pic quotidien, car les deux copies contribuent au total.
La création d'un fichier QVD de 0,5 Go via une transformation ajoute 0,5 Go au pic quotidien. Seul le fichier QVD obtenu est comptabilisé ; l'application génératrice de QVD n'est pas comptabilisée, car elle charge des données qui figurent déjà dans Qlik Cloud.

Bonnes pratiques pour la gestion des données

Une gestion efficace des données vous aide à tirer le meilleur parti de votre capacité Données à analyser. Les recommandations ci-dessous expliquent comment optimiser le chargement de données, réduire le stockage inutile et gérer le contenu plus ancien ou inactif dans Qlik Cloud.

Création de fichiers QVD à des fins de réutilisation des données

Utilisez des fichiers QVD lorsque les données sont partagées entre plusieurs applications. Le chargement des données externes une seule fois et leur stockage sous forme de fichiers QVD réduit l'ingestion répétée et aide à abaisser le pic quotidien. L'utilisation de fichiers QVD à des fins de réutilisation des données avec Passerelle de données Qlik - Déplacement des données est généralement plus efficace que l'actualisation des données directement dans les applications.

Exemple :

Si vous chargez 10 Go de données externes une seule fois et si vous les stockez sous forme de fichier QVD de 5 Go, le total des données comptabilisées dans le pic quotidien est de 15 Go. Les applications qui chargent le fichier QVD de 5 Go ne réingèrent pas les 10 Go d'origine. Si, au lieu de cela, vous chargez les mêmes 10 Go de données externes directement dans deux applications, l'ingestion a lieu deux fois, ce qui entraîne un comptage de 20 Go.

Illustration montrant la quantité totale de données lors de l'utilisation d'un QVD pour le chargement d'applications et lors du chargement directement dans des applications. — Il est plus efficace de créer un fichier QVD et de charger des données en provenance de celui-ci dans plusieurs applications que de charger des données externes directement dans chaque application.

Utilisation de méthodes de chargement de données efficaces

Appliquez le filtrage et les transformations à la source de données (pushdown SQL) pour réduire les données transférées lors des actualisations.

Exemple :

Select * from my-external-database-table where my_column = 10

Dans cette requête, le filtre est appliqué à la source, de sorte que seul un sous-ensemble des données est transféré.

Lors du chargement de fichiers QVD, Excel ou CSV, le filtrage a lieu après la lecture du fichier depuis la source, de sorte que la taille de fichier totale est toujours comptée.

Utilisation d'applications On-demand pour les jeux de données volumineux

ODAG (On-Demand App Generation - Génération d'applications à la demande) vous permet de travailler avec des jeux de données volumineux en commençant par charger les données agrégées et en récupérant des sous-ensembles détaillés uniquement lorsque cela est nécessaire.

Pour plus d'informations, consultez Applications On-demand.

Gestion des jeux de données volumineux avec Direct Query et Vues dynamiques

Direct Query et Vues dynamiques vous permettent d'interroger des jeux de données volumineux à la demande sans charger toutes les données en mémoire. En lançant des requêtes uniquement sur les données dont vous avez besoin, ces approches réduisent l'ingestion et aident à maintenir la consommation dans les limites de votre capacité.

Pour plus d'informations, consultez :

Gestion des applications anciennes ou inutilisées

Les applications du client continuent de contribuer à la consommation Données à analyser en fonction de leur dernière actualisation réussie. Tant qu'une application existe avec ses données chargées, elle contribue à votre rapport de capacité.

Pour éviter une utilisation inutile :

Réduisez ou supprimez les données inutiles

Supprimez les données des applications qui ne nécessitent plus de jeux de données complets ou créez des applications sans données lorsque seule la structure est nécessaire. L'actualisation d'une application avec un jeu de données plus petit met à jour sa consommation indiquée.

Évitez les duplications inutiles

Copiez les applications uniquement lorsque cela est nécessaire. Chaque copie est traitée comme une application distincte et contribue à la consommation de capacité.

Utilisez les espaces partagés intentionnellement

Les espaces partagés peuvent aider à contrôler le lieu où et la manière dont se produisent les actualisations.

Supprimez les applications dont vous n'avez plus besoin

Un nettoyage régulier empêche le contenu obsolète de consommer de la capacité.

Identifiez les éléments non utilisés dans le Catalogue en consultant Dernière mise à jour, Visité par et Utilisé dans.
Utilisez l'analyse de l'impact et la traçabilité pour comprendre où les fichiers de données sont utilisés.
Supprimez les applications et les fichiers de données non utilisés des centres d'activités. Les administrateurs peuvent également supprimer des applications d'Administration.

Pour plus d'informations, consultez :

Réduction de la consommation liée aux actualisations

La taille d'actualisation indiquée d'une application ne diminue que si l'actualisation produit un jeu de données plus petit. Pour réduire la taille indiquée, actualisez l'application avec moins de données afin que la taille indiquée soit mise à jour.

Comportement d'actualisation des applications

Actualisation sans nouvelles données :

Si une application est actualisée sans ajout de nouvelles données, la taille indiquée reste la même.

Exemple : Une application s'actualise avec le même jeu de données que celui qu'elle avait précédemment. La consommation signalée ne change pas, car aucune donnée supplémentaire ni quantité de données inférieure n'a été ingérée.
Application vidée après ingestion :

Même si une application abandonne toutes les tables, laissant le modèle de données vide, la dernière ingestion aboutie continue à contribuer à la consommation quotidienne.

Exemple : Une application ingère 10 Go de données externes, génère des fichiers QVD et abandonne toutes les tables à la fin du script. L'application est maintenant vide, mais les 10 Go ingérés continuent d'être comptabilisés dans la consommation quotidienne.
Copie d'applications dans un autre espace :

Lorsqu'une application est copiée dans un autre espace, elle est traitée comme une application distincte et est de nouveau comptabilisée dans la consommation de capacité.

Approches pour limiter la consommation liée aux actualisations

Vous pouvez réduire la consommation de données liée aux actualisations en utilisant l'une des deux méthodes suivantes. Les deux méthodes suppriment les données de l'application.

Arrêt prématuré du script de chargement : ajoutez une instruction Exit script; au début du script de chargement pour actualiser l'application sans données. Lorsque toutes les données sont nécessaires, commentez l'instruction ou appliquez une condition afin qu'elle ne s'exécute que dans des scénarios spécifiques (par exemple, lorsque l'application se trouve dans un espace en particulier).
Recréation de l'application sans données : téléchargez l'application sans données et importez-la comme une nouvelle application. Après avoir validé la nouvelle version, supprimez l'application d'origine.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici