Utilisation de règles de validation

Une règle de validation est un ensemble de conditions métier vous permettant de détecter des anomalies dans les jeux de données. Elle définit les valeurs que vos données doivent respecter. Une condition peut être ajoutée pour rendre la règle de validation applicable à certaines données uniquement.

1. Vous créez la règle de validation sous forme d'objet autonome. Lorsque vous définissez la règle, vous pouvez utiliser des variables et des valeurs spécifiques.

   Comme les règles de validation sont génériques, les variables vous permettent d'adapter une règle à chaque jeu de données en associant des variables aux champs du jeu de données.

   Des valeurs spécifiques vous permettent d'utiliser la même valeur dans tous les jeux de données auxquels vous appliquez la règle.

2. Vous pouvez appliquer la règle de validation et l'adapter à un champ.

   Vous associez les variables de la règle de validation aux champs. Vous pouvez appliquer une règle à un champ pour valider les données d'autres champs.

3. La règle de validation valide vos données en catégorisant les valeurs :
   • Les valeurs sont valides. Elles respectent toutes les instructions de la règle.
   • Les valeurs ne sont pas applicables. Elles ne remplissent pas la condition et aucune expression de validation alternative (else) n'a été définie.
   • Les valeurs sont invalides. Elles remplissent la condition (if), mais elles ne sont pas conformes à l'expression de validation (then).
   • Les valeurs ne sont pas exécutables. La règle ne peut pas être exécutée sur ces valeurs. Par exemple, une valeur est yes, mais la règle doit valider que la valeur est supérieure à 18.

Vous pouvez appliquer la même règle de validation à autant de champs que nécessaire, même dans le même jeu de données.

Les règles de validation ont des effets sur la qualité de votre jeu de données et sur le Qlik Trust Score™. Pour plus d'informations, consultez Évaluation de la qualité des données et Qlik Trust Score™.

Vous pouvez utiliser les règles de validation dans Studio Talend. Pour plus d'informations, consultez Propriétés de tDQRules.

Création d'une règle de validation

Vous pouvez créer une règle à partir de l'onglet Règles de validation ou lorsque vous appliquez une règle à un jeu de données. Vous pouvez également créer une règle à partir d'une suggestion générée par l'IA. Pour plus d'informations, consultez Application d'une règle de validation à un jeu de données.

Après avoir créé la règle, vous pouvez l'appliquer à des jeux de données.

Dans ce cas d'utilisation, un employé d'un centre de transfusion sanguine doit vérifier que toutes les personnes sont indiquées comme des donneurs potentiels si :

• Le groupe sanguin n'est pas vide et se termine par + ou -.
• L'âge est supérieur ou égal à 18 ans et inférieur à 71 ans.

1. Ouvrez Qualité des données et sélectionnez l'onglet Règles de validation.
2. Si vous n'avez pas de règles de validation, cliquez sur Ajouter. Sinon, cliquez sur Créer une règle de validation.
3. Saisissez le nom BloodDonation.
4. Sélectionnez l'espace dans lequel la règle doit être stockée.
5. Sélectionnez la sévérité Critique et la catégorie Validité. Ces paramètres vous permettent d'ajuster l'impact d'une règle sur la qualité du jeu de données. Pour plus d'informations, consultez Catégories et niveaux de sévérité.
6. Saisissez une description. Cela est facultatif, mais recommandé pour décrire l'objectif de la règle de validation.
7. Pour ajouter des conditions, activez l'option Définir les conditions. Les sections Si et Sinon sont actives.
8. Dans la section Si :
   1. Saisissez le nom de variable bloodgroup. Vous associerez cette variable à un champ de jeu de données ultérieurement.
   2. Sélectionnez l'opérateur Générique > N'est pas vide.
   3. Cliquez sur Ajouter un groupe.
   4. Sélectionnez l'opérateur logique Ou pour le groupe et Et pour toutes les conditions, en haut de la section Si.
   5. Pour le groupe, répétez les étapes précédentes pour ajouter les conditions relatives au rhésus :
      • bloodgroup Se termine par +.
      • bloodgroup Se termine par -.
   6. Répétez les étapes précédentes pour ajouter les conditions relatives à l'âge :
      • age >= 18.
      • age < 71.
9. Dans la section Alors :
   1. Saisissez le nom de variable cangive. Vous associerez cette variable à un champ de jeu de données ultérieurement.
   2. Sélectionnez l'opérateur Texte > = true.

      L'opérateur Texte est sensible à la casse.

10. Laissez la section Sinon vide.

    La configuration de la règle doit être la suivante :

    
11. Cliquez sur Créer.

Application d'une règle de validation à un jeu de données

Vous pouvez appliquer la même règle de validation à différents champs, même dans le même jeu de données. Vous pouvez également appliquer différentes règles à un même champ.

1. Ouvrez un jeu de données.
2. Sélectionnez l'onglet Aperçu des données.
3. Cliquez sur un champ. Le panneau de droite s'affiche.
4. Cliquez sur dans la section Règles de validation.
5. Cochez la case de la règle à appliquer et cliquez sur Suivant.

   Vous pouvez également créer une règle à partir de cette fenêtre et l'appliquer immédiatement au jeu de données actif. Vous pouvez également appliquer la règle à d'autres jeux de données ultérieurement.

6. Appliquez ou créez des règles de validation comme suit :
   • Pour appliquer une règle existante : cochez la case de la règle à appliquer et cliquez sur Suivant.

   • Pour créer une règle à l'aide de l'IA :

     Note Informations

     Pour pouvoir utiliser la génération de règles de validation de la qualité des données d'IA, vous devez accepter le traitement de données interrégion. Cela permet à Qlik Cloud de traiter temporairement des données en dehors de la région de votre client.

     Pour plus de détails et les dernières informations concernant les emplacements de traitement, consultez Activation du traitement de données interrégion.

   • Utilisez Suggérer des règles si vous n'avez pas encore généré de suggestions pour ce jeu de données.
   • Utilisez Afficher les suggestions si des suggestions de règles ont déjà été générées.
   • Cliquez sur Créer et sélectionnez Suggérer de nouvelles règles pour générer de nouvelles suggestions de règles. Les suggestions sont basées sur un maximum de cinq valeurs de l'échantillon afin de générer des suggestions cohérentes avec vos données.

     Les informations sont traitées comme des données client et ne seront pas utilisées pour effectuer l'apprentissage de Qlik Cloud ou du modèle GenAI.

     Note AvertissementCette fonction utilise l'intelligence artificielle générative (GenAI). Il est de la responsabilité de l'utilisateur d'examiner et de vérifier toute sortie GenAI avant de l'utiliser ou de la partager, et d'évaluer si son utilisation est appropriée pour tout cas d'utilisation spécifique et si elle est conforme à la législation en vigueur.
   • Pour créer une règle manuellement : vous pouvez également créer une règle directement à partir de cette fenêtre et l'appliquer immédiatement au jeu de données actif.
   Note InformationsVous pourrez appliquer à d'autres jeux de données toute règle que vous créez directement sur un jeu de données. Vous trouverez toutes les règles dans Qualité des données > Règles de validation.
7. Associez chaque variable à un champ. Dans ce cas d'utilisation :
   • bloodgroup associé à Groupe sanguin.
   • age associé à Âge.
   • cangive associé à Donneur.
8. Pour appliquer vos modifications et actualiser automatiquement la qualité des données, cochez la case Actualiser la qualité.
9. Cliquez sur Appliquer.
10. Si vous n'avez pas sélectionné Actualiser la qualité, la règle est grisée. Cliquez sur Actualiser au-dessus du panneau de droite pour appliquer vos modifications et actualiser la qualité des données.

La règle est appliquée au jeu de données et vous pouvez évaluer la qualité de votre jeu de données ainsi que la qualité des champs auxquels une variable a été associée.

L'icône s'affiche dans l'en-tête de colonne des champs auxquels une règle s'applique. Passez la souris sur l'icône pour voir le nombre de règles qui s'appliquent au champ.

Évaluation de la qualité du jeu de données et d'un champ

Vous pouvez voir le pourcentage de valeurs non valides, non applicables et valides dans les barres de qualité. Le pourcentage est calculé sur l'ensemble des données du champ et non uniquement sur l'échantillon.

Barre de qualité du jeu de données

1. Ouvrez le jeu de données
2. Sélectionnez l'onglet Aperçu des données.
3. Pour ouvrir le panneau de droite, cliquez sur un champ auquel une règle est appliquée.
4. Pour afficher le pourcentage, survolez une couleur dans la barre de qualité.
   Vous pouvez voir jusqu'à quatre couleurs :
   • Rouge clair : valeurs non exécutables. La règle ne peut pas être exécutée sur ces valeurs. Par exemple, une valeur est yes, mais la règle doit valider que la valeur est supérieure à 18.
   • Rouge : valeurs non valides. Elles remplissent la condition (if), mais elles ne sont pas conformes à l'expression de validation (then).
   • Vert clair : valeurs non applicables. Les valeurs ne remplissent pas la condition (if) et aucune expression de validation alternative n'a été définie.
   • Vert : valeurs valides. Elles respectent toutes les instructions de la règle.

   Dans ce cas d'utilisation :

   • 21,1 % des valeurs ne sont pas valides. Par exemple, une personne est indiquée comme donneur, mais dont le groupe sanguin est vide.
   • 5,3 % des valeurs ne sont pas applicables. La condition n'est pas remplie et aucune expression alternative n'a été définie.
   • 73,6 % des valeurs sont valides. Le groupe sanguin est renseigné, se termine par + ou par - et l'âge est >= 18 < 71 et la personne est indiquée comme donneur.
   

Barre de qualité d'un champ

1. Ouvrez le jeu de données
2. Sélectionnez l'onglet Aperçu des données.
3. Pour afficher le pourcentage, survolez une couleur dans la barre de qualité.
   Vous pouvez voir jusqu'à trois couleurs de gauche à droite :
   • Rouge : valeurs non valides. Cela inclut les valeurs non exécutables des règles.
   • Noir : valeurs vides.
   • Vert : valeurs valides. Cela inclut les valeurs non applicables des règles.
   
4. Pour plus de détails sur chaque couleur, cliquez dessus. Le panneau de droite s'ouvre et vous pouvez voir le type sémantique et le pourcentage des règles de validation.

Les valeurs non valides sont marquées d'une barre rouge à gauche.

Pour des informations plus détaillées sur l'erreur, cliquez sur la barre rouge. L'erreur peut provenir d'une règle de validation et/ou du type sémantique.

Modification d'une règle de validation d'un jeu de données

Cette procédure vous permet uniquement de modifier une règle de validation d'un jeu de données et de modifier les champs auxquels s'applique la règle.

Pour modifier la définition de la règle, consultez Modification d'une règle de validation.

1. Ouvrez un jeu de données.
2. Sélectionnez l'onglet Aperçu des données.
3. Cliquez sur le champ auquel s'applique la règle.
4. Dans le panneau de droite, cliquez sur dans la section Règles de validation.
5. Modifiez la règle, si nécessaire.
6. Pour appliquer vos modifications et actualiser automatiquement la qualité des données, cochez la case Actualiser la qualité.
7. Cliquez sur Appliquer.
8. Si vous n'avez pas sélectionné Actualiser la qualité, cliquez sur Actualiser au-dessus du panneau de droite pour appliquer vos modifications et actualiser la qualité des données.

Suppression d'une règle de validation d'un jeu de données

Cette procédure vous permet de supprimer une règle d'un jeu de données sans supprimer la règle de l'espace.

Pour supprimer la règle de l'espace, consultez Suppression d'une règle de validation.

1. Ouvrez le jeu de données
2. Sélectionnez l'onglet Aperçu des données.
3. Cliquez sur le champ pour lequel vous souhaitez supprimer la règle.
4. Dans le panneau de droite, cliquez sur  > Supprimer.
5. Confirmez la suppression.
6. Cliquez sur Actualiser au-dessus du panneau de droite pour appliquer vos modifications et actualiser la qualité des données.

Activation/Désactivation d'une règle de validation

Au lieu de supprimer ou de retirer une règle de validation d'un jeu de données, vous pouvez la désactiver à partir de deux menus :

• Depuis l'onglet Règles de validation :
  1. Survolez la règle.
  2. À droite, cliquez sur  > Désactiver.

     Cette opération désactive la règle dans tous les jeux de données auxquels la règle s'applique.

  3. Actualisez la qualité des données dans les jeux de données impactés.
• À partir du jeu de données :
  1. Cliquez sur le champ auquel s'applique la règle à désactiver.
  2. Dans le panneau droit, cliquez sur  > Désactiver.
  3. Cliquez sur Actualiser au-dessus du panneau de droite pour appliquer vos modifications et actualiser la qualité des données.

     La règle est grisée et l'icône n'est plus affichée dans l'en-tête de colonne. Vous pouvez la réactiver à tout moment. Si l'option Activer est grisée, cela signifie que la règle est désactivée pour tous les jeux de données.

     La règle est désactivée pour ce seul jeu de données et vous pouvez continuer à l'appliquer à d'autres jeux de données.

Pour activer une règle, suivez la même procédure, mais cliquez sur Activer.

Modification d'une règle de validation

Cette procédure vous permet de modifier une règle de validation et aura un impact sur l'ensemble des jeux de données auxquels s'applique la règle.

Pour ne modifier que les champs auxquels s'applique une règle, consultez Modification d'une règle de validation d'un jeu de données.

Vous ne pouvez modifier que les règles qui se trouvent dans un espace auquel vous avez accès.

1. Ouvrez Qualité des données et sélectionnez l'onglet Règles de validation.
2. Dans la liste, cliquez sur la règle ou sur  > Modifier.
3. Modifiez la règle, si nécessaire.
   Note InformationsLorsque vous modifiez la catégorie ou la sévérité, l'impact de la règle sur la qualité du jeu de données change. Pour plus d'informations, consultez Catégories et niveaux de sévérité.
4. Cliquez sur Save.
5. Lorsque la règle s'applique à des jeux de données, ouvrez chaque jeu de données et actualisez la qualité.

Suppression d'une règle de validation

Cette procédure aura un impact sur l'ensemble des jeux de données auxquels s'applique la règle.

Pour supprimer une règle d'un jeu de données uniquement, consultez Suppression d'une règle de validation d'un jeu de données.

Vous ne pouvez supprimer que les règles qui se trouvent dans un espace auquel vous avez accès.

1. Ouvrez Qualité des données et sélectionnez l'onglet Règles de validation.
2. Dans la liste, cliquez sur  > Supprimer.
3. Confirmez la suppression.
4. Lorsque la règle s'applique à des jeux de données, ouvrez chaque jeu de données et actualisez la qualité.

Catégories et niveaux de sévérité

La catégorie et la sévérité vous permettent d'ajuster l'impact d'une règle sur la qualité du jeu de données et le Qlik Trust Score™. Certains niveaux de sévérité ont plus d'impact que d'autres.

Catégories

Aucune catégorie n'a plus de poids qu'une autre et toutes les catégories ont un impact sur la qualité du jeu de données et la dimension Validité du Qlik Trust Score™.

Lorsqu'une règle se trouve dans la catégorie Exactitude, elle a également un impact sur la dimension Exactitude.

Pour plus d'informations, consultez Évaluation de la qualité des données et Qlik Trust Score™.

Sévérité

Une règle ayant un poids inférieur aura moins d'impact sur la qualité du jeu de données et le Qlik Trust Score™ qu'une règle ayant un poids supérieur : Critique > Majeure > Standard > Mineure.

Exemple : Un jeu de données comportant 55 enregistrements non valides par rapport à une règle dont la sévérité est définie sur Sévérité : Mineure réduira moins les scores que la même règle définie sur Sévérité : Majeure.

Opérateurs

Lorsque vous définissez la règle, vous pouvez sélectionner différents opérateurs pour valider vos données.