À propos du Talend Trust Score™ avec Snowflake

1. Lorsque vous ajoutez un jeu de données à partir d'une connexion à Snowflake, une copie des bibliothèques DQ Java et du dictionnaire sémantique est envoyée à Snowflake, pour vérifier les vérifications de validité.
   Vérifiez que le paramètre pushdown est bien dans l'URL JDBC de la connexion à Snowflake. Par exemple :

   jdbc:snowflake://account.snowflakecomputing.com/?db=MY_DB&schema=PUBLIC&warehouse=MY_WAREHOUSE_WH&runProfile=sql
                     

   Pour plus d'informations, consultez Ajouter le paramètre pushdown à une connexion Snowflake.
   Note InformationsConseil : Vous pouvez utiliser le crawler pour récupérer plusieurs tables et vues. À l'aide des API de Talend, vous pouvez également automatiser le calcul de qualité de . Pour plus d'informations, consultez Scheduling a crawler run (en anglais).
2. Les bibliothèques DQ Java snt définies comme des fonctions personnalisées Java (UDF).

   Si vous appliquez des règles de qualité de données à un jeu de données à partir de Talend Cloud Data Inventory, ces règles sont également prises en compte dans Snowflake à l'aide des fonctions personnalisées.

3. Pour calculer le Talend Trust Score™ dans Snowflake, les étapes suivantes se succèdent :

   1. L'exploration sémantique définit la nature et le format des données. Le type sémantique de chaque colonne du jeu de données est vérifié par l'analyse d'un échantillon de données contenant jusqu'à 10 000 lignes. Par défaut, l'échantillon contient les premières lignes. Il est appelé Head sample (Début du jeu de données). Les lignes peuvent également être choisies de manière aléatoire. L'échantillon est appelé Random sample (Échantillon aléatoire).

   2. Validité et complétude des données : les enregistrements sont vérifiés par rapport aux types sémantiques, afin de déterminer si les champs sont valides ou non. Si les champs ne correspondent pas à un type sémantique, ils sont vérifiés par rapport aux types natifs.

      À l'aide de l'URL JDBC provenant de Talend Cloud Data Inventory, la validité et la complétude des données sont calculées sur la table complète dans Snowflake.

      Depuis la vue d'ensemble du jeu de données dans Talend Cloud Data Inventory, vous pouvez prévisualiser un échantillon de la table Snowflake et récupérer les enregistrements valides et invalides. Cet échantillon peut contenir jusqu'à 10 000 enregistrements.

      Les barres de statistiques dans la colonne et dans les en-têtes des jeux de données représentent la qualité de la table entière.

   3. Talend Trust Score™ : la validité et la complétude sont calculées pour le jeu de données entier dans Snowflake. Vous pouvez trouver l'historique dans Talend Cloud Data Inventory, ainsi que l'évolution du Talend Trust Score™, dans la vue d'ensemble du jeu de données.

      Vous pouvez également récupérer le Talend Trust Score™ depuis la liste des jeux de données et la console de données.

4. L'échantillon est envoyé à Talend Cloud Data Inventory et le Talend Trust Score™ du jeu de données complet est calculé comme suit :
   • La validité et la complétude sont nativement calculées dans Snowflake, sur la table entière. Le calcul de la conformité des règles de qualité de données est également effectué sur la table entière.
   • La popularité, l'explorabilité et l'utilisation sont calculées dans Talend Cloud Data Inventory. Pour plus d'informations concernant les axes, consultez Consulter le Talend Trust Score™.

Vous avez un Talend Trust Score™ comprenant cinq axes pour votre jeu de données.