# Propriétés du tDataQualityRules pour Apache Spark Streaming

Ces propriétés sont utilisées pour configurer le tDataQualityRules s'exécutant dans le framework de Jobs Spark Streaming.

Le composant tDataQualityRules Spark Streaming appartient à la famille Qualité de données.

Note InformationsAvertissement : À partir du Studio Talend 8.0 R2025-06, le composant tDataQualityRules est remplacé par le tDQRules. Ce composant vous permet d'utiliser les règles depuis :

* Qlik Talend Data Integration.
* Talend Cloud Data Inventory.
* Talend Cloud Data Stewardship.
* la version hybride 8.0 R2022-07 ou supérieure de Talend Data Stewardship.

Pour les Jobs Apache Spark, vous pouvez utiliser le tDataQualityRules uniquement avec les applications Talend.

## Basic settings

| Output Schema et Edit schema | Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant.<br><br>Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job.<br><br>Sélectionnez le type de schéma dans la liste Schema :<br><br><ul> <li> <p> <span>Built-in</span>&nbsp;: le schéma est créé et conservé localement pour ce composant seulement.</p> </li> <li> <p> <span>Repository</span>&nbsp;: le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.</p> </li> </ul><br><br>Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :<br><br>View schema : sélectionnez cette option afin de voir uniquement le schéma.<br><br>Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.<br><br>Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.<br><br>Les types supportés sont : Boolean, Date, Double, Float, Integer, Long, Short et String. |
| --- | --- |
| Application | Sélectionnez l'application de laquelle vous souhaitez récupérer les règles de qualité de données.<br><br>Cette option est disponible à partir de la version 8.0 R2024-01 du Studio Talend. |
| URL | Note InformationsImportant : Vous avez besoin de l'autorisation Rules - View (Règles - Visualisation) pour récupérer les règles. Pour plus d'informations, consultez les [Rôles utilisateur·trices prédéfinis](https://help.qlik.com/talend/r/fr-FR/Cloud/management-console-user-guide/tmc-predefined-roles) relatifs à l'application que vous utilisez.<br><br>Saisissez l'URL de l'application sélectionnée. Lorsque l'URL ne correspond pas à l'application sélectionnée, le Job peut échouer. Les URL suivantes sont supportées :<br><br><ul> <li><span>Talend Cloud Data Stewardship</span>, ou la version hybride de <span>Talend Data Stewardship</span> 8.0 R2022-07 ou une version supérieure&nbsp;: <pre><code><pre><code><code>https://tds.&lt;env&gt;.cloud.talend.com/rulerepository/api/v1https://tds.&lt;env&gt;.cloud.talend.com/rulerepository/api/v1/https://tds.&lt;env&gt;.cloud.talend.com/rulerepositoryhttps://tds.&lt;env&gt;.cloud.talend.com/rulerepository/https://tds.&lt;env&gt;.cloud.talend.com (Only for <span>Talend Cloud Data Stewardship</span>)https://tds.&lt;env&gt;.cloud.talend.com/ (Only for <span>Talend Cloud Data Stewardship</span>)</code></code></pre></code></pre> <p>Lorsque vous utilisez la version hybride, vous pouvez utiliser une URL avec l'adresse IP ou le nom d'hôte&nbsp;:</p><div> <pre><code><pre><code><code>https://ip:19999/rulerepository/api/v1https://ip:19999/rulerepository/api/v1/https://ip:19999/rulerepositoryhttps://ip:19999/rulerepository/https://hostname:19999/rulerepository/api/v1https://hostname:19999/rulerepository/api/v1/         https://hostname:19999/rulerepositoryhttps://hostname:19999/rulerepository/</code></code></pre></code></pre> </div> </li> <li><span>Talend Cloud Data Inventory</span>, à partir de la version 8.0 R2023-06 du <span>Studio Talend</span>&nbsp;:<pre><code><pre><code><code>https://tdc.&lt;env&gt;.cloud.talend.com/rulerepository/api/v1https://tdc.&lt;env&gt;.cloud.talend.com/rulerepository/api/v1/https://tdc.&lt;env&gt;.cloud.talend.com/rulerepositoryhttps://tdc.&lt;env&gt;.cloud.talend.com/rulerepository/https://tdc.&lt;env&gt;.cloud.talend.comhttps://tdc.&lt;env&gt;.cloud.talend.com/ </code></code></pre></code></pre></li> </ul><br><br><br>où &lt;env&gt; est le nom de votre région Cloud. Consultez [Accéder aux applications Talend Cloud](https://help.qlik.com/talend/fr-FR/installation-guide-windows/Cloud/talend-cloud-application-url). |
| Token | Saisissez votre jeton d'accès personnel. Pour en générer un, consultez [https://help.talend.com/r/fr-FR/Cloud/management-console-user-guide/cloud-access-token](https://help.qlik.com/talend/r/fr-FR/Cloud/management-console-user-guide/cloud-access-token). |
| DQ rule library timestamp | Après avoir saisi l'URL et le jeton, cliquez sur Refresh.<br><br>Si l'URL et le jeton sont corrects, les règles de qualité de données sont récupérées dans le Studio Talend : yyyy-MM-dd hh:mm:ss (library\_number).<br><br>Lorsque vous cliquez sur Refresh (Actualiser), un fichier JAR contenant la définition de la règle est créé dans :<br><br>```<br>studio-path\configuration\.m2\repository\org\talend\libraries\rule-number<br>```<br><br>Lorsque vous mettez à jour les règles de qualité de données dans une application Cloud ou hybride, cliquez sur Refresh (Actualiser) pour récupérer la dernière version. |
| Configure DQ rules | Associez les variables de la règle aux données d'entrée.<br><br>Les règles sont récupérées depuis la bibliothèque :<br><br><ul> <li><span>DQ Rule</span>&nbsp;: sélectionnez la règle.</li> <li><span>Rule variable</span>&nbsp;: les variables de la règle sont automatiquement récupérées.</li> <li><span>Input column</span>&nbsp;: sélectionnez la colonne contenant les valeurs devant remplacer la variable.</li> </ul><br><br>Si aucune règle ou colonne d'entrée n'est disponible, vérifiez que :<br><br><ul> <li>Les règles de qualité de données ont été récupérées dans <span>DQ rule library timestamp (Horodatage des bibliothèques de règles DQ)</span>.</li> <li>Le schéma d'entrée est correct.</li> </ul><br><br>Vous pouvez associer les types de données du Studio Talend à certains types de données des applications. Consultez [Associer des types de données](https://help.qlik.com/talend/fr-FR/components/8.0/validation/tdqrules#associating-data-types).<br><br>Pour appliquer plus de règles, cliquez sur ![l'icône Plus](https://help.qlik.com/talend/fr-FR/components/8.0/Resources/images/plus_button.png). |

## Associer des types de données

Le tableau suivant décrit les types de données que vous pouvez associer.

| Variable de règle provenant de l'application\* | Colonne d'entrée (depuis Studio Talend) |
| --- | --- |
| Nombre | Double, Float, Integer, Long, Short et String |
| Booléen | Booléen |
| Text | Chaîne de caractères |
| Date | Date |
| \* Vous pouvez saisir l'URL de :<br><br><ul> <li><span>Talend Cloud Data Stewardship</span>,</li> <li>la version hybride 8.0 R2022-07 ou supérieure de <span>Talend Data Stewardship</span>,</li> <li><span>Talend Cloud Data Inventory</span>, à partir de la version 8.0 R2023-06 du <span>Studio Talend</span>.</li> </ul> |  |

## Advanced settings

| tStatCatcher Statistics | Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant. |
| --- | --- |