Propriétés du tSchemaComplianceCheck Apache Spark Batch
Ces propriétés sont utilisées pour configurer le tSchemaComplianceCheck s'exécutant dans le framework de Jobs Spark Batch.
Le composant tSchemaComplianceCheck Spark Batch appartient à la famille Qualité de données.
Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.
Basic settings
Propriétés | Description |
---|---|
Base Schema et Edit Schema |
|
Base on default schema |
Cochez cette option si vous souhaitez effectuer la vérification sur toutes les colonnes du schéma de base. |
Custom defined |
Cochez cette option si vous souhaitez effectuer la vérification sur des colonnes en particulier. Lorsque cette option est sélectionnée, la table Columns s'affiche. |
Checked Columns |
|
Use another schema for compliance check |
Définissez un schéma de référence en donnant aux données les propriétés qu'elles sont censées avoir. Ces propriétés peuvent correspondre au type de données, aux valeurs nulles, et/ou à la longueur des données. |
Discard the excess content of column when the actual length is greater than the declared length |
Cochez cette case afin de tronquer les données dépassant la longueur spécifiée plutôt que de les rejeter. L'option fonctionne avec les trois modes du tSchemaComplianceCheck. Note InformationsRemarque :
Cette option s'applique uniquement aux données de type String. |
Advanced settings
Propriétés | Description |
---|---|
Ignore TimeZone when Check Date |
Cochez cette case pour ignorer le fuseau horaire lors de la vérification de la date. Cette case n'est pas disponible lorsque le mode Check all columns from schema est sélectionné. |
Treat all empty string as NULL |
Cochez cette case afin de traiter tous les champs vides de chaque colonne comme des valeurs nulles, plutôt que comme des chaînes de caractères vides. Par défaut, cette case est cochée. Lorsqu'elle est décochée, le tableau Choose Column(s) s'affiche pour vous permettre de sélectionner les colonnes que vous souhaitez. |
Variables globales
Variables | Description |
---|---|
Variables globales |
ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case. Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez Utiliser les contextes et les variables. |
Utilisation
Conseils d'utilisation | Description |
---|---|
Règle d'utilisation |
Ce composant est utilisé comme étape intermédiaire. |
Connexion à Spark |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |