Propriétés du tDeltaLakeOutput Standard
Ces propriétés sont utilisées pour configurer le tDeltaLakeOutput s'exécutant dans le framework de Jobs Standard.
Le composant tDeltaLakeOutput Standard appartient à la famille Bases de données.
Le composant de ce framework est disponible dans tous les produits Talend.
Basic settings
Base de données |
Sélectionnez un type de base de données dans la liste et cliquez sur Apply. |
Property Type |
Sélectionnez la manière de configurer les informations de connexion.
Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component. |
|
Cliquez sur cette icône pour ouvrir l'assistant de configuration de connexion à la base de données et enregistrer les paramètres de connexion que vous avez définis dans la vue Basic settings du composant. Pour plus d'informations concernant la configuration et le stockage des paramètres de connexion à la base de données, consultez le Guide d'utilisation du Studio Talend. |
Connection Component |
Sélectionnez dans la liste déroulante le composant dont vous souhaitez réutiliser la connexion. Note InformationsAvertissement : Si ce composant est configuré pour effectuer des opérations sur une table, il est fortement recommandé d'utiliser une connexion existante avec la fonction de commit automatique activée pour ce composant. Vous pouvez établir une connexion de ce type à l'aide du composant tDeltaLakeConnection, avec l'option Auto Commit sélectionnée dans la vue Advanced settings.
|
JDBC URL |
URL JDBC de la base de données Delta Lake à utiliser, qui commence par jdbc:spark:// (déjà presentée). Consultez la section Configure JDBC URL sur JDBC and ODBC drivers and configuration parameters (uniquement en anglais) pour des informations compélmentaires (en anglais). |
Pilotes |
Renseignez cette table pour charger les pilotes Jar requis. Pour ce faire, cliquez sur le bouton [+], sous la table, pour ajouter autant de lignes que nécessaire, chaque ligne pour un Jar de pilote. Sélectionnez la cellule et cliquez sur le bouton [...] à droite de la cellule pour ouvrir la boîte de dialogue Module, dans laquelle vous pouvez sélectionner le Jar du pilote à utiliser. Pour ce composant, le fichier Jar du pilote SparkJDBC42-2.6.14.1018.jar est requis et ajouté par défaut. Pour plus d'informations, consultez Importer un pilote de base de données (uniquement en anglais). |
Driver Class |
Saisissez entre guillemets doubles le nom de la classe pour le pilote spécifié. Pour le pilote SparkJDBC42-2.6.14.1018.jar, le nom à saisir est com.simba.spark.jdbc.Driver (déjà présenté). |
User Id et Password |
Données d'authentification de l'utilisateur ou de l'utilisatrice de la base de données. Consultez la section Username and password authentication sur JDBC and ODBC drivers and configuration parameters (uniquement en anglais) pour plus d'informations (en anglais). Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres. |
Table Name |
Nom de la table dans laquelle écrire les données. |
Data Action |
Sélectionnez une action à effectuer sur les données de la table définie.
Note InformationsAvertissement :
Il est nécessaire de spécifier au moins une colonne comme clé primaire sur laquelle baser les opérations Update et Delete. Pour ce faire, cliquez sur Edit Schema et cochez les cases à côté des colonnes que vous souhaitez définir comme clés primaires. Pour une utilisation avancée, cliquez sur l'onglet Advanced settings, vue dans laquelle vous pouvez définir simultanément des clés primaires pour les opérations Update et Delete. Pour ce faire : Cochez la case Use field options et, dans la colonne Key in update, cochez les cases à côté des colonnes à utiliser comme base pour l'opération de mise à jour. Procédez de la même manière avec les cases Key in delete pour les opérations de suppression (Delete). |
Clear data in table |
Cochez cette case pour vider les données de la table avant d'effectuer l'action définie. |
Schema et Edit schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.
Lorsque le schéma à réutiliser contient des valeurs par défaut de type Integer ou Function, assurez-vous que ces valeurs par défaut ne sont pas entourées de guillemets. Si elles le sont, supprimez manuellement les guillemets. Pour plus d'informations, consultez la description relative à la récupération des schémas de tables dans le Guide d'utilisation du Studio Talend. Créez le schéma en cliquant sur le bouton Edit Schema.
Note InformationsRemarque : Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.
|
Guess schema |
Cliquez sur ce bouton pour générer les colonnes du schéma à partir des paramètres des colonnes de la table de base de données. |
Die on error |
Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient. Décochez la case pour ignorer les lignes en erreur et terminer le traitement des lignes sans erreur. Lorsque les erreurs sont ignorées, vous pouvez récupérer les lignes en erreur en utilisant la connexion . |
Specify a data source alias |
Cochez cette case et, dans le champ Data source alias qui s'affiche, spécifiez l'alias d'une source de données créée du côté Talend Runtime, pour utiliser le pool de connexions partagées défini dans la configuration de la source de données. Cette option fonctionne uniquement lorsque vous déployez et exécutez votre Job dans Talend Runtime. Si vous utilisez la configuration de la base de données du composant, la connexion à votre source de données se ferme à la fin du composant. Pour empêcher la fermeture de la connexion, utilisez une connexion partagée à la base de données, avec l'alias de la source de données spécifié. Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component. |
Advanced settings
Commit every |
Spécifiez le nombre de lignes à traiter avant de commiter un lot de lignes dans la base de données. Cette option garantit la qualité de la transaction (cependant pas de rollback) et surtout une meilleure performance d'exécution. |
Additional Columns |
Cette option vous permet d'appeler des fonctions SQL afin d'effectuer des actions sur des colonnes, actions qui ne sont ni des insertions, ni des mises à jour, ni des suppressions, ni des actions demandant un pré-traitement particulier. Cette option ne vous est pas proposée si vous créez (avec ou sans suppression) une table de base de données.
|
Use field options |
Cochez cette case et, dans la table Fields options qui s'affiche, cochez la case de la colonne correspondante pour personnaliser une requête, particulièrement si plusieurs actions sont effectuées sur les données.
|
Debug query mode |
Cochez cette case pour afficher chaque étape durant le traitement des entrées dans une base de données. |
Use Batch |
Cochez cette case pour activer le mode de traitement par lots pour le traitement des données et, dans le champ Batch Size qui s'affiche, spécifiez le nombre d'enregistrement à traiter dans chaque lot. |
tStatCatcher Statistics |
Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant. |
Enable parallel execution |
Cochez cette case pour effectuer un traitement de données à grande vitesse, en traitant plusieurs flux de données simultanément. Cela permet de traiter les données plus rapidement. Lorsque cette case est cochée, vous devez spécifier le nombre d'exécutions parallèles souhaitées, dans le champ Number of parallel executions. Note InformationsRemarque : Lorsque l'exécution parallèle est activée, il n'est pas possible d'utiliser des variables globales pour récupérer des valeurs retournées.
|
Variables globales
ERROR_MESSAGE |
Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. |
NB_LINE |
Nombre de lignes traitées. Cette variable est une variable After et retourne un entier. |
NB_LINE_INSERTED |
Nombre de lignes insérées. Cette variable est une variable After et retourne un entier. |
NB_LINE_UPDATED |
Nombre de lignes mises à jour. Cette variable est une variable After et retourne un entier. |
NB_LINE_DELETED |
Nombre de lignes supprimées. Cette variable est une variable After et retourne un entier. |
NB_LINE_REJECTED |
Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier. |
QUERY |
Instruction de requête en cours de traitement. Cette variable est une variable Flow et retourne une chaîne de caractères. |
Utilisation
Règle d'utilisation |
Ce composant offre la flexibilité des requêtes sur les bases de données et couvre toutes les possibilités des requêtes SQL. Ce composant est généralement utilisé comme composant de sortie. Il permet de faire des actions sur une table ou les données d'une table d'une base de données DeltaLake. Il permet aussi de créer un flux de rejet avec un lien Row > Rejects filtrant les données en erreur. Pour un exemple d'utilisation du tMysqlOutput, consultez Récupérer les données erronées à l'aide d'un lien Reject. |
Dynamic settings |
Cliquez sur le bouton [+] pour ajouter une ligne à la table. Dans le champ Code, saisissez une variable de contexte afin de sélectionner dynamiquement votre connexion à la base de données parmi celles prévues dans votre Job. Cette fonctionnalité est utile si vous devez accéder à plusieurs tables de bases de données ayant la même structure mais se trouvant dans différentes bases de données, en particulier lorsque vous travaillez dans un environnement dans lequel vous ne pouvez pas changer les paramètres de votre Job, par exemple lorsque votre Job doit être déployé et exécuté indépendamment d'un Studio Talend. Pour des exemples d'utilisation de paramètres dynamiques, consultez Lire des données dans des bases de données MySQL à l'aide de connexions dynamiques basées sur les variables de contexte et Lire des données à partir de différentes bases de données MySQL à l'aide de paramètres de connexion chargés dynamiquement. Pour plus d'informations concernant les paramètres dynamiques (Dynamic settings) et les variables de contexte, consultez le Guide d'utilisation du Studio Talend. |