Propriétés du tDeltaLakeInput Standard

Sélectionnez le type de base de données dans la liste et cliquez sur Apply (Appliquer).

Property Type

Sélectionnez la manière de configurer les informations de connexion.

• Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

• Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant.

  Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Cliquez sur cette icône pour ouvrir l'assistant de connexion à la base de données et stocker les paramètres de connexion configurés dans la vue Basic settings du composant.

Pour plus d'informations concernant la configuration et le stockage des paramètres de connexion à la base de données, consultez Centraliser des métadonnées de base de données.

Connection Component

Sélectionnez le composant établissant la connexion à la base de données à réutiliser par ce composant.

JDBC URL

URL JDBC de la base de données Delta Lake à utiliser, qui commence par jdbc:spark:// (déjà presentée). Si vous avez installé la mise à jour mensuelle 8.0.1-R2023-05 du Studio Talend ou une plus récente fournie par Talend, l'URL JDBC de la base de données Delta Lake commence par jdbc:databricks// (déjà présenté).

Consultez la section Configure JDBC URL sur JDBC and ODBC drivers and configuration parameters pour des informations compélmentaires (en anglais).

Pilotes

Renseignez cette table pour charger les pilotes Jar requis. Pour ce faire, cliquez sur le bouton [+], sous la table, pour ajouter autant de lignes que nécessaire, chaque ligne pour un Jar de pilote. Sélectionnez la cellule et cliquez sur le bouton [...] à droite de la cellule pour ouvrir la boîte de dialogue Module, dans laquelle vous pouvez sélectionner le Jar du pilote à utiliser. Le JAR du pilote SparkJDBC42-2.6.14.1018.jar est utilisé pour les bases de données Delta Lake (déjà présenté). Si vous avez installé la mise à jour mensuelle 8.0.1-R2023-05 du Studio Talend ou une plus récente fournie par Talend, le pilote databricks-jdbc-{version_number}.jar est utilisé (déjà présenté).

Pour plus d'informations, consultez Importer un pilote de base de données.

Driver Class

Saisissez entre guillemets doubles le nom de la classe pour le pilote spécifié. Pour le pilote SparkJDBC42-2.6.14.1018.jar, le nom à saisir est com.simba.spark.jdbc.Driver (déjà présenté). Si vous avez installé la mise à jour mensuelle 8.0.1-R2023-05 du Studio Talend ou une plus récente fournie par Talend, le pilote databricks-jdbc-{version_number}.jar est utilisé et la classe du pilote à saisir est com.databricks.client.jdbc.Driver (déjà présenté).

User Id et Password

Données d'authentification de l'utilisateur ou de l'utilisatrice de la base de données. Consultez la section Username and password authentication sur JDBC and ODBC drivers and configuration parameters pour plus d'informations (en anglais).

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

• Built-in : le schéma est créé et conservé localement pour ce composant seulement.

• Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema. Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

  Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez Schéma dynamique.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

Table Name

Nom de la table de laquelle récupérer les données.

Query Type et Query

Saisissez votre requête de base de données en faisant attention à ce que l'ordre des champs corresponde à celui défini dans le schéma.

• Built-In : saisissez la requête manuellement dans le champ Query ou cliquez sur le bouton [...] à côté du champ Query afin de construire l'instruction graphiquement, à l'aide du SQLBuilder.

• Repository : sélectionnez la requête correspondante stockée dans le référentiel an cliquant sur le bouton [...]. Dans la boîte de dialogue Repository Content, sélectionnez la requête à utiliser. Le champ Query est automatiquement renseigné.

Si vous utilisez la fonctionnalité de schéma dynamique, la requête SELECT doit contenir le caractère * de remplacement, afin de récupérer toutes les colonnes de la table sélectionnée.

Guess Query

Cliquez sur ce bouton pour générer la requête dans le champ Query à partir de la table et du schéma définis.

Guess schema

Cliquez sur ce bouton pour générer les colonnes du schéma à partir de la requête définie dans le champ Query.

Specify a data source alias

Cochez cette case et, dans le champ Data source alias qui s'affiche, spécifiez l'alias d'une source de données créée du côté Talend Runtime, pour utiliser le pool de connexions partagées défini dans la configuration de la source de données. Cette option fonctionne uniquement lorsque vous déployez et exécutez votre Job dans Talend Runtime.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Use cursor

Cochez cette case et définissez le nombre de lignes avec lesquelles vous souhaitez travailler en une fois. Cette option permet d'optimiser les performances.

Trim all the String/Char columns

Cochez cette case pour supprimer les espaces en début et en fin de champ dans toutes les colonnes de type String/Char.

Check column to trim

Cochez cette case pour la colonne dont vous souhaitez supprimer les espaces en début et fin de champ.

Cette propriété n'est pas disponible lorsque la case Trim all the String/Char columns est cochée.

Enable Mapping File for Dynamic

Cochez cette case pour utiliser le fichier de mapping de métadonnées spécifié lors de la lecture de données d'une colonne de type dynamique. Cette case est cochée par défaut.

Une fois cette case cochée, vous pouvez spécifier le fichier de mapping des métadonnées à utiliser, en sélectionnant un type de base de données dans la liste déroulante Mapping File.

Pour plus d'informations concernant les fichiers de mapping de métadonnées, consultez Accéder aux fichiers de mapping et définir les mappings de types.

Cochez cette case si vous souhaitez interroger la base de données à l'aide d'une instruction préparée. Dans la table Set PreparedStatement Parameters qui s'affiche, spécifiez la valeur pour chaque paramètre représenté par un point d'interrogation ?, dans l'instruction SQL définie dans le champ Query.

• Parameter Index : position du paramètre dans l'instruction SQL.

• Parameter Type : type de données du paramètre.

• Parameter Value : valeur du paramètre.

Pour un cas d'usage de cette propriété, consultez Utiliser l'instance PreparedStatement pour faire une requête sur des données.

Allow special character in Dynamic table name

Sélectionnez cette option pour utiliser les noms de colonnes réels de la table d'entrée dans la colonne dynamique. Cette option empêche la conversion des caractères spéciaux (par exemple, $) des noms de colonnes de la table d'entrée en _ dans la colonne dynamique.

Cette option est cochée par défaut.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE

Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

QUERY

Instruction de requête en cours de traitement. Cette variable est une variable Flow et retourne une chaîne de caractères.

Règle d'utilisation

Ce composant couvre toutes les possibilités de requête SQL dans les bases de données utilisant une connexion Delta Lake.

Cliquez sur le bouton [+] pour ajouter une ligne à la table. Dans le champ Code, saisissez une variable de contexte afin de sélectionner dynamiquement votre connexion à la base de données parmi celles prévues dans votre Job. Cette fonctionnalité est utile si vous devez accéder à plusieurs tables de bases de données ayant la même structure mais se trouvant dans différentes bases de données, en particulier lorsque vous travaillez dans un environnement dans lequel vous ne pouvez pas changer les paramètres de votre Job, par exemple lorsque votre Job doit être déployé et exécuté indépendamment d'un Studio Talend.

Pour des exemples d'utilisation de paramètres dynamiques, consultez Lire des données dans des bases de données MySQL à l'aide de connexions dynamiques basées sur les variables de contexte et Lire des données à partir de différentes bases de données MySQL à l'aide de paramètres de connexion chargés dynamiquement. Pour plus d'informations concernant les Paramètres dynamiques et les variables de contexte, consultez Schéma dynamique et Créer un groupe de contextes et définir les variables de contexte.