Propriétés du composant tDeltaLakeInput pour Apache Spark Batch
Ces propriétés sont utilisées pour configurer l'exécution du composant tDeltaLakeInput dans le framework du Job Spark Batch.
Le composant Spark Batch tDeltaLakeInput appartient à la famille Technique.
Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.
Basic settings
Define the source of the dataset |
Sélectionnez la source du jeu de données à utiliser, parmi les options suivantes : |
Metastore : récupère les données au format table dans un metastore. |
|
Files : récupère les données au format delta dans des fichiers. |
|
Query : récupère les données des requêtes SQL. | |
Define a storage configuration component |
Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS. Si vous laissez cette case décochée, le système de fichiers cible est le système local. Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un composant tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné. Ce champ est disponible lorsque l'option Files est sélectionnée dans la liste déroulante Define the source of the dataset, dans la vue Basic settings. |
Property type |
Peut être Built-In ou Repository. |
Built-In : aucune propriété n'est stockée de manière centrale. |
|
Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository. Les champs suivants sont alors préremplis à l'aide des données collectées. Pour plus d'informations concernant le nœud Hadoop Cluster, consultez le Guide de prise en main. |
|
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
Spark déduit automatiquement les types de données pour les colonnes d'un schéma PARQUET. Dans un Job Talend pour Apache Spark, le type Date est déduit et stocké en tant que int96. |
Built-in : le schéma est créé et conservé localement pour ce composant seulement. |
|
Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. |
|
Database |
Saisissez, entre guillemets doubles, le nom de la base de données Delta Lake à utiliser. Ce champ est disponible lorsque vous sélectionnez Metastore dans la liste déroulante Define the source of the dataset, dans la vue Basic settings. |
Table |
Saisissez, entre guillemets doubles, le nom de la table à utiliser. Ce champ est disponible lorsque vous sélectionnez Metastore dans la liste déroulante Define the source of the dataset, dans la vue Basic settings. |
Dossier/Fichier |
Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers. Si le chemin d'accès défini pointe vers un dossier, ce composant lit tous les fichiers stockés dans le dossier, par exemple /user/talend/in. Si les sous-dossiers existent, ils sont automatiquement ignorés, sauf si vous définissez la propriété spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive à true dans la table Advanced properties, dans l'onglet Spark configuration.
Si vous souhaitez spécifier plus d'un fichier ou répertoires dans ce champ, séparez chaque chemin d'accès par une virgule (,). Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez les autres modes Yarn de Spark supportés par le Studio avec votre distribution, assurez-vous d'avoir correctement configuré la connexion dans un composant de connexion dans le même Job, comme le tHDFSConfiguration. Utilisez le composant de configuration relatif au système de fichiers à utiliser. Ce champ est disponible lorsque l'option Files est sélectionnée dans la liste déroulante Define the source of the dataset, dans la vue Basic settings. |
SQL Query | Saisissez la requête SQL à utiliser pour récupérer les données. Ce champ est disponible lorsque l'option SQL Query est sélectionnée dans la liste déroulante Define the source of the dataset, dans la vue Basic settings. |
Specify Time Travel timestamp |
Cochez cette case pour lire un snapshot avec un horodatage donné des jeux de données à utiliser. Le format utilisé par Deltalake est yyyy-MM-dd HH:mm:ss. Delta Lake crée systématiquement de légères différences entre l'heure de chargement d'un fichier et l'horodatage des métadonnées de ce fichier. Gardez à l'esprit ces différences lorsque vous devez filtrer des données. |
Specify Time Travel version | Cochez cette case pour lire un snapshot versionné des jeux de données à utiliser. |
Utilisation
Règle d'utilisation |
Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée. Cette couche Delta Lake est construite sur votre système Data Lake. Vous pouvez vous connecter à votre système Data Lake à l'aide du composant de configuration correspondant à votre système Data Lake, par exemple, tAzureFSCofiguration. |
Connexion à Spark |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |