# tFileStreamInputPositional Ce composant écoute, dans un répertoire donné, les nouveaux fichiers, lit les données de ces fichiers ligne par ligne, une fois les fichiers créés puis extrait des champs selon un modèle spécifique. ## Propriétés du tFileStreamInputPositional pour Apache Spark Streaming Ces propriétés sont utilisées pour configurer le tFileStreamInputPositional s'exécutant dans le framework de Jobs Spark Streaming. Le composant tFileStreamInputPositional Spark Streaming appartient à la famille Fichier. La version Streaming de ce composant est disponible dans Talend Real-Time Big Data Platform et dans Talend Data Fabric. ## Basic settings | Propriétés | Description | | --- | --- | | Define a storage configuration component | Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS.

Si vous laissez cette case décochée, le système de fichiers cible est le système local.

Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un composant tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné. | | Property type | | | Schema et Edit Schema | | | Folder/File | Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers.

Si le chemin d'accès défini pointe vers un dossier, ce composant lit tous les fichiers stockés dans le dossier, par exemple /user/talend/in. Si les sous-dossiers existent, ils sont automatiquement ignorés, sauf si vous définissez la propriété spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive à true dans la table Advanced properties, dans l'onglet Spark configuration.



Si vous souhaitez spécifier plus d'un fichier ou répertoire dans ce champ, séparez chaque chemin d'accès par une virgule (,).

Si le fichier à lire est un fichier compressé, saisissez son nom et son extension, puis tFileInputPositional décompresse automatiquement le fichier lors de l'exécution. Les formats de compression, ainsi que les extensions correspondantes, sont :



Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez les autres modes Yarn de Spark supportés par le Studio Talend avec votre distribution, assurez-vous d'avoir correctement configuré la connexion dans un composant de connexion dans le même Job. Utilisez le composant de configuration relatif au système de fichiers à utiliser. | | Die on error | Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient. | | Row separator | Saisissez le séparateur utilisé pour identifier la fin d'une ligne. | | Customize | Cochez cette case pour personnaliser le format de données du fichier positionnel et définir les colonnes de la table :

Column : sélectionnez la colonne que vous souhaitez personnaliser.

Size : saisissez la taille de la colonne.

Padding char : saisissez, entre guillemets doubles, le caractère de remplissage à supprimer du champ. Le caractère par défaut est un espace.

Alignment : sélectionnez le paramètre d'alignement approprié. | | Pattern | Saisissez, entre guillemets doubles, les valeurs de longueur, séparées par une virgule, interprétées comme des chaînes de caractères. Assurez-vous que les valeurs saisies dans ce champ sont cohérentes avec le schéma défini. | | Header | Saisissez le nombre de lignes à ignorer au début du fichier.

Par exemple, saisissez *0* pour ne pas ignorer de ligne dans les données sans en-tête et *1* pour les données dont l'en-tête se trouve dans la première ligne. | | Skip empty rows | Cochez cette case pour ignorer les lignes vides. | ## Advanced settings | Propriétés | Description | | --- | --- | | Custom Encoding | Il est possible de rencontrer des problèmes d'encodage lorsque vous traitez les données stockées. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. | | Advanced separator (for number) | Cochez cette case pour modifier le séparateur utilisé pour les nombres. Par défaut, le séparateur des milliers est une virgule (*,*) et le séparateur décimal est un point (*.*). | | Trim columns | Cochez cette case pour supprimer les espaces en début et fin de toutes les colonnes. Lorsque cette case est cochée, la table Check column to trim est affichée, ce qui vous permet de sélectionner les colonnes desquelles vous souhaitez enlever les espaces en début et en fin de champ. | ## Utilisation | Conseils d'utilisation | Description | | --- | --- | | **Règle d'utilisation** | Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données. | | Connexion à Spark | Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :



Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |