Propriétés HDFS

Propriétés à configurer pour une connexion à un système de fichiers distribué Hadoop (HDFS) donné.

Connexion HDFS

Sélectionnez HDFS dans la liste et configurez la connexion.

Configuration

Sélectionnez votre moteur dans la liste et configurez les paramètres principaux et avancés.

Paramètres de la connexion
Propriété	Configuration
User name	User name

Après avoir configuré la connexion, donnez-lui un nom à afficher (obligatoire) et une description (facultative).

Jeu de données HDFS

Configuration du jeu de données
Propriété		Configuration
Dataset name		Saisissez un nom pour le jeu de données. Ce nom sera utilisé comme identifiant unique du jeu de données dans toutes les applications Talend Cloud.
Connexion		Sélectionnez votre connexion dans la liste. Si vous créez un jeu de données basé sur une connexion existante, ce champ est en lecture seule.

Paramètres des données HDFS
Propriété	Configuration
Path	Saisissez le chemin d'accès aux données à récupérer dans le système de fichiers.

Format configuration (Configuration du format)
Propriété	Configuration
Auto detect (Détection auto)	Cliquez sur ce bouton pour détecter automatiquement le format des données à récupérer.
Format	Vous pouvez également sélectionner dans la liste le format du fichier à récupérer et saisir ou sélectionner les informations relatives au format du fichier : CSV : Record delimiter (Séparateur d'enregistrements) : Sélectionnez le type de séparateur d'enregistrements utilisé dans le fichier à récupérer. SI vous sélectionnez Other (Autre), vous pourrez saisir un séparateur d'enregistrements personnalisé dans le champ Custom record delimiter (Séparateur d'enregistrements personnalisé). Record delimiter (Séparateur d'enregistrements) : Sélectionnez le type de séparateur d'enregistrements utilisé dans le fichier à récupérer. SI vous sélectionnez Other (Autre), vous pourrez saisir un séparateur de champs personnalisé dans le champ Custom field delimiter (Séparateur de champs personnalisé). Text enclosure character (Caractère d'entourage du texte) : saisissez le caractère utilisé pour entourer les champs. Escape character (Caractère d'échappement) : saisissez le caractère à échapper dans les enregistrements à récupérer. Encoding (Encodage) : sélectionnez le type d'encodage utilisé dans le fichier à récupérer. Si vous sélectionnez Other, vous pouvez saisir un type d'encodage personnalisé dans le champ Custom encoding. Set header (Configurer l'en-tête) : activez cette option si le fichier à récupérer contient des lignes d'en-tête et saisissez ou sélectionnez le nombre de lignes à ignorer dans le schéma. Excel : Excel format : sélectionnez le format/la version correspondant au fichier à récupérer. Sheet name (Nom de la feuille) : saisissez le nom de la feuille Excel à récupérer. Set header/footer (Configurer l'en-tête/le pied de page) : activez ces options si le fichier à récupérer contient des lignes d'en-tête et/ou de pied de page et saisissez ou sélectionnez le nombre de lignes à ignorer dans le schéma. Avro : aucun paramètre spécifique n'est requis pour ce format. Parquet : aucun paramètre spécifique n'est requis pour ce format. JSON : aucun paramètre spécifique n'est requis pour ce format.

Des paramètres supplémentaires peuvent être affichés selon si le connecteur est utilisé comme jeu de données source ou de destination.

Pour les jeux de données HDFS sources :
- Force parallelism—ignore escape char and text enclosure parameters (Forcer le parallélisme - ignorer les paramètres de caractères d'échappement et d'entourage du texte) : Activez cette option si vous souhaitez ignorer les caractères d'échappement et les caractères utilisés pour entourer le texte dans votre fichier.
Jeux de données de destination cibles :
- Overwrite (Écraser) : Activez cette option si le fichier existe déjà et que vous souhaitez écraser son contenu.
- Merge output (Fusionner la sortie) : Activez cette option si le fichier existe déjà et que vous souhaitez fusionner le contenu existant et le contenu mis à jour du fichier.
- Map input column names to output (Mapper le nom des colonnes d'entrée à la sortie) : Cette option s'applique uniquement aux fichiers ayant un format CSV, JSON ou Excel. Elle permet de s'assurer que les noms des champs d'entrée et de sortie sont identiques.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici