Propriétés du tHCatalogInput Standard
Ces propriétés sont utilisées pour configurer le tHCatalogInput s'exécutant dans le framework de Jobs Standard.
Le composant tHCatalogInput Standard appartient à la famille Big Data.
Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.
Basic settings
Property type |
Peut être Built-in ou Repository. Built-In : propriétés utilisées ponctuellement sans stockage dans le référentiel. Repository : sélectionnez le référentiel dans lequel sont stockées les propriétés. Les champs suivants sont automatiquement renseignés à l'aide des données récupérées. |
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
|
|
Built-in : le schéma est créé et stocké localement pour ce composant uniquement. Scénario associé : consultez le Guide d'utilisation duStudio Talend. |
|
Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Jobs. Scénario associé : Guide d'utilisation du Studio Talend . |
Distribution |
Sélectionnez dans la liste le cluster que vous utilisez. Les options de la liste varient selon le composant que vous utilisez. Parmi ces options, les suivantes nécessitent une configuration spécifique :
|
HCatalog version |
Sélectionnez la version de la distribution Hadoop que vous utilisez. Les options disponibles dépendent du composant que vous utilisez. |
Templeton hostname |
Renseignez ce champ avec l'URL du service Web Templeton. Note InformationsRemarque :
Templeton est une API de Service Web pour HCatalog. Elle a été renommée WebHCat par la communauté Apache. Ce service permet d'accéder à HCatalog et aux éléments Hadoop relatifs, comme Pig. Pour plus d'informations concernant Templeton (WebHCat), consultez https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCat (uniquement en anglais) (en anglais). |
Templeton port |
Renseignez ce champ avec le port de l'URL du service Web Templeton. Par défaut, cette valeur est 50111. Note InformationsRemarque :
Templeton est une API de Service Web pour HCatalog. Elle a été renommée WebHCat par la communauté Apache. Ce service permet d'accéder à HCatalog et aux éléments Hadoop relatifs, comme Pig. Pour plus d'informations concernant Templeton (WebHCat), consultez https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCat (uniquement en anglais) (en anglais). |
Use kerberos authentication |
Si vous accédez au cluster Hadoop fonctionnant avec la sécurité Kerberos, cochez cette case, puis saisissez le Principal Name de Kerberos pour le NameNode dans le champ affiché. Cela vous permet d'utiliser votre identifiant pour vous authentifier, en le comparant aux identifiants stockés dans Kerberos.
Cette case est disponible ou non selon la distribution Hadoop à laquelle vous vous connectez. |
Use a keytab to authenticate |
Cochez la case Use a keytab to authenticate pour vous connecter à un système utilisant Kerberos à l'aide d'un fichier keytab. Un fichier Keytab contient les paires des Principaux et clés cryptées Kerberos. Vous devez saisir le principal à utiliser dans le champ Principal et le chemin d'accès au fichier keytab dans le champ Keytab. Ce fichier keytab doit être stocké sur la machine où s'exécute votre Job, par exemple, sur un serveur de Jobs Talend. l'utilisateur ou l'utilisatrice exécutant un Job utilisant un fichier Keytab n'est pas nécessairement celui désigné par un Principal mais doit avoir le droit de lire le fichier Keytab utilisé. Par exemple, le nom d'utilisateur ou d'utilisatrice que vous utilisez pour exécuter le Job est user1 et le principal à utiliser est guest. Dans cette situation, assurez-vous que user1 a les droits de lecture pour le fichier Keytab à utiliser. |
Database |
Base de données dans laquelle les tables gérées par HCatalog sont stockées. Par défaut, cette base de données est la base Hive nommée default. |
Table |
Renseignez ce champ afin d'effectuer des opérations sur une ou plusieurs table(s) dans la base de données spécifiée. |
Partition |
Renseignez ce champ pour spécifier une ou plusieurs partition(s) pour l'opération de partition sur une table donnée. Lorsque vous spécifiez plusieurs partitions, utilisez une virgule pour séparer les partitions en groupes de deux. Délimitez la chaîne de caractères relative à la partition en l'entourant de guillemets. Si vous lisez une table non partitionnée, laissez ce champ vide. Note InformationsRemarque :
Pour plus d'informations concernant les opérations de Partition, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Username |
Renseignez ce champ avec le nom d'utilisateur ou d'utilisatrice de connexion à la base de données Hive. |
Die on error |
Cette case est décochée par défaut, ce qui vous permet de terminer le traitement avec les lignes sans erreur, et d'ignorer les lignes en erreur. |
Advanced settings
Row Separator |
Saisissez le séparateur utilisé pour identifier la fin d'une ligne. |
Field separator |
Saisissez un caractère, une chaîne de caractères ou une expression régulière pour séparer les champs des données transférées. |
Custom encoding |
Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation des données de base de données. Les encodages supportés dépendent de la JVM que vous utilisez. Pour plus d'informations, consultez https://docs.oracle.com (uniquement en anglais). |
Hadoop Properties |
Le Studio Talend utilise une configuration par défaut pour son moteur, afin d'effectuer des opérations dans une distribution Hadoop. Si vous devez utiliser une configuration personnalisée dans une situation spécifique, renseignez dans cette table la ou les propriété(s) à personnaliser. Lors de l'exécution, la ou les propriété(s) personnalisée(s) va (vont) écraser celle(s) par défaut.
Pour plus d'informations concernant les propriétés requises par Hadoop et ses systèmes associés, tels que HDFS et Hive, consultez la documentation de la distribution Hadoop utilisée ou consultez la documentation d'Apache Hadoop sur http://hadoop.apache.org/docs (uniquement en anglais) en sélectionnant la version de la documentation souhaitée. À titre d'exemple, les liens vers certaines propriétés sont listés ci-après :
|
Retrieve the HCatalog logs | Cochez cette case pour récupérer les fichiers de log générés durant les opérations de HCatalog. |
Standard Output Folder |
Renseignez ce champ avec le chemin d'accès où sont stockés les fichiers de log. Note InformationsRemarque :
Ce champ est activé lorsque vous cochez la case Retrieve the HCatalog logs. |
Error Output Folder |
Renseignez ce champ avec le chemin d'accès où sont stockés les fichiers de log d'erreurs.
Note InformationsRemarque :
Ce champ est activé lorsque vous cochez la case Retrieve the HCatalog logs. |
tStatCatcher Statistics |
Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant. |
Variables globales
Variables globales |
ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case. Une variable Flow fonctionne durant l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend. |
Utilisation
Règle d'utilisation |
Ce composant est généralement utilisé en tant que composant de début dans un Job. HCatalog est construit sur le Metastore Hive afin de fournir une interface de lecture/écriture pour Pig et MapReduce, afin que ces systèmes puissent utiliser les métadonnées de Hive pour lire et écrire facilement des données dans HDFS. Pour plus d'informations, consultez la documentation Apache concernant HCatalog : https://cwiki.apache.org/confluence/display/Hive/HCatalog (uniquement en anglais) (en anglais). |
Prérequis |
La distribution Hadoop doit être correctement installée afin de garantir les interactions avec le Studio Talend . La liste suivante présente des informations d'exemple relatives à MapR.
Pour plus d'informations concernant l'installation d'une distribution Hadoop, consultez le manuel correspondant à la distribution Hadoop que vous utilisez. |
Limitation |
Lorsque la case Use kerberos authentication est cochée, le composant ne fonctionne pas avec la JVM IBM. |