Propriétés du tHCatalogOperation Standard
Ces propriétés sont utilisées pour configurer le tHCatalogOperation s'exécutant dans le framework de Jobs Standard.
Le composant tHCatalogOperation Standard appartient à la famille Big Data.
Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.
Basic settings
Property type |
Peut être Built-in ou Repository. Built-In : propriétés utilisées ponctuellement sans stockage dans le référentiel. Repository : sélectionnez le référentiel dans lequel sont stockées les propriétés. Les champs suivants sont automatiquement renseignés à l'aide des données récupérées. |
Distribution |
Sélectionnez dans la liste le cluster que vous utilisez. Les options de la liste varient selon le composant que vous utilisez. Parmi ces options, les suivantes nécessitent une configuration spécifique :
|
HCatalog version |
Sélectionnez la version de la distribution Hadoop que vous utilisez. Les options disponibles dépendent du composant que vous utilisez. |
Templeton hostname |
Renseignez ce champ avec l'URL du service Web Templeton. Note InformationsRemarque :
Templeton est une API de Service Web pour HCatalog. Elle a été renommée WebHCat par la communauté Apache. Ce service permet d'accéder à HCatalog et aux éléments Hadoop relatifs, comme Pig. Pour plus d'informations concernant Templeton (WebHCat), consultez https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCat (uniquement en anglais) (en anglais). |
Templeton port |
Renseignez ce champ avec le port de l'URL du service Web Templeton. Par défaut, cette valeur est 50111. Note InformationsRemarque :
Templeton est une API de Service Web pour HCatalog. Elle a été renommée WebHCat par la communauté Apache. Ce service permet d'accéder à HCatalog et aux éléments Hadoop relatifs, comme Pig. Pour plus d'informations concernant Templeton (WebHCat), consultez https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCat (uniquement en anglais) (en anglais). |
Use kerberos authentication |
Si vous accédez au cluster Hadoop fonctionnant avec la sécurité Kerberos, cochez cette case, puis saisissez le Principal Name de Kerberos pour le NameNode dans le champ affiché. Cela vous permet d'utiliser votre identifiant pour vous authentifier, en le comparant aux identifiants stockés dans Kerberos.
Cette case est disponible ou non selon la distribution Hadoop à laquelle vous vous connectez. |
Use a keytab to authenticate |
Cochez la case Use a keytab to authenticate pour vous connecter à un système utilisant Kerberos à l'aide d'un fichier keytab. Un fichier Keytab contient les paires des Principaux et clés cryptées Kerberos. Vous devez saisir le principal à utiliser dans le champ Principal et le chemin d'accès au fichier keytab dans le champ Keytab. Ce fichier keytab doit être stocké sur la machine où s'exécute votre Job, par exemple, sur un serveur de Jobs Talend. l'utilisateur ou l'utilisatrice exécutant un Job utilisant un fichier Keytab n'est pas nécessairement celui désigné par un Principal mais doit avoir le droit de lire le fichier Keytab utilisé. Par exemple, le nom d'utilisateur ou d'utilisatrice que vous utilisez pour exécuter le Job est user1 et le principal à utiliser est guest. Dans cette situation, assurez-vous que user1 a les droits de lecture pour le fichier Keytab à utiliser. |
Operation on |
Sélectionnez un objet dans la liste pour les opérations sur la base de données. Database : base de données gérée par HCatalog dans HDFS. Table : table gérée par HCatalog dans HDFS. Partition : partition définie par l'utilisateur ou l'utilisatrice. |
Operation |
Sélectionnez dans la liste l'opération à effectuer sur la base de données. Pour plus d'informations concernant les opérations sur les bases de données dans HDFS, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Create the table only it doesn't exist already |
Cochez cette case afin d'éviter de créer un doublon lorsque vous créez une table.
Note InformationsRemarque :
Cette case est activée lorsque vous sélectionnez Table dans la liste Operation on. |
Database |
Saisissez le nom de la base de données dans laquelle les tables gérées par HCatalog sont stockées. |
Table |
Renseignez ce champ pour effectuer des actions sur une ou plusieurs table(s) dans une base de données ou dans un emplacement HDFS spécifié.
Note InformationsRemarque :
Ce champ est activé uniquement lorsque vous sélectionnez Table dans la liste Operation on. Pour plus d'informations concernant les opérations de Table, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Partition |
Renseignez ce champ pour spécifier une ou plusieurs partition(s) pour l'opération de partition sur une table donnée. Lorsque vous spécifiez plusieurs partitions, utilisez une virgule pour séparer les partitions en groupes de deux. Délimitez la chaîne de caractères relative à la partition en l'entourant de guillemets doubles. Si vous lisez une table non partitionnée, laissez ce champ vide. Note InformationsRemarque :
Ce champ est activé lorsque vous sélectionnez Table dans la liste Operation on. Pour plus d'informations concernant les opérations de Partition, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Username |
Renseignez ce champ avec le nom d'utilisateur ou d'utilisatrice de connexion à la base de données. |
Database location |
Remplissez ce champ avec l'emplacement de la base de données dans HDFS.
Note InformationsRemarque :
Ce champ est activé uniquement lorsque vous sélectionnez Database dans la liste Operation on. |
Database description |
Description de la base de données à créer.
Note InformationsRemarque :
Ce champ est activé uniquement lorsque vous sélectionnez Database dans la liste Operation on. |
Create an external table |
Cochez cette case pour créer une table externe avec un chemin d'accès alternatif défini dans le champ Set HDFS location, dans la vue Advanced settings. Pour plus d'informations concernant la création d'une table externe, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais).
Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Table dans la liste Operation on et Create/Drop and create/Drop if exist and create dans la liste Operation. |
Format |
Sélectionnez un format de fichier dans la liste, afin de spécifier le format de la table externe que vous souhaitez créer. TEXTFILE : fichiers texte. RCFILE : fichiers Record Columnar. Pour plus d'informations sur les fichiers Record Columnar, consultez https://cwiki.apache.org/confluence/display/Hive/RCFile (uniquement en anglais) (en anglais).
Note InformationsRemarque :
L'option RCFILE est disponible uniquement depuis Hive 0.6.0. Cette liste est activée uniquement lorsque vous sélectionnez Table dans la liste Operation on et Create/Drop and create/Drop if exist and create dans la liste Operation. |
Set partitions |
Cochez cette case pour définir le schéma de la partition en cliquant sur Edit schema, à droite de la case Set partitions. Le schéma de la partition peut être soit local, soit distant dans le Repository. Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Table dans la liste Operation on et Create, Drop and create ou Drop if exist and create dans la liste Operation. Vous devez suivre les règles d'utilisation de schémas de partition dans les tables gérées par HCatalog. Pour plus d'informations concernant les règles d'utilisation des schémas de partitions, consultez http://incubator.apache.org/hcatalog/ (uniquement en anglais) (en anglais). |
|
Built-in : le schéma est créé et conservé pour ce composant uniquement. Scénario associé : consultez le Guide d'utilisation duStudio Talend. |
|
Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Jobs. Scénario associé : Guide d'utilisation de Studio Talend . |
Set the user group to use |
Cochez cette case pour spécifier le groupe de l'utilisateur ou de l'utilisatrice.
Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Drop, Drop if exist, Drop and create ou Drop if exist and create dans la liste Operation. Par défaut, la valeur de ce champ est root. Pour plus d'informations concernant le groupe d'utilisateur·trices dans le serveur, contactez votre administrateur système. |
Option |
Sélectionnez une clause relative à la suppression d'une base de données.
Note InformationsRemarque :
Cette liste est activée uniquement lorsque vous sélectionnez Database dans la liste Operation on et Drop/Drop if exist/Drop and create/Drop if exist and create dans la liste Operation. Pour plus d'informations concernant l'opération Drop sur les bases de données, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Set the permissions to use |
Cochez cette case pour spécifier les autorisations nécessaires pour l'opération sélectionnée dans la liste Operation.
Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Drop, Drop if exist, Drop and create ou Drop if exist and create dans la liste Operation. Par défaut, la valeur de ce champ est rwxrw-r-x. Pour plus d'informations concernant les autorisations, contactez votre administrateur système. |
Set File location |
Saisissez le répertoire dans lequel seront stockées les données partitionnées.
Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Partition dans la liste Operation on et Create, Drop and create ou Drop if exist and create dans la liste Operation. Pour plus d'informations concernant le stockage des données partitionnées dans HDFS, consultez https://cwiki.apache.org/confluence/display/Hive/HCatalog (uniquement en anglais) (en anglais). |
Die on error |
Cette case est décochée par défaut, ce qui vous permet de terminer le traitement avec les lignes sans erreur, et d'ignorer les lignes en erreur. |
Advanced settings
Comment |
Renseignez ce champ à l'aide de commentaires concernant la table à créer.
Note InformationsRemarque :
Ce champ est activé uniquement lorsque vous sélectionnez Table dans la liste Operation on et Create, Drop and create ou Drop if exist and create dans la liste Operation, dans la vue Basic settings. |
Set HDFS location |
Cochez cette case pour spécifier un emplacement HDFS où sauvegarder la table à créer. Décochez cette case afin de sauvegarder la table à créer dans le répertoire du warehouse défini dans la clé hive.metastore.warehouse.dir dans le fichier de configuration Hive, hive-site.xml.
Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Table dans la liste Operation on et Create, Drop and create ou Drop if exist and create dans la liste Operation, dans la vue Basic settings. Pour plus d'informations concernant la sauvegarde de données dans HDFS, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Set row format(terminated by) |
Cochez cette case pour utiliser et définir les formats de lignes lorsque vous créez une table. Field : cochez cette case pour utiliser le format Field pour les lignes. La valeur par défaut pour ce champ est "\u0001". Vous pouvez également spécifier un caractère personnalisé. Collection Item : cochez cette case pour utiliser le format Collection Item. La valeur par défaut pour ce champ est "\u0002". Vous pouvez également spécifier un caractère personnalisé. Map Key : cochez cette case afin d'utiliser le format Map Key. La valeur par défaut pour ce champ est "\u0003". Vous pouvez également spécifier un caractère personnalisé. Line : cochez cette case pour utiliser le format Line. La valeur par défaut pour ce champ est "\n". Vous pouvez également spécifier un caractère personnalisé.
Note InformationsRemarque :
Cette case est activée uniquement lorsque vous sélectionnez Table dans la liste Operation on et Create, Drop and create ou Drop if exist and create dans la liste Operation, dans la vue Basic settings. Pour plus d'informations concernant les formats de ligne dans les tables gérées par HCatalog, consultez https://cwiki.apache.org/Hive/ (uniquement en anglais) (en anglais). |
Propriétés (Propriétés) |
Cliquez sur le bouton [+] pour ajouter une ou plusieurs ligne(s) afin de définir les propriétés de la table. Les propriétés de la table vous permettent de personnaliser la définition de la table à l'aide de vos propres paires de clés de métadonnées/valeurs. Assurez-vous que les valeurs dans les lignes Key et Value sont bien entourées de guillemets doubles.
Note InformationsRemarque :
Ce tableau est activé uniquement lorsque vous sélectionnez Database ou Table dans la liste Operation on et Create, Drop and create ou Drop if exist and create dans la liste Operation, dans la vue Basic settings. Pour plus d'informations concernant les propriétés des tables, consultez https://cwiki.apache.org/Hive (uniquement en anglais) (en anglais). |
Retrieve the HCatalog logs | Cochez cette case pour récupérer les fichiers de log générés durant les opérations de HCatalog. |
Standard Output Folder |
Renseignez ce champ avec le chemin d'accès où sont stockés les fichiers de log. Note InformationsRemarque :
Ce champ est activé uniquement lorsque vous cochez la case Retrieve the HCatalog logs. |
Error Output Folder |
Renseignez ce champ avec le chemin d'accès où sont stockés les fichiers de log d'erreurs.
Note InformationsRemarque :
Ce champ est activé uniquement lorsque vous cochez la case Retrieve the HCatalog logs. |
tStatCatcher Statistics |
Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant. |
Variables globales
Variables globales |
ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case. Une variable Flow fonctionne durant l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend. |
Utilisation
Règle d'utilisation |
Ce composant est généralement utilisé seul dans un sous-Job à un composant. HCatalog est construit sur le Metastore Hive afin de fournir une interface de lecture/écriture pour Pig et MapReduce, afin que ces systèmes puissent utiliser les métadonnées de Hive pour lire et écrire facilement des données dans HDFS. Pour plus d'informations, consultez la documentation Apache concernant HCatalog : https://cwiki.apache.org/confluence/display/Hive/HCatalog (uniquement en anglais) (en anglais). |
Prerequisites |
La distribution Hadoop doit être correctement installée afin de garantir les interactions avec le Studio Talend . La liste suivante présente des informations d'exemple relatives à MapR.
Pour plus d'informations concernant l'installation d'une distribution Hadoop, consultez le manuel correspondant à la distribution Hadoop que vous utilisez. |
Limitation |
Lorsque la case Use kerberos authentication est cochée, le composant ne fonctionne pas avec la JVM IBM. |