Propriétés du tHiveWarehouseInput pour Apache Spark Batch

Ces propriétés sont utilisées pour configurer le tHiveWarehouseInput s'exécutant dans le framework de Jobs Spark Batch.

Le composant tHiveWarehouseInput Spark Batch appartient à la famille Stockage.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.

Basic settings

Property Type	Sélectionnez la manière de configurer les informations de connexion. Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion. Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.
Hive Storage Configuration	Sélectionnez le composant tHiveWarehouseConfiguration duquel vous souhaitez que Spark utilise les détails de configuration pour se connecter à Hive.
HDFS Storage Configuration	Sélectionnez le composant tHDFSConfiguration duquel vous souhaitez que Spark utilise les détails de la configuration pour se connecter à un système HDFS donné et transférer les fichiers .jar dépendants à ce système HDFS. Ce champ est utile uniquement lorsque vous utilisez une distribution on-premises.
Schema et Edit Schema	Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé `line` lors du nommage des champs. Utilisez toujours des minuscules lors du nommage d'un champ, car le traitement en tâche de fond peut forcer les noms de champs à être en minuscules. Sélectionnez le type de schéma à utiliser, dans la liste déroulante Schema : Built-in : le schéma est créé et conservé localement pour ce composant seulement. Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles : View schema : sélectionnez cette option afin de voir uniquement le schéma. Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales. Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.
Input source	Sélectionnez le type de données d'entrée que doit lire le tHiveWarehouseInput : Hive Query : les champs de requête Database et Hive sont affichés. Vous devez saisir les informations relatives concernant la base de données Hive à laquelle se connecter et l'instruction de requête Hive à utiliser pour sélectionner les données. ORC file : le champ Input file name est affiché et la liste de configuration du stockage Hive est désactivée, car le fichier ORC doit être stocké dans votre système HDFS hébergeant Hive. Saisissez le répertoire où est stocké le fichier à utiliser. Pour plus d'informations concernant le langage de requêtes Hive, consultez https://cwiki.apache.org/confluence/display/Hive/LanguageManual (uniquement en anglais) (en anglais). Note InformationsRemarque : Les données compressées en Gzip ou Bzip2 peuvent être traitées via les instructions de requête. Pour plus d'informations, consultez la page https://cwiki.apache.org/confluence/display/Hive/CompressedStorage (uniquement en anglais) (en anglais). Hadoop fournit différents formats de compression permettant de réduire l'espace nécessaire au stockage des fichiers et d'accélérer le transfert de données. Lorsque vous lisez un fichier compressé, le Studio doit le décompresser avant de pouvoir en alimenter le flux d'entrée.

Paramètres avancés

Register Hive UDF jars	Ajoutez les .jar de fonctions personnalisées Hive que vous souhaitez que le tHiveInput utilise. Notez que vous devez définir un alias de fonction pour chaque fonction personnalisée à utiliser dans la table Temporary UDF functions. Une fois cette ligne ajoutée à la table, cliquez dessus pour afficher le bouton [...], puis cliquez sur ce bouton pour afficher l'assistant d'import de .jar. Via cet assistant, importez les fichiers .jar des fonctions personnalisées que vous souhaitez utiliser. Une fonction enregistrée est souvent utilisée dans une requête Hive que vous modifiez dans le champ Hive Query de la vue Basic settings. Notez que ce champ Hive Query est affiché uniquement lorsque vous sélectionnez Hive query dans la liste Input source.
Temporary UDF functions	Renseignez cette table pour donner à chaque classe de fonction personnalisée importée un nom fonctionnel temporaire à utiliser dans la requête Hive dans le tHiveInput courant.

Ajoutez les .jar de fonctions personnalisées Hive que vous souhaitez que le tHiveInput utilise. Notez que vous devez définir un alias de fonction pour chaque fonction personnalisée à utiliser dans la table Temporary UDF functions.

Une fois cette ligne ajoutée à la table, cliquez dessus pour afficher le bouton [...], puis cliquez sur ce bouton pour afficher l'assistant d'import de .jar. Via cet assistant, importez les fichiers .jar des fonctions personnalisées que vous souhaitez utiliser.

Une fonction enregistrée est souvent utilisée dans une requête Hive que vous modifiez dans le champ Hive Query de la vue Basic settings. Notez que ce champ Hive Query est affiché uniquement lorsque vous sélectionnez Hive query dans la liste Input source.

Temporary UDF functions

Renseignez cette table pour donner à chaque classe de fonction personnalisée importée un nom fonctionnel temporaire à utiliser dans la requête Hive dans le tHiveInput courant.

Variables globales

Variables globales	ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case. Une variable Flow fonctionne durant l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

Une variable Flow fonctionne durant l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend.

Utilisation

Usage rule	Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie. Ce composant doit utiliser un composant tHiveWarehouseConfiguration présent dans le même Job pour se connecter à Hive. Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Usage rule

Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie.

Ce composant doit utiliser un composant tHiveWarehouseConfiguration présent dans le même Job pour se connecter à Hive.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici