Propriétés du tHBaseConfiguration pour Apache Spark Streaming

Ces propriétés sont utilisées pour configurer le tHBaseConfiguration s'exécutant dans le framework de Jobs Spark Streaming.

Le composant tHBaseConfiguration Spark Streaming appartient aux familles Stockage et Bases de données.

Ce composant est disponible dans Talend Real-Time Big Data Platform et dans Talend Data Fabric.

Basic settings

Property type	Peut être Built-In ou Repository. Built-In : aucune propriété n'est stockée de manière centrale. Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.
HBase version	Sélectionnez la version HBase de la distribution Hadoop que vous utilisez.
ZooKeeper quorum	Saisissez le nom ou l'URL du service ZooKeeper utilisé pour coordonner les transactions entre votre Studio Talend et votre base de données. Notez que, lorsque vous configurez ZooKeeper, vous pouvez avoir besoin de configurer explicitement la propriété zookeeper.znode.parent pour définir le chemin vers le nœud Znode racine contenant tous les Znodes créés et utilisés par votre base de données. Cochez la case la case Set ZooKeeper znode parent afin de définir cette propriété.
ZooKeeper client port	Saisissez le numéro du port d'écoute client du service ZooKeeper que vous utilisez.
Use kerberos authentication	Si la base de données choisie utilise la sécurité Kerberos, cochez cette case puis saisissez le nom des principaux dans les champs HBase Master principal et HBase Region Server principal. Vous pouvez trouver cette information dans le fichier hbase-site.xml du cluster à utiliser. Si vous souhaitez utiliser un fichier Kerberos keytab pour vous identifier, cochez la case Use a keytab to authenticate. Un fichier Keytab contient les paires des Principaux et clés cryptées Kerberos. Vous devez saisir le principal à utiliser dans le champ Principal et le chemin d'accès au fichier keytab dans le champ Keytab. Ce fichier keytab doit être stocké sur la machine où s'exécute votre Job, par exemple, sur un Talend JobServer. l'utilisateur ou l'utilisatrice exécutant un Job utilisant un fichier Keytab n'est pas nécessairement celui désigné par un Principal mais doit avoir le droit de lire le fichier Keytab utilisé. Par exemple, le nom d'utilisateur ou d'utilisatrice que vous utilisez pour exécuter le Job est user1 et le principal à utiliser est guest. Dans cette situation, assurez-vous que user1 a les droits de lecture pour le fichier Keytab à utiliser.
HBase parameters	Si vous devez utiliser une configuration personnalisée pour votre base de données, renseignez cette table avec la ou les propriétés à personnaliser. Lors de l'exécution, les propriétés personnalisées vont écraser les propriétés utilisées par le Studio Talend.

Utilisation

Règle d'utilisation	Ce composant est utilisé sans avoir besoin d'être connecté à d'autres composants. Déposez un tHBaseConfiguration avec le sous-Job relatif à HBase à exécuter au sein du même Job, afin que la configuration soit utilisée par le Job complet lors de l'exécution. Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming. Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.
Prérequis	Avant de commencer, vérifiez que tous les prérequis de l'IP de Loopback (rebouclage) attendus par votre base de données sont respectés. Pour plus d'informations concernant l'installation d'une distribution Hadoop, consultez le manuel correspondant à la distribution Hadoop que vous utilisez.
Spark Connection	Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers : Yarn mode (Yarn Client ou Yarn Cluster) : Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration. En réalité, ce composant n'est pertinent qu'avec les distributions Hadoop on-premises traditionnelles. Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch. Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem). Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Règle d'utilisation

Ce composant est utilisé sans avoir besoin d'être connecté à d'autres composants.

Déposez un tHBaseConfiguration avec le sous-Job relatif à HBase à exécuter au sein du même Job, afin que la configuration soit utilisée par le Job complet lors de l'exécution.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Prérequis

Avant de commencer, vérifiez que tous les prérequis de l'IP de Loopback (rebouclage) attendus par votre base de données sont respectés.

Pour plus d'informations concernant l'installation d'une distribution Hadoop, consultez le manuel correspondant à la distribution Hadoop que vous utilisez.

Spark Connection

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :

Yarn mode (Yarn Client ou Yarn Cluster) :
Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration.

En réalité, ce composant n'est pertinent qu'avec les distributions Hadoop on-premises traditionnelles.
Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch.

Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem).

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici