Configuration des propriétés réutilisables de Hadoop

Pourquoi et quand exécuter cette tâche

Lorsque vous configurez une connexion à Hadoop, vous pouvez définir un ensemble de propriétés Hadoop communes qui seront réutilisées par les connexions enfants à chaque élément Hadoop individuel, comme Hive, HDFS ou HBase.

Par exemple, dans le cluster Hadoop à utiliser, vous avez configuré la fonctionnalité HDFS High Availability (Haute disponibilité) dans le fichier hdfs-site.xml du cluster même. Vous devez paramétrer les propriétés correspondantes dans l'assistant de connexion, afin d'activer la fonctionnalité de haute disponibilité dans le Studio Talend. Notez que ces propriétés peuvent également être configurées dans un composant Hadoop spécifique. Le processus pour cela est expliqué dans l'article concernant l'activation de la Haute Disponibilité HDFS dans le Studio Talend. Dans cette section, seule la méthode avec l'assistant est présentée.

Prérequis :

Lancez la distribution Hadoop à utiliser et assurez-vous d'avoir les droits d'accès à cette distribution.
Les propriétés de la haute disponibilité à configurer dans le Studio Talend sont définies dans le fichier hdfs-site.xml du cluster à utiliser.

Dans cet exemple, les propriétés de la haute disponibilité se présentent comme suit :

<property>  
  <name>dfs.nameservices</name>  
  <value>nameservice1</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.nameservice1</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.namenodes.nameservice1</name>
  <value>namenode90,namenode96</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.nameservice1.namenode90</name>
  <value>hdp-ha:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.nameservice1.namenode96</name>
  <value>hdp-ha2:8020</value>
</property>

Les valeurs des propriétés servent uniquement à la démonstration.

Pour configurer ces propriétés dans la connexion à Hadoop, ouvrez l'assistant Hadoop Cluster Connection depuis le nœud Hadoop cluster du Repository. Pour plus d'informations sur l'accès à cet assistant, consultez Centraliser une connexion Hadoop.

Procédure

Si ce n'est pas encore fait, configurez la connexion au cluster Hadoop à utiliser, comme expliqué dans les sections précédentes.
Cliquez sur le bouton [...] à côté de Hadoop properties pour ouvrir la table Hadoop properties.
Ajoutez les propriétés de haute disponibilité mentionnées ci-dessus dans la table.
Cliquez sur OK pour valider les modifications. Ces propriétés sont listées à côté du bouton [...].
Cliquez sur le bouton Check services afin de vérifier la connexion.
Une boîte de dialogue s'ouvre pour indiquer le processus de vérification et le statut de connexion. Si la connexion échoue, vous devez vérifier et mettre à jour les informations de connexion définies dans l'assistant de connexion.
Cliquez sur Finish afin de valider la connexion.
Lorsque vous créez une connexion enfant, par exemple à Hive, à partir de cette connexion Hadoop, la connexion enfant hérite de ces propriétés de haute disponibilité, en lecture seule.

Résultats

Ces propriétés peuvent donc être réutilisées automatiquement par toute connexion enfant de la connexion à Hadoop.

L'image ci-dessus présente les propriétés héritées dans l'assistant de connexion Hive. Pour plus d'informations concernant l'accès à l'assistant de connexion Hive présenté dans cette section, consultez Centraliser des métadonnées Hive.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici