再利用可能なHadoopのプロパティの設定

Hadoop接続を設定する場合、Hive、HDFS、HBaseなどのHadoopの個々のエレメントへの子接続に再利用される一般的なHadoopのプロパティのセットを定義できます。

たとえば、Hadoopクラスターを使用する場合、hdfs-site.xmlファイルでHDFS高可用性(High Availability: HA)機能を定義してから、接続ウィザードで対応するプロパティを設定し、Studioの高可用性機能を有効にする必要があります。このプロパティは特定のHadoop関連コンポーネントでも設定できます。このプロセスは、StudioのHDFS高可用性機能を有効にする方法についての記事で説明されています。このセクションでは、接続ウィザードのアプローチについてのみ説明します。

前提条件:

• 使用するHadoopディストリビューションを起動し、ディストリビューションへの適切なアクセス権があるかどうかを確認します。

• Studioで設定される高可用性プロパティは、使用するクラスターのhdfs-site.xmlファイルで定義されています。

<property>  
  <name>dfs.nameservices</name>  
  <value>nameservice1</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.nameservice1</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.namenodes.nameservice1</name>
  <value>namenode90,namenode96</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.nameservice1.namenode90</name>
  <value>hdp-ha:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.nameservice1.namenode96</name>
  <value>hdp-ha2:8020</value>
</property>

これらのプロパティの値は、デモンストレーションの目的でのみ使用されます。

Hadoop接続のこれらのプロパティを設定するには、[Repository] (リポジトリー)の[Hadoop cluster] (Hadoopクラスター)ノードから[Hadoop Cluster Connection] (Hadoopクラスター接続)ウィザードを開きます。このウィザードへのアクセス方法の詳細は、Hadoop接続を一元管理をご覧ください。