カスタムHadoopディストリビューションに接続
プロパティの表で説明しているとおり、[Distribution] (ディストリビューション)ドロップダウンリストから[Custom] (カスタム)オプションを選択すると、Talend Studioから提供される[Distribution] (ディストリビューション)リストにはないHadoopディストリビューションに接続できます。
この[Custom] (カスタム)オプションを選択したら、
ボタンをクリックして[Import custom definition] (カスタム定義をインポート)ダイアログボックスを表示し、以下のようにします:
手順
-
必要に応じて、[Import from existing version] (既存のバージョンからインポート)または[Import from zip] (Zipからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定するために使われます。
-
接続先とするカスタムHadoopディストリビューションのZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。 Talend コミュニティにはこの種のZIPファイルが提供されており、http://www.talendforge.org/index.phpからダウンロードできます。
-
または、[Import from existing version] (既存のバージョンからインポート)を選択して、正式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。
このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成する時の状況によって、これらすべてのチェックボックスがウィザードに表示されないことがあります。たとえば、この接続をHiveコンポーネントに作成する場合、[Hive]チェックボックスのみが表示されます。 -
-
[OK]をクリックすると、ポップアップ警告が表示されます。[Yes]をクリックして以前に実装したjarファイルのカスタムセットアップを上書きします。
完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。
このダイアログボックスには、インポートするHadoopのモジュールとそのjarファイルがリストされます。
タスクの結果
カスタムHadoopバージョンの設定を完了し、[Distribution] (ディストリビューション)リストに戻っているため、接続で必要になるその他のパラメーターを続けて入力できます。
接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストの横にある[Use YARN] (YARNを使用する)チェックボックスをオンにします。
How to add an unsupported Hadoop distribution to Talend Studioでは、カスタムHadoopクラスター(または「サポートされていないHadoopディストリビューション」)への接続のセットアップ方法をHDFSを使って説明しています。