カスタムHadoopディストリビューションへの接続

[Distribution] (ディストリビューション)ドロップダウンリストから[Custom] (カスタム)オプションを選択すると、Talend Studioから提供される[Distribution] (ディストリビューション)リストにはないHadoopディストリビューションに接続します。

このタスクについて

この[Custom] (カスタム)オプションを選択した後は、[...]ボタンをクリックして[Import custom definition] (カスタム定義をインポート)ダイアログボックスを表示させ、次の操作を行います:

カスタムバージョンについては、Talendによる公式のサポートはありません。Talendとそのコミュニティでは、Talend Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは不明です。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。

手順

必要に応じて、[Import from existing version] (既存のバージョンからインポート)または[Import from zip] (Zipからインポート)のいずれかを選択して、接続するカスタムHadoopディストリビューションを設定します。
- 接続先のカスタムHadoopディストリビューションの設定用ZIPファイルがある場合は、[Import from zip] (ZIPからインポート)を選択します。
- または、[Import from existing version] (既存のバージョンからインポート)を選択して、正式にサポートされているHadoopディストリビューションをインポートし、これをベースとして次のウィザードでカスタマイズします。このアプローチを採用するには、使用するHadoopディストリビューションの設定についての知識が必要です。
このウィザードのチェックボックスを使って、インポートするHadoopのエレメントを選択します。接続を作成する時の状況によって、これらすべてのチェックボックスがウィザードに表示されないことがあります。たとえばSparkでこの接続を作成する場合は、[Spark]チェックボックスのみ表示されます。
[Import from existing version] (既存のバージョンからインポート)と[Import from zip] (ZIPからインポート)のどちらを選択した場合でも、インポートするHadoopのエレメントのチェックボックスをそれぞれオンにしてください。
OKをクリックすると、ポップアップ警告が表示されます。前に実装したJARファイルのカスタムセットアップを上書きする場合は、[Yes] (はい)をクリックします。
完了すると、[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスがアクティブになります。

このダイアログボックスには、インポートするHadoopエレメントおよびjarファイルがリスト表示されます。
[Import from zip] (ZIPからインポート)を選択した場合は、OKをクリックしてインポートの設定を確定します。
[Import from existing version](既存のバージョンからインポート)を選択した場合は、jarファイルを追加してバージョンをカスタマイズします。カスタマイズするHadoopエレメントのタブ([Spark]タブなど)で[+]ボタンをクリックし、[Select libraries] (ライブラリーを選択)ダイアログボックスを開きます。
[External libraries] (外部ライブラリー)オプションを選択して、ビューを表示します。
インポートするjarファイルを参照して選択します。
OKをクリックして変更を確定し、[Select libraries] (ライブラリーを選択)ダイアログボックスを閉じます。
完了すると、設定したHadoopのエレメントのタブのリストに、選択したjarファイルが表示されます。

カスタムHadoopセットアップを別のTalend Studioと共有する必要がある場合は、ボタンを使って、このカスタム接続を[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ウィンドウからエクスポートできます。
[Custom Hadoop version definition] (カスタムHadoopバージョンの定義)ダイアログボックスでOKをクリックして設定のカスタマイズを確定します。これで、[Custom] (カスタム)オプションを選択した設定ビューに戻ります。

タスクの結果

カスタムHadoopバージョンの設定を完了し、Hadoopの接続設定ビューに戻ったら、その接続に必要なその他のパラメーターを引き続き入力できます。

接続先のカスタムHadoopバージョンにYARNが含まれており、それを使用する場合は、[Distribution] (ディストリビューション)リストの横にある[Use YARN] (YARNを使用する)チェックボックスをオンにします。

カスタムHadoopクラスターへの接続をセットアップする方法についてHDFSを例に説明するビデオが、以下のリンクで入手できます。これはサポートされていないHadoopディストリビューションとも呼ばれています: サポートされていないHadoopディストリビューションをStudioに追加する方法。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください