# Apache Spark BatchのtHDFSConfigurationプロパティ これらのプロパティは、Spark Batchジョブのフレームワーク内で実行されているtHDFSConfigurationを設定するために使われます。 Spark BatchのtHDFSConfigurationコンポーネントは、ストレージファミリーに属しています。 このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで利用できます。 ## 基本設定 | [Properties] (プロパティ) | 説明 | | --- | --- | | [Property type] (プロパティタイプ) | [Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。 | | [Distribution] (ディストリビューション) | 使用するクラスターはドロップダウンリストから選択します。リストのオプションは使用するコンポーネントによって異なります。これらのオプションの中でも、以下のオプションを使用するには特定の設定が必要です。



  1. [Import from existing version] (既存のバージョンからインポート)をオンにすると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。

  2. [Import from zip] (zipからインポート)をオンにすると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。

    Talendはカスタムバージョンを公式にサポートしていません。Talendとそのコミュニティでは、Talend Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。

    情報メモ注:

    カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。

    カスタムディストリビューションの接続方法、および接続の共有方法のステップ例は、Hortonworksをご覧ください。

| | Hadoop version (Hadoopのバージョン) | 使用しているディストリビューションのHBaseバージョンを選択します。 | | [Use Kerberos authentication] (Kerberos認証を使用) | Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。

このチェックボックスは、接続しているHadoopのディストリビューションによっては、表示されないことがあります。 | | [Use a keytab to authenticate] (Keytabを認証に使用) | [Use a keytab to authenticate] (Keytabを認証に使用)チェックボックスをオンにして、所定のkeytabファイルを使ってKerberos対応のシステムにログインします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。使用するプリンシパルを[Principal] (プリンシパル)フィールドに入力し、keytabファイルへのアクセスパスを[Keytab] フィールドに入力します。このキータブファイルは、ジョブが実際に実行されているマシン(Talend JobServerなど)に保存する必要があります。

keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。たとえば*user1*というユーザー名でジョブを実行し、使用するプリンシパルが*guest*の場合、*user1*に使用するキータブファイルの読み取り権限があることをご確認ください。 | | [NameNode URI] (ネームノードURI) | Hadoopシステムのマスターノード、Hadoop NameNodeのURIを入力します。たとえば、NameNodeとして*masternode*という名前のマシンを選択した場合、その場所はhdfs://masternode:portnumberになります。 WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。WebHDFS with SSLはまだサポートされていません。 | | [User name] (ユーザー名) | [User name] (ユーザー名)フィールドは、認証にKeroberosを使っていない場合に利用できます。[User name] (ユーザー名)フィールドに、ディストリビューションにログインするためのユーザー名を入力します。このフィールドを空白のままにすると、Talend Studioをホストするマシンのユーザー名が使用されます。 | | Group (グループ) | HDFSインスタンスが起動された認証ユーザーを含めたメンバーシップを入力します。このフィールドは、使用しているHadoopのディストリビューションによっては、表示されないこともあります。 | | [Use datanode hostname] (データノードホスト名を使用) | [Use datanode hostname] (データノードホスト名を使用)チェックボックスをオンにして、これらのホスト名によるデータノードへのアクセスをジョブに許可します。これは、実際には*dfs.client.use.datanode.hostname*プロパティを*true*に設定しています。S3Nファイルシステムに接続する場合、このチェックボックスをオンにする必要があります。 | | [Hadoop properties] (Hadoopプロパティ) | *Talend Studio* では、Hadoopディストリビューションの処理を実行するエンジンに、デフォルト設定を使用しています。特定の場合にカスタム設定を使用する必要がある場合は、カスタマイズするプロパティをこのテーブルで設定します。設定後、カスタマイズしたプロパティによってこれらのデフォルトのプロパティが実行時に上書きされます。



Hadoopやその関連システム(HDFS、Hiveなど)で必要なプロパティの詳細は、使用しているHadoopディストリビューションのドキュメンテーションか、[ApacheのHadoopドキュメンテーション](http://hadoop.apache.org/docs)をご覧になって、必要なバージョンのドキュメンテーションを選択してください。以下のリンクでは、一部のプロパティについて実例を紹介しています。

| | [Setup HDFS encryption configurations] (HDFS暗号化設定) | HDFSの透過的暗号化をクラスターで有効にしている場合は、[Setup HDFS encryption configurations] (HDFS暗号化設定)チェックボックスをオンにし、[HDFS encryption key provider] (HDFS暗号化キープロバイダー)フィールドが表示されたら、KMSプロキシのロケーションを入力します。

HDFSの透過的暗号化とそのKMSプロキシの詳細は、[Transparent Encryption in HDFS](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html)をご覧ください。 | ## 使用方法 | 使用方法のガイダンス | 説明 | | --- | --- | | **使用ルール** | このコンポーネントは、他のコンポーネントに接続せずに使用されます。

設定がランタイムにジョブ全体で使われるように、tHDFSConfigurationと共に、実行するファイルシステム関連のサブジョブを同じジョブにドロップする必要があります。

このコンポーネントは、所属するSpark Batchコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 | | 前提条件 | *Talend Studio* との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。



Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルを参照してください。 | | [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。



この接続は、ジョブごとに有効になります。 | | 特定のSparkタイムアウト | ネットワークに問題が発生した場合、デフォルトでは、Sparkは最大45分待ってからジョブの送信試行を停止します。続いて、Sparkによりジョブの自動停止がトリガーされます。

この間隔は、以下のプロパティをtHDFSConfigurationの[Hadoop properties] (Hadoopのプロパティ)テーブルに追加することで短縮できます。

|