# Apache Spark BatchのtHiveConfigurationプロパティこれらのプロパティは、Spark Batchジョブのフレームワークで実行されているtHiveConfigurationを設定するために使われます。 Spark BatchのtHiveConfigurationコンポーネントは、ストレージファミリーに属しています。このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで利用できます。 ## 基本設定 | [Properties] (プロパティ) | 説明 | | --- | --- | | プロパティタイプ | 接続の詳細を設定する方法を選択します。

[Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。
[Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細をオンにすると、関連するすべての接続のプロパティに値が自動的に入力されます。

| | [Distribution] (ディストリビューション)と[Version] (バージョン) | Hive用に使用しているHadoopディストリビューションを選択します。

Sparkに必要とされるHiveのバージョンは0.13以上です。

使用しているディストリビューションのHBaseバージョンを選択します。 | | [Hive thrift metastore] (Hive thriftメタストア) | [Host] (ホスト)の名前とリッスンしている[Port] (ポート)の数を指定することで、使用するHiveシステムのメタストアのロケーションを入力します。このHiveシステムにHAメタストアが定義されている場合は、[Enable high availability] (高可用性の有効化)チェックボックスをオンにして、表示されるフィールドに複数のリモートメタストアサービスのURIを入力し、それぞれをコンマ(、)で区切ります。 | | [Use Kerberos authentication] (Kerberos認証を使用) | Keroberosセキュリティを実行しているHiveメタストアにアクセスする場合は、このチェックボックスをオンにします。

次に、使用するクラスターの*hive-site.xml*ファイルで定義済みのHiveのプリンシパルを入力します。

[Hive principal] (Hiveプリンシパル)は*hive.metastore.kerberos.principal*の値を使用します。これは、Hiveメタストアのサービスプリンシパルです。 | | Sparkカタログ | 使用するSpark実装値を選択します。

In-memory: 外部メタストアではないHiveメタストアにHive Thriftメタストアを設定する場合は、この値を選択します。
Hive: 使用するクラスターの外に存在する外部HiveメタストアにHive Thriftメタストアを設定する場合は、この値を選択します。

| | [Force MapR Ticket authentication] (MapRチケット認証の強制) | このクラスターが5.0.0バージョン以上のMapRクラスターである場合は、「セキュリティ対応MapRへの接続」の説明に従って、MapRチケット認証設定を追加または代替として設定できます。[https://help.talend.com/ja-JP/components/8.0/mapr/connecting-to-security-enabled-mapr](https://help.qlik.com/talend/ja-JP/components/8.0/mapr/connecting-to-security-enabled-mapr)

この設定により、ジョブで定義されたユーザー名用の新しいMapRセキュリティチケットが実行ごとに生成されます。同じユーザー名に対して発行された既存のチケットを再使用する必要がある場合は、[Force MapR ticket authentication] (MapRチケット認証を強制)チェックボックスと[Use Kerberos authentication] (Kerberos認証を使用)チェックボックスをオフにすると、そのチケットを即座に自動的に見つけることができます。 | ## 使用方法 | 使用方法のガイダンス | 説明 | | --- | --- | | **使用ルール** | このコンポーネントは、他のコンポーネントに接続せずに使用されます。

設定がランタイムにジョブ全体で使われるように、tHiveConfigurationと共に、実行するHive関連のサブジョブを同じジョブにドロップする必要があります。

このコンポーネントは、所属するSpark Batchコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 | | [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。

Yarnモード(YarnクライアントまたはYarnクラスター):
- Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。
- HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。
- オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。
[Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。 |