# Spark UniversalでCloudera Data Engineering接続パラメーターを定義

## このタスクについて

Talend Studioは、Cloudera Data Engineering (CDE)サービスに接続してこのクラスターからSparkジョブを実行します。

## 手順

1. デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。
2. [Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。

   [Hadoop接続を一元管理](https://help.qlik.com/talend/ja-JP/studio-user-guide/8.0-R2026-05/Hadoop接続を一元管理/talend/ja-JP/studio-user-guide/8.0/centralizing-hadoop-connection)で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。

   情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。
3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからCloudera Data Engineeringをそれぞれ選択します。
4. [Configuration] (設定)の基本情報を入力します:
5. [CDE configuration] (CDE設定)のパラメーターを完成させます:
   | パラメーター | 使用方法 |
   | --- | --- |
   | [CDE API endpoint] (CDE APIエンドポイント) | CDE APIエンドポイントを入力します。このURLはJOBS API URLリンクにあります。 |
   | [CDE API token] (CDE APIトークン) | API認証に使用したいCDEトークンを入力します。URLは [BASE\_URL]/gateway/authtknという形式であることが必要です。詳細は、Clouderaのドキュメンテーションで[CDE API access token](https://docs.cloudera.com/data-engineering/cloud/api-access/topics/cde-api-get-access-token.html)をご覧ください。<br><br>このプロパティは、[Auto generate token] (トークンを自動生成)チェックボックスがオフになっている場合のみ利用できます。 |
   | [Auto generate token] (トークンを自動生成) | ジョブを送信する前に新しいトークンを作成する場合は、このチェックボックスをオンにします。<br><br><ul> <li> <span>[CDE token endpoint] (CDEトークンエンドポイント)</span>: 使用したいCDEトークンを入力します。</li> <li> <span>[Workload user] (ワークロードユーザー)</span>: 新しいトークンの生成に使用したいCDPワークロードを入力します。詳細は、Clouderaのドキュメンテーションで<a href="https://docs.cloudera.com/management-console/cloud/user-management/topics/mc-um-workload-user.html" target="_blank">CDP workload user</a>をご覧ください。</li> <li> <span>[Workload password] (ワークロードパスワード)</span>: ワークロードユーザーに関連付けられているパスワードを入力します。</li> </ul> |
   | [Enable client debugging] (クライアントデバッギングを有効化) | CDE APIクライアントのデバッグロギングが有効にする場合は、このチェックボックスをオンにします。 |
   | [Override dependencies] (依存項目を上書き) | Sparkに必要な依存項目を上書きする場合は、このチェックボックスをオンにします。 |
   | [Job status/logs polling interval (in ms)] (ジョブステータス/ログのポーリング間隔(ミリ秒)) | Talend StudioがジョブのステータスをSparkに要求する時間間隔(ミリ秒)を引用符なしで入力します。 |
   | [Fetch driver logs] (ドライバーログをフェッチ) | ドライバーログをフェッチする場合は、このチェックボックスをオンにします。チェックボックスをオンにすれば、次の情報をフェッチできます。<br><br><ul> <li> <span>[Standard output] (標準出力)</span> </li> <li> <span>[Error output] (エラー出力)</span> </li> </ul> |
   | [Advanced parameters] (詳細パラメーター) | 次のCDE APIパラメーターを入力する場合は、このチェックボックスをオンにします。<br><br><ul> <li> <span>[Number of executors] (エグゼキューターの数)</span>: エグゼキューターの数を入力します。</li> <li> <span>[Driver cores] (ドライバーコア)</span>: ドライバーコアの数を入力します。</li> <li> <span>[Driver memory] (ドライバーメモリ)</span>: ドライバーによって使用されるメモリの割り当て量を入力します。</li> <li> <span>[Executor cores] (エグゼキューターコア)</span>: エグゼキューターコアの数を入力します。</li> <li> <span>[Executor memory] (エグゼキューターメモリ)</span>: 各エグゼキューターによって使用されるメモリの割り当て量を入力します。</li> </ul> |

## タスクの結果

これで接続詳細が完全なものになったので、ジョブの実行をスケジュールしたり、すぐに実行したりできます。