このページ上

メインコンテンツをスキップする

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

Spark Universalでスタンドアロン接続パラメーターを定義

はSparkが有効になったクラスターに接続し、そのクラスターからジョブを実行します。

デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。
[Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。
Hadoop接続を一元管理で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。
情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。
[Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストから[Standalone] (スタンドアロン)をそれぞれ選択します。

[Standalone] (スタンドアロン)設定情報を入力します:

パラメーター	使用方法
[Standalone master] (スタンドアロンマスター)	Sparkジョブを送信するマスターのサーバーを入力します。
[Configure executors] (エグゼキューターを設定)	このチェックボックスをオンにして、エグゼキューターを設定します: [Executors memory] (エグゼキューターメモリ): 各Sparkエグゼキューターによって使用されるメモリの割り当て量を入力します。 [Executors core] (エグゼキューターコア): 各エグゼキューターが使用するコアの数を入力します。このチェックボックスをオフにすると、Sparkのデフォルト値が使用され、エグゼキューターメモリには`1g`、エグゼキューターコアには`1`が使用されます。詳細については、Sparkの公式ドキュメンテーションをご覧ください。

パラメーター

使用方法

[Standalone master] (スタンドアロンマスター)

Sparkジョブを送信するマスターのサーバーを入力します。

[Configure executors] (エグゼキューターを設定)

このチェックボックスをオンにして、エグゼキューターを設定します:

このチェックボックスをオフにすると、Sparkのデフォルト値が使用され、エグゼキューターメモリには1g、エグゼキューターコアには1が使用されます。詳細については、Sparkの公式ドキュメンテーションをご覧ください。

これで接続詳細が完全なものになったので、Sparkジョブの実行をスケジュールしたり、すぐに実行したりできます。

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。