Spark Structured StreamingでYarnクラスター接続パラメーターを定義

Spark Structured StreamingジョブにYarnクラスター接続を設定します。

1. デザインワークスペースの下にある[実行]ビューをクリックした後に、[Spark Structured Streaming]ビューをクリックします。
2. [Property Type] (プロパティタイプ)リストから[Built-In] (組み込み)を選択します。
3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからYarnクラスターをそれぞれ選択します。
4. [Path to custom Hadoop configuration jar] (Hadoop設定JARファイルへのパス)で、クラスターのHadoop設定JARファイルへのパスを入力します。
5. [Use custom classpath] (カスタムクラスパスの使用)を選択して、ジョブの追加のクラスパスエントリーを指定します。
6. [Username] (ユーザー名)に、クラスターに必要なユーザー名を入力します。