メイン コンテンツをスキップする 補完的コンテンツへスキップ

Spark UniversalでLivy Knox接続パラメーターを定義

このタスクについて

はLivy Knoxクラスターに接続して、そのクラスターからジョブを実行します。

手順

  1. デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。
  2. [Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。
    Hadoop接続を一元管理で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。
    情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。
  3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからLivy Knoxをそれぞれ選択します。
  4. Knox設定情報を入力します:
    パラメーター 使用方法
    Knox URL Apache Knox Gatewayのアドレスを指定します。これは、Livyサーバーにアクセスするためのセキュアなエントリーポイントとして機能します。
    [Knox user] (Knoxユーザー) Livyサーバーへ接続する時にApache Knox Gatewayでの認証に使用するユーザー名を指定します。
    [Knox password] (Knoxパスワード) Knoxユーザーアカウントに関連付けられているパスワードを指定します。
    [Knox directory] (Knoxディレクトリー) Apache Knox Gatewayで Livy サービスがデプロイされているパスを指定します。
    [Knox session timeout (in sec)] (Knoxセッションのタイムアウト(秒)) Apache Knox Gateway経由での認証時に、ユーザーセッションがアクティブな状態を維持する最大継続時間(秒単位)を指定します。
    [Poll interval when retrieving Job status (in ms)] (ジョブステータスを取得する時のポーリング間隔(ミリ秒)) Spark Universal接続がSparkジョブステータスのアップデート確認頻度(ミリ秒)を指定します。
    [Maximum number of consecutive statuses missing] (見つからないステータスの最大連続回数) Spark Universal接続がジョブステータスの取得に連続して失敗できる回数を指定します。この回数を超えると、ジョブは失われたか失敗したと見なされます。
  5. 設定の基本情報を入力します:

タスクの結果

これで接続詳細が完全なものになったので、Sparkジョブの実行をスケジュールしたり、すぐに実行したりできます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。