エンジンで実行されているパイプラインの確認

お使いの Remote Engine Gen2で実行されているパイプラインやプレパレーションを確認したい場合は、次の操作を行います。

トラブルシューティング1: Livyポート80を外部ポートにマッピングして、Livyのweb UIにアクセスする

手順

以下のコマンドを実行してRemote Engine Gen2を停止します。
Windowsシステムの場合はremote-engine.bat stop

Unixシステムの場合は./remote-engine.sh stop
エンジンディレクトリーにある次のファイルを開きます:
default/docker-compose.yml - AWS米国、AWS欧州、AWSアジアパシフィック、Azureリージョンでエンジンを使用している場合
eap/docker-compose.yml - Early Adopter Program (早期導入者プログラム)の一部としてエンジンを使用している場合
livyセクションに以下を追加します(8001をポートの例として使いますが、どの利用可能なポートでも使用できます):
```
ports:
	- 8001:80/tcp
```
変更を保存し、エンジンを再起動してこれらの変更を反映させます。
お使いのブラウザーでLivyのユーザーインターフェイスにアクセスします: http://localhost:8001/ui

現在実行されているパイプラインやプレパレーション(Livyでの名称はバッチセッション)と、エンドステータス(成功、失敗、強制終了)とそのログを含む以前の実行が表示されます。
リアルタイムで実行されるパイプラインやプレパレーションに関連するLivyログを表示する場合は、次のコマンドを実行します:
```
docker logs -f remote-engine_livy_1
```

原因

実行中の各パイプラインやプレパレーションには、4040から始まる動的ネットワークポートが割り当てられます。同時実行数によっては、4040から始まる十分な範囲のポートをdocker-compose.ymlファイルのlivyセクションに公開し、実行中のホストからSpark Web UIにアクセスできるようにする必要があります。

トラブルシューティング2: Spark web UIポートを公開して、エンジンで実行されたSparkパイプラインの実行プランを確認します。

手順

以下のコマンドを実行してRemote Engine Gen2を停止します。
Windowsシステムの場合はremote-engine.bat stop

Unixシステムの場合は./remote-engine.sh stop
docker-compose.ymlを開き、livyセクションに次を追加します(実行中の3つの同時パイプラインやプレパレーションのSpark UIを表示させる例):
```
ports:
	- 4040:4040/tcp
	- 4041:4041/tcp
	- 4042:4042/tcp
```

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください