Cloudera Altus接続パラメーターを定義
ジョブの[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、Atlus接続設定を完成させます。この設定はジョブごとに有効です。
このタイプのクラスターでは、Yarnクラスターモードしか使用できません。
このセクションの情報は、Talend Data Fabric、またはビッグデータ関連のTalend製品のいずれかにサブスクライブしているユーザーのみが対象です。
始める前に
前提条件:
Cloudera Altusクライアント、Altus CLIは、ジョブが実行されるマシンにインストールする必要があります。
-
Cloudera Altus CLIをLinuxにインストールするには、Clouderaドキュメンテーションの Cloudera Altus Client Setup for Linuxをご覧ください。
-
Cloudera Altus CLIをWindowsにインストールするには、ClouderaキュメンテーションのCloudera Altus Client Setup for Windowsをご覧ください。
手順
タスクの結果
-
接続の設定後、必須ではありませんがSparkのパフォーマンスを調整できます。調整する場合は、以下に記載のプロセスに従います。
-
Spark BatchジョブであればApache Spark Batchジョブ用にSparkを調整
-
Spark StreamingジョブであればApache Spark Streamingジョブ用にSparkを調整
-
-
問題が発生した場合にSparkジョブのデバッグや再開ができるよう、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブでロギングとチェックポインティングを有効にしておくことをお勧めします:
-
Altus関連のログを参照する必要がある場合は、Cloudera ManagerサービスまたはAltusクラスターインスタンスでご確認ください。