問題が発生した場合にSparkジョブのデバッグや再開ができるよう、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブでロギングとチェックポインティングを有効にしておくことをお勧めします。
このセクションの情報は、Talend Data Fabricまたはビッグデータ対応のTalend製品のいずれかにサブスクライブしているユーザーのみが対象です。
Sparkチェックポイント操作に関する詳細は、の公式Sparkドキュメンテーションをご覧ください。
Spark event logs directory (Sparkイベントログディレクトリー): Sparkイベントを記録するディレクトリーを入力します。これは実質的にspark.eventLog.dirプロパティです。
Spark history server address (Sparkヒストリーサーバーアドレス): 履歴サーバーの場所を入力します。これは実質的にspark.yarn.historyServer.addressプロパティです。
Compress Spark event logs (Sparkイベントログを圧縮): 必要な場合はこのチェックボックスを選択してログを圧縮します。これは実質的にspark.eventLog.compressプロパティです。
クラスターの管理者によってこれらのプロパティがクラスター設定ファイル内で定義されている場合があるので、管理者に正確な値を問い合わせることをお勧めします。
このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。