Remote Engineでジョブ実行を監視
Talend Remote Engineで実行されているデータ統合ジョブを監視できます。
情報メモ注: この機能を利用するためには、Talend Studio 7.3 R2020-07以降のバージョンが必要です。
ジョブがTalend Remote Engineのバージョン2.9.2で実行されるようスケジュールされている場合、Talend Management Consoleは、カスタマイズしたダッシュボードを職場の監視システムやAPM(ELK、Datadog、Azure Monitor、Amazon CloudWatchのようなアプリケーションパフォーマンス監視ツール)でビルドするうえで必要となるデータを提供できます。
Talend Remote EngineとAPMにメトリクスとログ収集システムを設定すれば、エンジンを介してTalend Management ConsoleからAPMに送信される情報によってダッシュボードをデザインして整理できるようになります。
たとえば次のようなデータをダッシュボードで監視できます。
- ジョブ実行ステータス
- Talend Remote Engineの可用性
- リソース消費量(CPU、メモリ、ディスク容量)
- ワークロード(実行タスクの数)
利用できるメトリクス
次のメトリクスと追加ログは、APMツールに統合できるTalend Remote Engineによって提供されます。
古いバージョンのRemote Engineからの既存ログ:
- ジョブ実行ログ
- Remote Engineログ
Talend Remote Engine 2.9.2以降のバージョンからの新しいログ
- ジョブ管理ログ
- ジョブ、Remote Engine、オペレーティングシステムのパフォーマンスメトリクスとコンテキスト
- OSリソース消費量
- Remote Engineのリソース消費量とワークロード
- ジョブ実行時のリソース消費量(CPU、メモリ)
- ジョブ実行履歴(コンポーネント情報、ステータス、期間を含む)
- ジョブ実行のパフォーマンス(処理されたレコードや拒否されたレコードなど)
メトリクスの形式には2種類あり、Remote Engineが公開するHTTPエンドポイントからアクセスできます。
- 汎用のJSONファイル
- Prometheusと互換性がある形式
機能を使用
監視機能を使い始めるためには、次の操作が必要です。
- Remote Engineの新しいバージョンをダウンロードしてインストールする。
- Talend Management Consoleの開発環境でRemote Engineを設定する。
- Talend Studioをインストールするか、7.3 R2020-07以降のバージョンにアップデートする。
- Talend Studioの新しいバージョンからTalend Management Consoleにジョブを再公開する。
- 最新バージョンのジョブが使用されるようタスクをアップデートする(自動アップデートされない場合)。
- ジョブを実行する。
APMとTalendアプリ間の接続設定は、使用するAPMによって異なります。Qlik Communityで、How to configure observability metrics with Talend Cloud - Remote Engineの例をご覧ください。
デフォルトでは、Talend Management Consoleのタスクの[Run overview] (実行概要)ページでメトリクスを表示できます。Talend Remote EngineがTalend Management Consoleにメトリクスを送信しないようにする必要がある場合は、サポートチームにご連絡ください。