メイン コンテンツをスキップする 補完的コンテンツへスキップ

Remote Engineでジョブ実行を監視

Talend Remote Engineで実行されているデータ統合ジョブを監視できます。

情報メモ注: この機能を利用するためには、Talend Studio 7.3 R2020-07以降のバージョンが必要です。

ジョブがTalend Remote Engineのバージョン2.9.2で実行されるようスケジュールされている場合、Talend Management Consoleは、カスタマイズしたダッシュボードを職場の監視システムやAPM(ELK、Datadog、Azure Monitor、Amazon CloudWatchのようなアプリケーションパフォーマンス監視ツール)でビルドするうえで必要となるデータを提供できます。

Talend Remote EngineとAPMにメトリクスとログ収集システムを設定すれば、エンジンを介してTalend Management ConsoleからAPMに送信される情報によってダッシュボードをデザインして整理できるようになります。

たとえば次のようなデータをダッシュボードで監視できます。
  • ジョブ実行ステータス
  • Talend Remote Engineの可用性
  • リソース消費量(CPU、メモリ、ディスク容量)
  • ワークロード(実行タスクの数)
監視機能によって、エラーが発生した場合のアラートを設定したり、ジョブ実行時間と処理レコードを比較してジョブ実行パフォーマンスを最適化したりできます。

利用できるメトリクス

次のメトリクスと追加ログは、APMツールに統合できるTalend Remote Engineによって提供されます。

古いバージョンのRemote Engineからの既存ログ:
  • ジョブ実行ログ
  • Remote Engineログ
Talend Remote Engine 2.9.2以降のバージョンからの新しいログ
  • ジョブ管理ログ
  • ジョブ、Remote Engine、オペレーティングシステムのパフォーマンスメトリクスとコンテキスト
    • OSリソース消費量
    • Remote Engineのリソース消費量とワークロード
    • ジョブ実行時のリソース消費量(CPU、メモリ)
    • ジョブ実行履歴(コンポーネント情報、ステータス、期間を含む)
    • ジョブ実行のパフォーマンス(処理されたレコードや拒否されたレコードなど)
メトリクスの形式には2種類あり、Remote Engineが公開するHTTPエンドポイントからアクセスできます。
  • 汎用のJSONファイル
  • Prometheusと互換性がある形式

機能を使用

監視機能を使い始めるためには、次の操作が必要です。
  1. Remote Engineの新しいバージョンをダウンロードしてインストールする。
  2. Talend Management Consoleの開発環境でRemote Engineを設定する。
  3. Talend Studioをインストールするか、7.3 R2020-07以降のバージョンにアップデートする。
  4. Talend Studioの新しいバージョンからTalend Management Consoleにジョブを再公開する。
  5. 最新バージョンのジョブが使用されるようタスクをアップデートする(自動アップデートされない場合)。
  6. ジョブを実行する。

APMとTalendアプリ間の接続設定は、使用するAPMによって異なります。Qlik Communityで、How to configure observability metrics with Talend Cloud - Remote Engineの例をご覧ください。

デフォルトでは、Talend Management Consoleのタスクの[Run overview] (実行概要)ページでメトリクスを表示できます。Talend Remote EngineTalend Management Consoleにメトリクスを送信しないようにする必要がある場合は、サポートチームにご連絡ください。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。