メイン コンテンツをスキップする 補完的コンテンツへスキップ

Talend Management Consoleのタスク実行ログで機密性が高い接続情報をマスキング

Remote Engine v2.12.3以降、接続情報がTalend Management Consoleのログに表示された場合、自動的にマスキングされます。この情報は、ホスト、ポート番号、ユーザー名などのような、Talend Management Consoleでロックした接続パラメーターになります。

このタスクについて

Remote Engine v2.10.8からv2.12.2までは、接続情報は自動的にマスクされないようになっています。次の操作を実行して、それらのログで情報をマスクするようTalend Remote Engineを設定できます。それ以外の場合はこのセクションを無視して構いません。

手順

  1. Talend Management Consoleで、ログでマスキングされる接続パラメーターがロックされたことを確認します。
    Talend Management Consoleでの接続と接続パラメーターのロックに関する詳細は、カスタム接続を作成をご覧ください。
  2. Remote Engineがインストール済みであるマシンで<RemoteEngineInstallationDirectory>/etcフォルダーを参照し、 org.talend.ipaas.rt.jobserver.client.cfgファイルを開きます。
  3. job.log.msg.sensitive.hiddenプロパティを定義します:
    job.log.msg.sensitive.hidden=true
  4. ファイルを保存します。

タスクの結果

この変更は、エンジンが再起動されずに、直接に考慮されます。ロックされた接続パラメーターは、Talend Management Consoleのタスク実行ログでマスキングされます。たとえば:
重要な接続情報がマスクされていることを示すスクリーンショット。
トラブルシューティング:

機密性の高い接続情報をマスキングすると、多数のログがメモリに保持されている間に多くの情報がマスキングされるため、CPUとメモリの消費量が増加することがあります。

このような急激な上昇を軽減するため、次のパラメーターを微調整します。

  1. <RemoteEngineInstallationDirectory>/etcフォルダーを参照し、org.talend.ipaas.rt.jobserver.client.cfgファイルを開きます。
  2. 値を次のように調整します:
    次のテーブルは、ログ行のサイズと保存されたログイベントの数を調整するために使用されるパラメーターを示しています
    パラメーター 説明
    job.log.msg.size.max デフォルト値は10000文字で、これは各ログ行で許容される最大サイズを意味します。

    この値を小さくし、処理する各ログ行のサイズを制限すれば、各ログ行を切り捨ててリソースの消費を抑えることができます。

    ログの切り捨てが問題になる場合は、エンジンに新たにリソースを追加することを検討してください。

    job.log.msg.buffer.size.max このパラメーターはメモリに一時的に保存できるログイベントの最大数を設定するもので、デフォルト値は10000です。

    同時発生するログイベントのピークが高いと、この最大サイズに到達し、ログデータが失われることがあります。このような損失を防ぐためには、このバッファーのサイズを大きくし、それに応じてエンジンに新たにメモリリソースを割り当てます。

    情報メモ注: メモリやCPUの負荷が軽減されるよう、thread.timeoutパラメーターを追加し、ログ処理がタイムアウトするまでの最大時間を指定することも可能です。デフォルト値は5分で、この時間が経過するとログ処理が停止され、コンテキスト情報がクリーンアップされます。この値を小さくすればリソースをより頻繁に解放できるようになりますが、処理されていないログが失われますので注意が必要です。これが問題になる場合は、エンジンにさらにリソースを割り当てることを検討してください。
    このtimeoutイベントが発生すると、WARNイベントとしてログに記録されます。このイベントのログエントリーは次のようになります。
    Force cleanup context for empty streamSet, executionId {}
  3. 1文字あたり2バイトのメモリが必要です。このように、ログ処理に必要な追加リソースを計算する場合、計算は次のように行われます。
    • 各ログ行の文字数が2000文字でログイベントが2000件の場合は、80MBのメモリーが必要です。
    • 各ログ行の文字数が20000文字でログイベントが5000件の場合は、200MBのメモリが必要です。
    • 各ログ行の文字数が20000文字でログイベントが20000件の場合は、800MBのメモリーが必要です。

    ホストマシンでこの割り当てを増やした後、お使いのエンジンがシステムサービスとしてデプロイされている場合は、それに応じて<RemoteEngineInstallationDirectory>/etc/talend-remote-engine-wrapper.confファイルにあるJVM設定をカスタマイズします。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。