跳到主要内容 跳到补充内容

Talend JobServer 建立监控和审计系统

Talend JobServer 上为统计和跟踪信息配置传输系统,为记录所执行的关键操作配置审计日志系统。

Talend JobServer 配置统计和跟踪消息传输

您可以指定一个端口,Talend Studio 通过它从 Talend JobServer 抓取远程执行的作业的最新统计和跟踪消息。

About this task

统计和跟踪消息功能是一个开发级别的功能。

通常,建议禁用生产环境的统计数据并跟踪消息传输参数,以避免过度使用内存,并在外部网络连接尚未被阻止的情况下防止外部连接。

使用实时统计数据可能会导致 JobServer 端内存使用过度。如果您观察到与 ZeroMQ 相关的内存泄漏,请禁用 JobServer 上的统计信息和跟踪消息。这样,将无法获得有关 Talend Administration Center 的实时统计数据。

Procedure

  1. 转到目录 <root>\conf,其中 <root>Talend JobServer 路径,并打开 TalendJobServer.properties 文件进行编辑。
  2. 在专用于消息传输端口配置的行中,指定一个端口号。
    org.talend.remote.jobserver.server.TalendJobServer.PROCESS_MESSAGE_PORT=<port_number>

    默认端口为 8555。您可以指定系统中可用的任何端口。

  3. 要启用统计和跟踪消息传输,请将以下参数设置为 true
    org.talend.remote.jobserver.server.TalendJobServer.ENABLED_PROCESS_MESSAGE=true
    如果 Talend JobServerTalend Studio 部署在相同计算机上,您可以将此参数设置为 false,以禁用该服务并节省端口资源。
  4. 保存更改并重新启动 Talend JobServer 以使配置生效。

Talend JobServer 配置审计日志

Talend JobServer 版本 8.0.2.20250110_1323_patch 开始(压缩包名为:Patch_20250114_TPS-6002_v4-8.0.1),您可以激活审计日志,以跟踪由客户端应用程序(如 Talend StudioTalend Administration Center)触发的操作。

这样就可以对关键活动进行监控和审计。审计日志记录以下操作:
  • 接受作业
  • 部署作业
  • 运行作业
  • 结束正在运行的作业
  • 验证用户是否获得操作授权
  • 在部署前获取有用的 CRC(循环冗余校验)以防出错

关于此任务

已在 log4j2.xml 文件中预先配置了审计日志日志记录器
<Logger name="org.talend.audit" level="info" additivity="false">
   <AppenderRef ref="Audit"/>
</Logger>   
该程序显示:
  • 如何激活或关闭审计日志。
  • 如何更新此日志记录器使用的审计附加器,以指定审计日志的存储。

步骤

  1. 使用 <jobserver_path>/conf/TalendJobServer.properties 文件中的 org.talend.remote.jobserver.commons.config.JobServerConfiguration.AUDIT_LOG_LEVEL 属性激活或停用审计日志。
    使用的值是:
    • 0 关闭审计日志
    • 1 激活审计日志
  2. 配置审计日志是写入专用文件还是包含在其他日志中。
    • 建议:要在具有特定文件模式的单独文件中写入审计日志,请在 log4j2.xml 文件中更新名为 AuditRollingFile 附加器中的 fileNamefilePattern 属性。例如:
      <RollingFile name="Audit" fileName="jobserver_audit.log"
         filePattern="jobserver_audit-%d{MM-dd-yyyy}.log.gz" ignoreExceptions="false">
            <!-- Default log layout skipped for brevity -->
      </RollingFile>
      使用此配置后,Talend JobServer 审计日志会写入指定文件 jobserver_audit.log
    • 要在 jobserver.log 中包含审计日志和其他日志,请保留审计附加器的默认配置。默认配置如下:
      <RollingFile name="A1" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
        ignoreExceptions="false">
          <!-- skipped for brevity -->
      </RollingFile>
      
      <RollingFile name="Audit" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
       ignoreExceptions="false">
         <PatternLayout pattern="%d %-5p %c{1} 
         - %m%n %X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}%n"/>
         <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
         <Policies>
            <SizeBasedTriggeringPolicy size="1000KB"/>
         </Policies>
         <DefaultRolloverStrategy max="100"/>
      </RollingFile>

结果

默认情况下,审计日志使用 MDC 格式:%X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}.

您可以检索 MDC 字段来创建自定义日志布局,如带有命名字段的 JSON 格式。

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们!