为 Talend JobServer 建立监控和审计系统

配置审计日志系统以记录在 Talend JobServer 上执行的关键操作。

此外，在开发环境中使用 JobServer 时，您可以为统计数据和跟踪消息配置传输系统。

为 Talend JobServer 配置审计日志

从 Talend JobServer 版本 8.0.2.20250110_1323_patch 开始（压缩包名为：Patch_20250114_TPS-6002_v4-8.0.1），您可以激活审计日志，以跟踪由客户端应用程序（如 Talend Studio 或 Talend Administration Center）触发的操作。

这样就可以对关键活动进行监控和审计。审计日志记录以下操作：

接受作业
部署作业
运行作业
结束正在运行的作业
验证用户是否获得操作授权
在部署前获取有用的 CRC（循环冗余校验）以防出错

关于此任务

已在 log4j2.xml 文件中预先配置了审计日志日志记录器：

<Logger name="org.talend.audit" level="info" additivity="false">
   <AppenderRef ref="Audit"/>
</Logger>

该程序显示：

如何激活或关闭审计日志。
如何更新此日志记录器使用的审计附加器，以指定审计日志的存储。

步骤

使用 <jobserver_path>/conf/TalendJobServer.properties 文件中的 org.talend.remote.jobserver.commons.config.JobServerConfiguration.AUDIT_LOG_LEVEL 属性激活或停用审计日志。
使用的值是：
- 0 关闭审计日志
- 1 激活审计日志

配置审计日志是写入专用文件还是包含在其他日志中。

建议：要在具有特定文件模式的单独文件中写入审计日志，请在 log4j2.xml 文件中更新名为 Audit 的 RollingFile 附加器中的 fileName 和 filePattern 属性。例如：
```
<RollingFile name="Audit" fileName="jobserver_audit.log"
   filePattern="jobserver_audit-%d{MM-dd-yyyy}.log.gz" ignoreExceptions="false">
      
</RollingFile>
```
使用此配置后，Talend JobServer 审计日志会写入指定文件 jobserver_audit.log。

要在 jobserver.log 中包含审计日志和其他日志，请保留审计附加器的默认配置。默认配置如下：

<RollingFile name="A1" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
  ignoreExceptions="false">
    <!-- skipped for brevity -->
</RollingFile>

<RollingFile name="Audit" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
 ignoreExceptions="false">
   <PatternLayout pattern="%d %-5p %c{1} 
   - %m%n %X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}%n"/>
   <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
   <Policies>
      <SizeBasedTriggeringPolicy size="1000KB"/>
   </Policies>
   <DefaultRolloverStrategy max="100"/>
</RollingFile>

结果

默认情况下，审计日志使用 MDC 格式：%X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}.

您可以检索 MDC 字段来创建自定义日志布局，如带有命名字段的 JSON 格式。

为开发环境配置统计数据和跟踪消息传输

您可以指定一个端口，Talend Studio 通过它从 Talend JobServer 抓取远程执行的作业的最新统计和跟踪消息。

About this task

统计和跟踪消息功能适用于开发环境。

关闭生产环境中的统计数据和跟踪消息传输。这避免了内存的过度使用，并在网络连接未得到适当保护的情况下防止来自外部的连接。

使用实时统计数据可能会导致 JobServer 端内存使用过度。如果遇到与 ZeroMQ 相关的内存泄漏，请关闭 JobServer 上的统计信息和跟踪消息，尽管这将使实时统计信息在 Talend Administration Center 中不可用。

Procedure

转到目录 <root>\conf，其中 <root> 是 Talend JobServer 路径，并打开 TalendJobServer.properties 文件进行编辑。
要指定消息传输的端口，请设置
```
org.talend.remote.jobserver.server.TalendJobServer.PROCESS_MESSAGE_PORT=<port_number>
```
默认端口为 8555，但您可以使用任何可用端口。

要打开统计和跟踪消息传输，请将以下参数设置为 true。

org.talend.remote.jobserver.server.TalendJobServer.ENABLED_PROCESS_MESSAGE=true

保存更改并重新启动 Talend JobServer 以使配置生效。

Results

使用传输系统时打开 Talend Studio 和 Talend Administration Center 中的统计功能：

如上所述，出于性能和安全原因，仅在开发环境中启用统计信息。在生产环境中，关闭 Talend Studio 和 Talend Administration Center 中的统计功能。

本页面有帮助吗？

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们！

在此处留下您的反馈