Configurer les systèmes de monitoring et d'audit pour Talend JobServer

Configurez un système de transfert pour les messages de statistiques et de traces et un système de log d'audit pour enregistrer les opérations clés effectuées sur Talend JobServer.

Configurer le transfert des messages stats et trace pour Talend JobServer

Vous pouvez spécifier un port via lequel le Studio Talend récupère les derniers messages de statistiques et traces depuis Talend JobServer pour les Jobs exécutés à distance.

About this task

La fonctionnalité de messages de statistiques et traces est une fonctionnalité de niveau développement.

Il est généralement recommandé de désactiver le paramètre de transfert des messages de statistiques et traces dans les environnements de production. Cela permet d'éviter une utilisation excessive de mémoire et de protéger votre système contre les connexions externes si ces connexions externes au réseau ne sont pas déjà bloquées.

Utiliser des statistiques en temps réel peut conduire à un usage excessif de mémoire côté JobServer. Si vous constatez des fuites de mémoire relatives à ZeroMQ, désactivez les messages de statistiques et traces sur le JobServer. Les statistiques en temps réel dans Talend Administration Center seront indisponibles.

Procedure

Allez dans le répertoire <root>\conf, où <root> est le chemin de Talend JobServer et ouvrez le fichier TalendJobServer.properties pour le modifier.
Dans la ligne dédiée à la configuration du port de transfert de messages, spécifiez un numéro de port.
```
org.talend.remote.jobserver.server.TalendJobServer.PROCESS_MESSAGE_PORT=<port_number>
```
Le port par défaut est 8555. Vous pouvez spécifier n'importe quel port disponible dans le système.
Pour activer le transfert de messages stats et trace, configurez le paramètre suivant à true.
```
org.talend.remote.jobserver.server.TalendJobServer.ENABLED_PROCESS_MESSAGE=true
```
Si Talend JobServer est déployé sur la même machine que le Studio Talend, vous pouvez configurer ce paramètre à false afin de désactiver le service et sauvegarder vos ressources de port.
Sauvegardez vos modifications et redémarrez Talend JobServer pour prendre en compte la configuration.

Configurer les logs d'audit pour Talend JobServer

À partir de la version 8.0.2.20250110_1323_patch de Talend JobServer (nom du zip : Patch_20250114_TPS-6002_v4-8.0.1), vous pouvez activer les logs d'audit pour suivre les opérations déclenchées par les applications clientes, comme Studio Talend ou Talend Administration Center.

Cela permet le monitoring et l'audit des activités critiques. Les logs d'audit enregistrent les opérations suivantes :

Réception d'un Job
Déploiement d'un Job
Exécution d'un Job
Arrêt d'une exécution de Job en cours
Vérification d'autorisation d'utilisateur·trice pour une opération
Obtention du Contrôle de redondance cyclique (CRC), très utile en cas d'erreur avant le déploiement

Pourquoi et quand exécuter cette tâche

Un logger ou enregistreur des logs d'audit a été pré-configuré dans le fichier log4j2.xml :

<Logger name="org.talend.audit" level="info" additivity="false">
   <AppenderRef ref="Audit"/>
</Logger>

Cette procédure présente :

Comment activer ou désactiver les logs d'audit.
Comment mettre à jour l'appender d'audit utilisé par ce logger afin de spécifier l'emplacement de stockage des logs d'audit.

Procédure

Activez ou désactivez le log d'audit à l'aide de la propriété org.talend.remote.jobserver.commons.config.JobServerConfiguration.AUDIT_LOG_LEVEL dans le fichier <jobserver_path>/conf/TalendJobServer.properties.
Les valeurs à utiliser sont :
- 0 pour désactiver les logs d'audit
- 1 pour activer les logs d'audit

Spécifiez si les logs d'audit sont écrits dans un fichier dédié ou inclus dans d'autres logs.

Recommandation : Pour écrire les logs d'audit dans un fichier séparé avec un modèle de fichier spécifique, dans le fichier log4j2.xml, mettez à jour les attributs fileName et filePattern dans l'appender RollingFile nommé Audit. Par exemple :
```
<RollingFile name="Audit" fileName="jobserver_audit.log"
   filePattern="jobserver_audit-%d{MM-dd-yyyy}.log.gz" ignoreExceptions="false">
      
</RollingFile>
```
Avec cette configuration, Talend JobServer écrit les logs d'audit dans le fichier jobserver_audit.logspécifié.

Pour inclure les logs d'audit avec d'autres logs dans jobserver.log, conservez la configuration par défaut de l'appender Audit. La configuration par défaut se présente comme suit :

<RollingFile name="A1" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
  ignoreExceptions="false">
    <!-- skipped for brevity -->
</RollingFile>

<RollingFile name="Audit" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
 ignoreExceptions="false">
   <PatternLayout pattern="%d %-5p %c{1} 
   - %m%n %X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}%n"/>
   <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
   <Policies>
      <SizeBasedTriggeringPolicy size="1000KB"/>
   </Policies>
   <DefaultRolloverStrategy max="100"/>
</RollingFile>

Résultats

Par défaut, les logs d'audit utilisent le format MDC : %X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}.

Vous pouvez récupérer les champs MDC afin de créer une disposition personnalisée de logs, comme JSON avec des champs nommés.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici