Configurer les systèmes de monitoring et d'audit pour Talend JobServer

Configurez un système de log d'audit pour enregistrer les opérations clés effectuées sur Talend JobServer.

De plus, lorsque vous utilisez votre JobServer dans un environnement de développement, vous pouvez configurer un système de transfert pour les messages de statistiques et traces.

Configurer les logs d'audit pour Talend JobServer

À partir de la version 8.0.2.20250110_1323_patch de Talend JobServer (nom du zip : Patch_20250114_TPS-6002_v4-8.0.1), vous pouvez activer les logs d'audit pour suivre les opérations déclenchées par les applications clientes, comme Studio Talend ou Talend Administration Center.

Cela permet le monitoring et l'audit des activités critiques. Les logs d'audit enregistrent les opérations suivantes :

Réception d'un Job
Déploiement d'un Job
Exécution d'un Job
Arrêt d'une exécution de Job en cours
Vérification d'autorisation d'utilisateur·trice pour une opération
Obtention du Contrôle de redondance cyclique (CRC), très utile en cas d'erreur avant le déploiement

Pourquoi et quand exécuter cette tâche

Un logger ou enregistreur des logs d'audit a été pré-configuré dans le fichier log4j2.xml :

<Logger name="org.talend.audit" level="info" additivity="false">
   <AppenderRef ref="Audit"/>
</Logger>

Cette procédure présente :

Comment activer ou désactiver les logs d'audit.
Comment mettre à jour l'appender d'audit utilisé par ce logger afin de spécifier l'emplacement de stockage des logs d'audit.

Procédure

Activez ou désactivez le log d'audit à l'aide de la propriété org.talend.remote.jobserver.commons.config.JobServerConfiguration.AUDIT_LOG_LEVEL dans le fichier <jobserver_path>/conf/TalendJobServer.properties.
Les valeurs à utiliser sont :
- 0 pour désactiver les logs d'audit
- 1 pour activer les logs d'audit

Spécifiez si les logs d'audit sont écrits dans un fichier dédié ou inclus dans d'autres logs.

Recommandation : Pour écrire les logs d'audit dans un fichier séparé avec un modèle de fichier spécifique, dans le fichier log4j2.xml, mettez à jour les attributs fileName et filePattern dans l'appender RollingFile nommé Audit. Par exemple :
```
<RollingFile name="Audit" fileName="jobserver_audit.log"
   filePattern="jobserver_audit-%d{MM-dd-yyyy}.log.gz" ignoreExceptions="false">
      
</RollingFile>
```
Avec cette configuration, Talend JobServer écrit les logs d'audit dans le fichier jobserver_audit.logspécifié.

Pour inclure les logs d'audit avec d'autres logs dans jobserver.log, conservez la configuration par défaut de l'appender Audit. La configuration par défaut se présente comme suit :

<RollingFile name="A1" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
  ignoreExceptions="false">
    <!-- skipped for brevity -->
</RollingFile>

<RollingFile name="Audit" fileName="jobserver.log" filePattern="jobserver-%d{MM-dd-yyyy}.log.gz"
 ignoreExceptions="false">
   <PatternLayout pattern="%d %-5p %c{1} 
   - %m%n %X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}%n"/>
   <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
   <Policies>
      <SizeBasedTriggeringPolicy size="1000KB"/>
   </Policies>
   <DefaultRolloverStrategy max="100"/>
</RollingFile>

Résultats

Par défaut, les logs d'audit utilisent le format MDC : %X{userId,jobId,utcTime,jobServerId,clientIP,projectId,failed}.

Vous pouvez récupérer les champs MDC afin de créer une disposition personnalisée de logs, comme JSON avec des champs nommés.

Configurer le transfert des messages stats et trace pour un environnement de développement

Vous pouvez spécifier un port via lequel le Studio Talend récupère les derniers messages de statistiques et traces depuis Talend JobServer pour les Jobs exécutés à distance.

About this task

La fonctionnalité de messages de statistiques et traces est une fonctionnalité relative aux environnements de développement.

Désactivez les messages stats et trace dans les environnements de production. Cela évite une utilisation excessive de mémoire et protège des connexions extérieures si la connexion au réseau n'est pas correctement sécurisée.

Utiliser des statistiques en temps réel peut conduire à un usage excessif de mémoire côté JobServer. Si vous rencontrez des fuites de mémoire relatives à ZeroMQ, désactivez les messages de statistiques et traces sur le JobServer, même si cela rend indisponibles les statistiques en temps réel dans Talend Administration Center.

Procedure

Allez dans le répertoire <root>/conf/, où <root> est le chemin de Talend JobServer et ouvrez le fichier TalendJobServer.properties pour le modifier.
Spécifiez le port pour le transfert de messages.
```
org.talend.remote.jobserver.server.TalendJobServer.PROCESS_MESSAGE_PORT=<port_number>
```
Le port par défaut est 8555, mais vous pouvez utiliser n'importe quel port disponible.
Pour activer le transfert de messages stats et trace, configurez le paramètre suivant à true.
```
org.talend.remote.jobserver.server.TalendJobServer.ENABLED_PROCESS_MESSAGE=true
```
Sauvegardez vos modifications et redémarrez Talend JobServer pour prendre en compte la configuration.

Results

Activez la fonctionnalité des statistiques dans le Studio Talend et dans Talend Administration Center lorsque vous utilisez le système de transfert :

Pour des raisons de performances et de sécurité, activez les statistiques uniquement dans les environnements de développement, comme indiqué ci-dessus. Dans les environnements de production, désactivez la fonctionnalité des statistiques dans le Studio Talend et dans Talend Administration Center.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici