Fichiers de configuration de Talend Remote Engine

Le moteur distant génère sa propre paire de clés (RSA/4096 bits) au cours du processus d'appairage. Avec Talend Remote Engine v2.12.5 ou supérieure, cette paire de clés est stockée dans un fichier Keystore Java dans etc/keystores, sécurisé par un mot de passe défini dans un fichier de configuration dédiée ou dans une variable d'environnement.

Si aucun mot de passe n'est défini, une valeur aléatoire est générée à la place, pour assurer que la clé privée est toujours chiffrée au repos.

Cette paire de clés est utilisée pour protéger les informations transférées entre Talend Remote Engine et Talend Management Console.

• Activez ou désactivez la transmission des logs depuis le moteur distant vers Talend Management Console. Consultez Empêcher les moteurs d'envoyer les logs vers Talend Cloud.
• Envoyez les logs vers un système tiers, comme un appender JMS, un appender Syslog ou un dossier externe. Consultez Configurer un système de log personnalisé.
• Modifiez les filtres des logs du moteur pour inclure ou exclure les logs d'exécution des artefacts. Consultez Modifier le cycle de nettoyage des logs de tâches.

• Ajoutez org.osgi.service.http.enabled = false pour éviter que le moteur distant écoute le port 8043 (HTTP) et utiliser plutôt le port sécurisé du moteur distant (9004).

  Pour plus d'informations concernant l'accès à ce port à l'aide d'un certificat client fiable, consultez Créer le certificat client fiable.

• Activez l'accès distant au moteur distant, à partir des autres machines. Consultez Accès distant à Talend Remote Engine.

• Le paramètre local.maven.clean.interval.days contrôle le nettoyage automatique des artefacts non utilisés dans votre moteur. Pour plus d'informations concernant les paramètres de résilience de votre moteur distant, consultez Nettoyage automatique des artefacts.
• Configurez le nombre maximal d'exécutions parallèles sur un moteur unique ou sur un cluster de moteurs. Pour plus d'informations concernant les exécutions parallèles sur un moteur distant, consultez Exécuter des tâches en parallèle.
• Configurez un processus régulier de nettoyage pour supprimer automatiquement les artefacts qui ne sont pas utilisés. Consultez .

/etc/org.talend.ipaas.rt.dsrunner.cfg

• (Linux uniquement) Configurez l'impersonation d'utilisateur·trices pour exécuter des tâches de services de données ou de Routes et activez la fonctionnalité sudo. Consultez Configurer l'impersonation d'utilisateur·trices pour les services de données/Routes et Démarrer Talend Remote Engine (sudo).
• Définissez un répertoire personnalisé de déploiement des bundles pour Talend Runtime.

Pour plus d'informations concernant la définition de votre mot de passer personnalisé pour chiffrer le Keystore, consultez Sécuriser les clés privées et publiques de votre moteur.

Consultez Afficher les logs système standards dansTalend Management Console.

• Ajoutez le paramètre suivant pour masquer les paramètres de connexion dans les logs d'exécution des tâches :

  job.log.msg.sensitive.hidden=true

  Pour plus d'informations, consultez Sécuriser les informations sensibles dans les paramètres de contexte envoyés par les moteurs distants.

• Ajoutez les paramètres suivants pour atténuer le pic de consommation du processeur et de la mémoire :
  • job.log.msg.size.max
  • job.log.msg.buffer.size.max
  • thread.timeout

  Pour plus d'informations, consultez la partie Résolution de problèmes dans la section Sécuriser les informations sensibles dans les paramètres de contexte envoyés par les moteurs distants.

• À partir de la version 2.12.9 du moteur distant (Remote Engine), ajoutez le paramètre suivant pour chiffrer les paramètres de contexte de type mot de passe d'une tâche de Job :

  job.ctx.params.file.sensitive.values.encrypted=true

• Modifiez le niveau de log des Jobs dans Talend Remote Engine. Consultez Modifier le niveau de log des Jobs dans Talend Remote Engine.
• Ajustez le cycle de vie du nettoyage des logs. Consultez Modifier le cycle de nettoyage des logs de tâches.
• Utilisez la configuration de la journalisation du Studio Talend. Consultez Utiliser la configuration de log personnalisé définie dans le Studio Talend.

• Ajoutez la configuration à utiliser pour créer la connexion entre le Studio Talend et Talend Remote Engine.

  Pour plus d'informations, consultez Configurer la connexion entre le Studio Talend et le moteur distant Talend (Talend Remote Engine).

• Paramétrez la configuration du serveur du JobServer pour une connexion SSL entre le serveur du JobServer et le client du JobServer, au sein d'un moteur distant. La configuration du client du JobServer est ajoutée dans le fichier etc/system.properties.

  Pour plus d'informations concernant les connexions SSL dans un moteur distant, consultez Activer la connexion SSL pour votre moteur distant.

• (Linux uniquement) Configurez l'impersonation d'utilisateur·trices pour exécuter des tâches d'intégration de données et activez la fonctionnalité sudo. Consultez Configurer l'impersonation d'utilisateur·trices pour les Jobs d'intégration de données et Démarrer Talend Remote Engine (sudo).
• Permettez à vos moteurs distants d'utiliser votre clé de signature personnalisée pour vérifier les signatures des artefacts. Consultez Vérifier une signature d'artefact avec une clé de signature personnalisée.
• Configurez des limites plus restrictives pour les noms des dossiers et fichiers, afin d'empêcher ou d'atténuer des attaques par déni de service. Consultez Améliorer la sécurité en cas de contenu malveillant dans une archive.

Pour plus d'informations concernant l'appairage de votre moteur à l'aide de ce fichier, consultez Lier des moteurs distants au fichier de configuration.

• Activez le redémarrage propre. Consultez Activer le processus de redémarrage propre du moteur distant (Remote Engine).
• Ajoutez la configuration du client et du serveur de votre JobServer afin de séparer les fichiers et établir une connexion SSL entre le serveur et le client du JobServer, au sein d'un moteur distant. La configuration du client doit être ajoutée dans le fichier /etc/system.properties, tandis que la configuration du serveur doit être ajoutée dans /etc/org.talend.remote.jobserver.server.cfg.

  Pour plus d'informations concernant les connexions SSL dans un moteur distant, consultez Activer la connexion SSL pour votre moteur distant.

• Configurez les paramètres de proxy pour un moteur distant. Consultez Configurer des paramètres de proxy pour les moteurs distants et Configurer l'authentification par proxy pour le moteur distant.

Dans ce fichier, si nécessaire, définissez les propriétés de l'environnement spécifique du système à utiliser par le moteur. Par exemple :

• Dans la section JVM parameters (Paramètres JVM) de ce fichier wrapper, spécifiez les paramètres de la JVM à utiliser par le moteur. Notez que ces paramètres JVM déterminent les ressources à allouer au moteur en tant que service, tandis que les paramètres de la JVM définis dans un profil d'exécution dans Talend Management Console font référence aux ressources allouées à cette exécution spécifique.
• Si le Job à exécuter sur un moteur distant s'appuie sur des outils tiers, comme un SDK ou MelissaData, spécifiez les chemins d'accès à ces outils dans le fichier de configuration du wrapper du moteur distant, avec le format suivant :

  set.PATH=<PATH_TO_SDK>;%PATH%

  Cette ligne informe le moteur de l'emplacement de l'outil tiers, tout en retenant le contenu existant de la variable d'environnement PATH. Pour plus d'informations, consultez Activer l'exécution de Jobs à l'aide d'outils externes (SDK).

Pour plus d'informations, consultez Utilisateur·trices et mots de passe du moteur distant.

Pour plus d'informations concernant le déploiement de plusieurs moteurs, consultez Déployer plusieurs moteurs distants.

/TalendJobServersFiles/jobexecutions/logs/