Activer le monitoring de Jobs sur les moteurs distants

Avant de commencer

Le Studio Talend en version 7.3 R2020-07 ou supérieure est installé mais ne s'exécute pas.
Le Talend Remote Engine en version 2.9.2 ou supérieure est créé, installé et appairé dans votre compte Talend Management Console.
Évitez de déployer Talend Remote Engine avec Docker dans un cluster Kubernetes, car le moteur distant ne supporte pas ce type de déploiement conteneurisé pour la fonctionnalité de monitoring de Jobs.
Assurez-vous de l'utilisation d'un dossier dédié pour les dossiers data et etc de votre moteur. Ces dossiers stockent les fichiers de configuration d'un moteur distant. Utiliser un dossier dédié pour les fichiers de configuration les empêche d'être verrouillés en lecture seule ou d'être modifiés simultanément par plusieurs processus.

Procédure

Ouvrez le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.cfg afin de le modifier.
Activez les paramètres suivants en configurant leur valeur à true :
Notez que, dans ces paramètres, omc signifie Observability Metrics Collector (Collecteur des métriques d'observabilité).
- omc.re.enabled=true : les métriques du moteur distant sont activées
- omc.oshi.enabled=true : les métriques du système d'exploitation complet sont activées
- omc.apm.enabled=true : l'appender APM est activé
- omc.appender.prometheus.enabled=true : l'appender de métriques pour le format Prometheus est activé
Les trois paramètres suivants sont en lecture seule :
- omc.enabled=true : la propriété principale est activée pour assurer que le mécanisme complet des métriques fonctionne
- omc.jobs.enabled=true: la propriété est activée pour collecter les métriques des Jobs
- omc.appender.rest.enabled=true : l'appender de métriques pour le format REST HTTP est activé
Configurez le paramètre omc.push.frequency_ms avec la valeur souhaitée.
Le paramètre de fréquence de push définit la fréquence à laquelle les composants du moteur distant produisent leurs métriques. Améliorez sa valeur pour envoyer des métriques à l'application de monitoring des performances moins souvent, ou diminuez-la pour un monitoring plus précis.
Facultatif : Selon la licence que vous possédez, les métriques peuvent être affichées par défaut dans la page Run overview (Vue d'ensemble des exécutions) dans Talend Management Console.
Sauvegardez le fichier.
Ouvrez le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.observability.omc.cache.apm.cfg pour le modifier.
Configurez le paramètre timeToLiveMilliseconds à la valeur souhaitée (en millisecondes).

Le temps durant lequel conserver les métriques dans le collecteur Observability Metrics Collector (OMC) se base sur la fréquence de push.
La valeur par défaut est 1000. Augmenter cette valeur augmente le temps de disponibilité des métriques, qui doit toujours être supérieur à la fréquence de push.
Si nécessaire, configurez le paramètre timeToLiveMargin pour vous assurer de la continuité lorsqu'un composant rencontre une erreur ou un ralentissement inattendu·e.
La valeur par défaut du paramètre, 5 millisecondes, peut être modifiée. Il est cependant déconseillé de la modifier, pour des raisons de sécurité.
Sauvegardez le fichier.

Facultatif : Vous pouvez également activer des informations contextuelles relatives aux Jobs dans le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.jobContextConfig.cfg en configurant les paramètres à true.

Exemple

karaf/workspaceName=true
karaf/environmentId=false
karaf/environmentName=true
karaf/environmentVersion=true
karaf/clusterId=false
karaf/clusterName=false
karaf/planExecutionId=false
karaf/planId=false
karaf/planName=false
karaf/planStepExecutionId=false
karaf/planStepId=false
karaf/planStepName=false
karaf/triggerTimestamp=false
karaf/artifactName=true
karaf/artifactVersion=true
karaf/taskName=true
karaf/taskVersion=true
karaf/compatibilityVersion=true
karaf/runType=false
karaf/countOfAttempts=false

Sauvegardez le fichier.
Démarrez le moteur distant.
Vous pouvez également configurer l'accès distant au moteur en suivant les instructions de la section Activer l'accès à distance à l'aide du protocole HTTP (facultatif).

Selon la licence que vous possédez, les métriques peuvent être affichées par défaut dans la page Run overview (Vue d'ensemble des exécutions) dans Talend Management Console.

Que faire ensuite

Pour valider que la fonctionnalité de monitoring est activée, saisissez bundle:list dans la console. Toutes les entrées Observability Metrics Collector doivent avoir le statut Active.

Capture d'écran présentant toutes les entrées du Collecteur des métriques d'observabilité ayant le statut Active dans la console.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici