Monitorer des exécutions de Jobs sur des moteurs distants
Vous pouvez observer l'exécution de vos Jobs d'intégration de données sur Talend Remote Engine.
Si vos tâches de Jobs sont ordonnancés pour s'exécuter dans Talend Remote Engine version 2.9.2, Talend Management Console peut fournir les données nécessaires à la construction de vos dashboards personnalisés dans le système de monitoring de votre entreprise ou dans un outil de monitoring de performances d'applications, comme ELK, Datadog, Azure Monitor ou Amazon CloudWatch.
Une fois les métriques et le système de collecte de logs définis dans Talend Remote Engine et dans votre application de monitoring de performances, vous pouvez concevoir et organiser vos dashboards grâce aux informations envoyées depuis Talend Management Console à l'outil de monitoring de performances d'applications via le moteur.
- le statut des exécutions de Jobs,
- la disponibilité de Talend Remote Engine,
- la consommation de ressources (processeur, mémoire, utilisation du disque),
- la charge de travail (nombre de tâches qui s'exécutent).
Métriques disponibles
Les métriques et logs supplémentaires suivant·es sont fourni·es par Talend Remote Engine, que vous pouvez intégrer dans votre outil de monitoring de performances des applications.
- Logs d'exécution des Jobs
- Logs des moteurs distants
- Logs de gestion des Jobs
- Métriques de performance et contextes de Jobs, moteurs distants et système d'exploitation
- Consommation de ressources du système d'exploitation
- Consommation de ressources et charge de travail du moteur distant
- Consommation de ressources d'exécution des Jobs (processeur, mémoire)
- Historique d'exécution des Jobs (notamment informations relatives aux composants, au statut et à la durée)
- Performances d'exécutions des Jobs (par exemple les enregistrements traités ou rejetés)
- fichier JSON générique,
- format compatible avec Prometheus.
Utiliser la fonctionnalité
- Télécharger et installer la nouvelle version du moteur distant.
- Configurer le moteur distant dans votre environnement de développement dans Talend Management Console.
- Installer/mettre à jour le Studio Talend en version 7.3 R2020-07 ou supérieure.
- Publier à nouveau vos Jobs depuis la nouvelle version du Studio Talend vers Talend Management Console.
- Mettez à jour vos tâches pour utiliser la dernière version des Jobs (si ce n'est pas fait automatiquement).
- Exécutez vos Jobs.
Configurer une connexion entre l'outil de monitoring de performances des applications et les applications Talend dépend de l'outil que vous utilisez. Vous pouvez accéder à des exemples en anglais sur la page How to configure observability metrics with Talend Cloud - Remote Engine du site Web de la Communauté Qlik.
Par défaut, vous pouvez voir les métriques dans la page Run overview (Vue d'ensemble des exécutions) d'une tâche dans Talend Management Console. Si vous souhaitez empêcher Talend Remote Engine d'envoyer des métriques vers Talend Management Console, contactez le Support.