Überwachung der Jobausführungen auf Remote Engines
Sie können die Ausführung Ihrer Jobs zur Datenintegration auf Talend Remote Engines überwachen.
Wenn Ihre Jobs für eine Ausführung in Talend Remote Engine Version 2.9.2 geplant sind, kann Talend Management Console die Daten bereitstellen, die Sie zur Generierung eigener, bedarfsgerecht gestalteter Dashboards in Ihrem unternehmensinternen Überwachungssystem bzw. in einem APM-Tool zur Überwachung der Anwendungsleistung (Application Performance Monitoring) benötigen, z. B. ELK, Datadog, Azure Monitor oder Amazon CloudWatch.
Sobald Sie das System zur Metrik- und Logdaten-Sammlung in Talend Remote Engine und Ihr APM eingerichtet haben, können Sie Ihre Dashboards dank der von Talend Management Console an das APM-Tool gesendeten Informationen über die Engine entwickeln und organisieren.
- Status der Jobausführungen
- Verfügbarkeit von Talend Remote Engine
- Verbrauch der Ressourcen (Nutzung von CPU, Arbeitsspeicher und Festplatte)
- Arbeitslast (Anzahl der ausgeführten Tasks)
Verfügbare Metriken
Die folgenden Metriken und zusätzlichen Logs werden von Talend Remote Engine bereitgestellt und können in Ihr APM-Tool integriert werden.
- Jobausführungslogs
- Remote Engine-Logs
- Logs zur Jobverwaltung
- Leistungsmetriken und Kontext von Jobs, Remote Engines und Betriebssystem
- Nutzung der Betriebssystemressourcen
- Nutzung der Remote Engine-Ressourcen und Arbeitslast
- Nutzung Ressourcen für Jobausführungen (CPU, Arbeitsspeicher)
- Verlauf der Jobausführungen (einschließlich Komponenteninformationen, Status und Dauer)
- Leistung der Jobausführungen (z. B. verarbeitete oder zurückgewiesene Datensätze)
- Generische JSON-Datei
- Prometheus-kompatibles Format
Verwenden der Funktion
- Die neue Remote Engine-Version herunterladen und installieren
- Die Remote Engine in Ihrer Entwicklungsumgebung in Talend Management Console einrichten
- Talend Studio mit einer Version ab 7.3 R2020-07 installieren bzw. auf eine dieser Versionen aktualisieren
- Ihre Jobs der neuen Talend Studio-Version in Talend Management Console neu veröffentlichen
- Ihre Tasks für die Verwendung der neuesten Jobversionen aktualisieren (sofern dies nicht automatisch erfolgt)
- Ihre Jobs ausführen
Die Einrichtung einer Verbindung zwischen dem APM-Tool und der Talend-Anwendungen ist davon abhängig, welches APM-Tool Sie verwenden. Auf der Qlik-Community finden Sie Beispiele: Konfigurieren von Beobachtbarkeitsmetriken mit Talend Cloud - Remote Engine .
Standardmäßig können Sie die Metriken auf der Seite Run overview (Ausführungsübersicht) einer Task in Talend Management Console anzeigen. Wenn Sie verhindern möchten, dass Talend Remote Engine Metriken an Talend Management Console sendet, wenden Sie sich an das Supportteam.