Ausführungs-Engines in Talend Cloud
Cloud Engine
- Die Cloud Engine default (Standard) ist automatisch verfügbar. Sie kann jeder beliebigen spezifischen Umgebung zugewiesen werden, d. h. die Cloud Engine default ist eine nie zugewiesene Engine.
Aus diesem Grund wird diese Engine nicht auf der Seite Environment details (Umgebungsdetails) angezeigt.
- Nicht zugewiesene Cloud Engines können von allen Umgebungen verwendet werden. Wenn Cloud Engines keinen Umgebungen zugewiesen werden, können unter Umständen einige Tasks nicht ausgeführt werden, da alle Engines von anderen Tasks beansprucht werden.
Die Standardumgebung default kann nur nicht zugewiesene Cloud Engines verwenden.
- Jede Cloud Engine, einschließlich der Cloud Engine default, benötigt für ihre Ausführung 45000 Engine Token und unterstützt die parallele Ausführung von bis zu 3 Tasks. Diese 45000 Token werden beim Herunterfahren der Engine wieder freigegeben.
Wenn Sie Ihre Task auf Cloud Exclusive ausführen möchten, wird auf der betreffenden Cloud Engine keine andere Task ausgeführt. Cloud Exclusive Engines können nur in Umgebungen verwendet werden, denen keine Cloud Engines zugewiesen wurden.
Wenn bereits drei verschiedene Tasks bzw. dieselbe Task auf einer Cloud Engine ausgeführt werden, wird eine andere Engine für die Taskausführung ausgewählt.
Für Jobs, die auf Cloud Engines ausgeführt werden, gelten folgende Einschränkungen für die Systemressourcen:
- vCPU: 2
- Festplattennutzung: 200 GB
- Arbeitsspeichernutzung: 8 GB
- Durchsatz: 225 GB pro Stunde
Für Jobs, die mehr Ressourcen benötigen, sollten Sie die Verwendung von Talend Remote Engine als Ziellaufzeitsystem in Betracht ziehen.
- Eine ausgeführte Cloud Engine wird stündlich hinsichtlich ihrer Nutzung geprüft. Wenn keine Taskausführung während einer Stunde festgestellt wird, wird die betreffende Cloud Engine automatisch heruntergefahren. Andernfalls wird ihre Ausführung fortgesetzt und eine neue Prüfung für ein eventuell erforderliches Herunterfahren nach Ablauf einer weiteren Stunde geplant. Dies ist der allgemeine Lebenszyklus einer Cloud Engine.
Wenn jedoch ein Anlaufereignis auftritt, beispielsweise wenn auf der Cloud Engine eine Taskausführung geplant ist, wird das bereits gestartete Herunterfahren abgebrochen und eine neue Prüfung in einer Stunde angesetzt.
Wenn Sie über eine Lizenz auf Community-Ebene verfügen, wird auch eine Benutzeranmeldung bei Talend Cloud als Anlaufereignis eingestuft. In diesem Fall wird die Cloud Engine default bei der Benutzeranmeldung gestartet.
Durch den Prüfmechanismus für ein eventuell erforderliches Herunterfahren kann vermieden werden, dass eine Cloud Engine zu häufig heruntergefahren wird, da beim Start einer Cloud Engine stets einige Hochlaufzeit erforderlich ist.
Dynamic Engine
Dynamic Engine ist eine cloud-native Ausführungsplattform, die für Skalierbarkeit und erweiterte Datenverarbeitung ausgelegt ist. Sie nutzt Kubernetes für die Orchestrierung und Skalierung von Ressourcen. Sie wird über Talend Management Console verwaltet, was Versions-Upgrades vereinfacht und integrierte Benachrichtigungen für Überwachungszwecke bereitstellt.
Jede Dynamic Engine-Umgebung benötigt für ihren Betrieb 18.000 Engine-Token.
Derzeit unterstützt Dynamic Engine AWS EKS, Azure AKS und lokale Kubernetes-Cluster. Die Ausweitung der Unterstützung auf weitere Plattformen ist geplant. Detaillierte Anweisungen zur Einrichtung und Verwaltung finden Sie unter Über Talend Management Console und Dynamic Engine.
Talend Remote Engine
Remote Engines ermöglichen die Ausführung von Job-, Routen- und Datendienst-Tasks, für die auf On-Premise-Anwendungen und -Datenbanken zurückgegriffen wird. Standardmäßig können auf einer Engine maximal 3 Tasks parallel ausgeführt werden. Wenn Sie eine Remote Engine zur gleichzeitigen Ausführung identischer Tasks verwenden, muss die Remote Engine eine Version ab v2.12.0 aufweisen.
Jede ausgehende Kommunikation zwischen Talend Management Console und Talend Remote Engine ist vollständig sicher, da kein Daten-Staging vorgenommen wird.
Tasks von Datendiensten und Routen können nur auf Remote Engines implementiert werden. Für Implementierungen vom Typ OSGi muss Talend Runtime mit einer Version ab 7.1.1 auf demselben Gerät wie die Talend Remote Engine installiert und ausgeführt werden. Für Microservices ist keine andere Anwendung für Routen- und REST-Datendienstimplementierungen erforderlich, mit Ausnahme des Moduls Data Service Runner in der Remote Engine. Datendienst-Tasks können nur auf Engines ausgeführt werden, für die ein Microservice oder Talend Runtime-Ausführungsprofil (OSGi) konfiguriert wurde.
Remote Engines können gruppiert werden, sodass sie Cluster bilden. In einer Umgebung kann eine beliebige Anzahl an Clustern eingerichtet werden. Allerdings können Remote Engines, die einem Cluster hinzugefügt werden, nicht zur Ausführung von Tasks direkt über Talend Studio verwendet werden.
Für die Ausführung einer Remote Engine sind 9000 Engine Token erforderlich.
Weitere Informationen zu Talend Remote Engine und den mit Talend Studio-Artefakten verknüpften Ausführungsprofilen finden Sie unter „Konfigurieren von Job-Ausführungsprofilen“.
Cloud Engine for Design
Die Cloud Engine for Design ist ein integrierter „Runner“, der Ihnen die Gestaltung von Pipelines erleichtert, da keine Verarbeitungs-Engines eingerichtet werden müssen. Sie können Pipelines ohne Ressourcenzuweisungen auf einer Cloud Engine for Design ausführen.
Für Pipelines, die auf einer Cloud Engine for Design ausgeführt werden, gelten folgende Einschränkungen für die Systemressourcen:
- Arbeitsspeichernutzung: 8 GB
- Möglichkeit zur parallelen Ausführung von zwei Pipelines
Für eine erweiterte Datenverarbeitung wird die Installation der sicheren Remote Engine Gen2 empfohlen.
Remote Engine Gen2
Bei einer Remote Engine Gen2 handelt es sich um eine sichere Ausführungs-Engine, auf der Pipelines sicher ausgeführt werden können. Durch den Einsatz dieser Engine können Sie sicherstellen, dass die Datenverarbeitung in einer sicheren und geschützten Umgebung erfolgt, da Talend nie Zugriff auf die Daten und Ressourcen Ihrer Pipelines erhält. Sie erhalten Kontrolle über Ihre Ausführungsumgebung und Ressourcen, da Sie die Engine in Ihrer eigenen Umgebung (Virtual Private Cloud oder On-Premise) erstellen und konfigurieren können. Darüber hinaus garantiert die Engine optimale Leistung und Sicherheit durch erhöhte Datenlokalität anstelle der Übertragung umfangreicher Datenmengen zur Verarbeitung.
Sie können Pipelines mit verschiedenen Ressourcenzuweisungen auf einer Remote Engine Gen2 ausführen, indem Sie Ausführungsprofile verwenden.
Weitere Informationen zu Remote Engine Gen2 finden Sie im Schnellstarthandbuch für Talend Remote Engine Gen2.