Über Talend Management Console und Dynamic Engine
Talend Management Console (TMC) und Dynamic Engine bieten eine SaaS-Erfahrung zusammen mit der Verwendung kundenverwalteter Infrastruktur. Diese Lösung richtet sich an Unternehmen und staatliche Organisationen mit strengen Richtlinien, die eine Datenverarbeitung in öffentlichen Cloudumgebungen verbieten.
Dynamic Engine bietet hervorragende Flexibilität und ist engmaschig in Kubernetes-Umgebungen integriert. Anders als herkömmliche Talend Remote Engine-Instanzen, die auf virtuellen Maschinen oder physischen Servern implementiert werden, um Talend-Tasks remote auszuführen, nutzen Dynamic Engine-Instanzen die Orchestrierung, Skalierbarkeit und Resilienz von Kubernetes. Sie wurden eigens entwickelt, um diese Funktionen voll auszuschöpfen.
Was ist Dynamic Engine
Eine Dynamic Engine-Instanz besteht aus einer logischen Entität, die in Talend Management Console erstellt wird, und einer physischen Entität, die auf einem Kubernetes-Cluster bereitgestellt wird. Die physische Entität operiert als eine Reihe von Pods in einem zugeteilten Dynamic Engine-Umgebungs-Namespace. Dadurch werden alle Dienste konsolidiert, die zum Ausführen von Talend-Tasks erforderlich sind. Talend Management Console und die zugehörigen API-Services verwalten Benutzer, Tasks und die verbundenen Ökosysteme, einschließlich Dynamic Engine.
Dynamic Engine im Vergleich zu Talend Remote Engine
Die traditionelle Talend Remote Engine bietet isolierte Umgebungen, die auf einer On-Premises-Infrastruktur oder auf virtuellen Maschinen in Private Clouds implementiert sind. Diese Umgebungen eignen sich gut für traditionelle Implementierungen, in denen die Infrastruktur relativ statisch ist und nur geringfügig automatisch skaliert werden muss. Sie erfordern jedoch häufig manuelle Eingriffe, insbesondere bei der Skalierung und Taskverteilung, was die Ressourcenverwaltung sehr komplex werden lässt.
Im Gegensatz dazu nutzt Dynamic Engine Kubernetes für Automatisierung und Containerverwaltung und bietet einen moderneren, flexibleren Ansatz für die Datenverarbeitung. Diese Lösung reduziert den operativen Aufwand, indem ein Großteil der Infrastrukturverwaltung an Kubernetes ausgelagert wird. So kann sich Ihre Organisation auf einen Leistungsoptimierung mit minimalem manuellem Aufwand konzentrieren. Zudem unterstützt Dynamic Engine ein SaaS-Implementierungsmodell, das die Einhaltung der Anforderungen für Datenhoheit und strenge Regulierung gewährleistet. Im Hinblick auf zukünftige Entwicklungen ist Dynamic Engine gut aufgestellt, um eine engere Integration über Talend Cloud-Dienste hinweg zu erleichtern und zukünftige Verarbeitungsvorgänge in einem einzelnen, vereinheitlichten Rahmenwerk zu vereinfachen.
Eine Dynamic Engine-Instanz nutzt die Dienste, die in den zugeordneten Dynamic Engine-Umgebungen implementiert sind, um Tasks auszuführen. Jede Dynamic Engine-Umgebung ist für Prozessvereinfachung und Effizienzsteigerung ausgelegt und erfordert 18000 Token. Es werden nur Datenintegrations- und Big Data-Jobtasks unterstützt.
Von Talend Management Console verwaltet
Wie oben erwähnt, verwaltet Talend Management Console zusammen mit seinen API-Services Dynamic Engine-Instanzen und -Umgebungen nahtlos. Mit Talend Management Console können Sie Dynamic Engine-Instanzen und ihre Umgebungen leicht implementieren, überwachen und deren Lebenszyklus in Echtzeit überwachen. Die Automatisierungs- und Skalierbarkeitsfunktionen von Kubernetes werden genutzt, um variierende Arbeitslastanforderungen effizient zu erfüllen.
Architektur von Dynamic Engine
Das nachstehende Diagramm illustriert die Architektur der Dynamic Engine-Lösung.
- Talend Management Console bietet UI-Funktionen und API-Services zum Erstellen von Dynamic Engine-Entitäten, Überwachen von deren Status nach der Implementierung und Zuteilung von Arbeitslasten an die Entitäten.
- Autorisierte Benutzer von Kubernetes-Clustern stellen Dynamic Engine-Instanzen und deren Laufzeitumgebungen über automatisch erstellte Manifestdateien aus Talend Management Console bereit.
- Mehrere Kommunikationskanäle erleichtern die Kommunikation zwischen Talend Management Console- und Dynamic Engine-Instanzen, denen jeweils konkrete Funktionen wie Statusüberprüfungen, Taskplanung und andere Vorgänge zugewiesen sind. Potenzielle Probleme werden isoliert.
- Datenintegrationsjobs werden als getrennte Kubernetes-Jobs in den Namespaces ausgeführt, die der jeweiligen Dynamic Engine-Umgebung zugewiesen sind.
- Die folgenden Dienste werden für verschiedene Funktionen auf dem Kubernetes-Cluster implementiert:
- Der Dienst engine-operator funktioniert als zentraler Dienst einer Dynamic Engine-Instanz, stellt Dynamic Engine-Ressourcen bereit und überwacht den Engine-Status.
- Jeder Dynamic Engine-Umgebungs-Namespace hostet die folgenden Dienste:
- Die Dienste engine-agent und engine-client verwalten die Kopplung zwischen der Umgebung und einer Dynamic Engine-Instanz.
- Die Dienste di-job-deployer, job-controller und job-restore-orphans verarbeiten die Ausführung und Verwaltung von Jobtasks.