Talend Cloud Data Fabric: Remote Engine-Cluster - Echtzeitserver
Alle Umgebungen
Remote Engine-Cluster für Batch-Server stellen folgende Funktionen bereit:
- Vereinfachte Implementierung von Artefakten - Tasks brauchen nicht einzeln implementiert zu werden, wenn mehr als ein Server für deren Ausführung in einer bestimmten Umgebung vorhanden ist.
- Hohe Verfügbarkeit - Es wird sichergestellt, dass stets eine Remote Engine für die - geplante oder angeforderte - Ausführung einer Task verfügbar ist (vorausgesetzt, das Cluster umfasst mehr als einen Server).
- Lastausgleich - Ein Round-Robin-Algorithmus (Rundlaufverfahren), kombiniert mit Informationen zur jeweils aktuellen Ressourcennutzung eines Servers, wird angewendet (vorausgesetzt, das Cluster umfasst mehr als einen Server).
- Bei einem gemeinsamen Einsatz mit DevOps-Tools, den Talend-Skripten/-Vorlagen der IaaS-Marktplätze und den APIs von Talend Management Console kann mit den Remote Engine-Clustern ganz einfach eine automatische Skalierung umgesetzt werden.
Remote Engines sind ein in Talend Management Console definiertes logisches Konzept und erfordern keine zusätzliche Infrastruktur.
Entwicklung und Test
Bei diesen Umgebungen ist im Cluster nur ein einzelner Batch-Server vorhanden (d. h. eine einzelne Remote Engine). Auch wenn werden Hochverfügbarkeit und Lastausgleich in diesen Umgebungen nicht benötigt werden, sollte dennoch ein Remote Engine-Cluster eingerichtet werden. Das ist auf die Funktionsweise des Promotion-Pipeline-Prozesses von Talend Management Console zurückzuführen. Die Einrichtung eines Remote Engine-Clusters ermöglicht eine Promotion zwischen Umgebungen gemäß unserer Implementierungsstrategie.
Vorproduktion und Produktion
Anhand einer Automatisierung kann sichergestellt werden, dass alle von einem Job verwendeten Dateien auf jedem Server im Remote Engine-Cluster implementiert werden.