Architektur von Remote Engine Gen2
Das Diagramm ist in zwei Hauptteile untergliedert: Die Talend Cloud-Infrastruktur und das lokale Netzwerk oder die Virtual Private Cloud (VPC) des Kunden.
Cloud-Infrastruktur
- In Talend Management Console können Sie Rollen, Benutzer, Projekte, Engines und Lizenzen verwalten. Talend Management Console wird ebenfalls zur Definition der Remote Engine Gen2 sowie der zugehörigen Ausführungsprofile eingesetzt, in denen Sie die den Ausführungen zugewiesenen Ressourcen anpassen können.
- Der Datensatzdienst stellt die einheitliche Datensatzliste in Talend Cloud bereit. Talend Cloud Data Inventory ist der zentrale Ort, an dem Sie auf Ihre Datensatzsammlung zugreifen und diese verwalten.
Talend Cloud Data Preparation und Talend Cloud Pipeline Designer sind die anderen zwei Anwendungen, die den gemeinsamen Datensatzbestand nutzen und Ihnen die Bereinigung und Transformation Ihrer Daten ermöglichen.
-
In Talend Management Console sind standardmäßig die Cloud Engine for Design und ein entsprechendes Ausführungsprofil integriert. Dadurch können die Benutzer in kürzester Zeit ihre Arbeit mit den Anwendungen aufnehmen. Es wird jedoch empfohlen, die sichere Remote Engine Gen2 zu installieren, die eine erweiterte Datenverarbeitung ermöglicht.
Diese Engines dienen der Ausführung von Artefakten, Tasks, Datenaufbereitungen und Pipelines in der Cloud sowie der Einrichtung von Verbindungen und dem Abrufen von Daten-Samples.
Virtual Private Cloud des Kunden
Ihre Virtual Private Cloud umfasst die Remote Engine Gen2, die für eine sichere Ausführung von Pipelines und Datenaufbereitungen eingesetzt wird.
Die Remote Engine Gen2 gewährleistet einen sicheren Zugriff auf Ihre in Kafka gespeicherten Daten, Datenbanken, Dateisysteme usw. und übernimmt die Ausführung Ihrer Artefakte auf einer lokalen Spark-Engine (Standard).