Voraussetzungen für die Verwendung von Dynamic Engine
Zugriffsberechtigungen auf Talend Management Console und Dynamic Engine
- Sie müssen über die Infastrukturadministrator-Rolle (welche die Berechtigung TMC_CLUSTER_MANAGEMENT umfasst) verfügen, um in Talend Management Console auf die Registerkarte Dynamic Engine zugreifen zu können.
- Sie müssen über die Umgebungsadministrator-Rolle (welche die Berechtigung TMC_ENVIRONMENT_MANAGEMENT umfasst) verfügen, um auf die Registerkarte Dynamic Engine-Umgebungen zugreifen zu können.
Kubernetes-Spezifikationen
- Wenn Sie noch nicht über einen Kubernetes-Cluster verfügen, erstellen Sie einen lokal oder auf einer Cloud-Plattform wie AWS oder Azure.
- Die Worker-Knoten von Kubernetes müssen in einer linux_x86_64-Architektur ausgeführt werden, einer x86-64 (64-Bit)-CPU-Architektur, die unter einem Linux-Betriebssystem ausgeführt wird. Diese Anforderung bedeutet:
- ARM-basierte Prozessorarchitektur wird nicht unterstützt.
- Windows Server wird nicht unterstützt. Nur das Linux-System ist kompatibel.
- Die Worker-Knoten von Kubernetes müssen in einer linux_x86_64-Architektur ausgeführt werden, einer x86-64 (64-Bit)-CPU-Architektur, die unter einem Linux-Betriebssystem ausgeführt wird. Diese Anforderung bedeutet:
- Der Kubernetes-Cluster muss eine der Versionen von v1.27 bis v1.30 aufweisen.
- Sie müssen der Administrator des Kubernetes-Clusters sein. Damit wird sichergestellt, dass Sie über genügend Rechte und Berechtigungen zum Implementieren und Verwalten von Dynamic Engine in diesem Cluster verfügen.
- Mindestanforderungen an den Kubernetes-Cluster:
- Instanz-Größe: 16 GB Arbeitsspeicher und 4 vCPU
- Anzahl Knoten: 3
- Festplattengröße: 20 GB (einschließlich mindestens 2 GB zum Ausführen der Engine sowie Speicherplatz für implementierte Jobartefakte)
Dafür ist die Verfügbarkeit des CSI-Anbieters und eine entsprechend konfigurierte Speicherklasse erforderlich. Dieser CSI-Anbieter und die Speicherklasse lassen zu, dass Ihr Kubernetes-Cluster einen persistenten Speicher hat, auf den von einem beliebigen Knoten zugegriffen werden kann.
Die unterstützten CSI-Speicheranbieter sind
- Amazon EFS. Weitere Informationen zum Mounten dieses persistenten Speichers finden Sie unter Amazon EFS CSI Driver.
- Azure Files. Weitere Informationen finden Sie unter Erstellen und Verwenden eines Volume mit Azure Files in Azure Kubernetes Service (AKS).
- Wenn Sie keinen der obigen Anbieter verwenden können, installieren Sie Longhorn, ein verteiltes Blockspeichersystem für Kubernetes, in Ihrem Cluster. Mit Longhorn beträgt die erforderliche Mindestfestplattengröße 100 GB. Weitere Informationen zum Installieren von Longhorn finden Sie unter (Optional) Einrichten einer Longhorn-Speicherlösung für den Kubernetes-Cluster.
Beachten Sie, dass für alle CSI-Speicheranbieter beim Konfigurieren der Speicherklasse die folgende Anmerkung hinzugefügt werden muss:Diese Anmerkung stellt sicher, dass die konfigurierte Speicherklasse als Standard im Kubernetes-Cluster festgelegt ist. Wenn dann ein persistentes Volume angefordert wird, ohne eine Speicherklasse anzugeben, verwendet Kubernetes automatisch diese Standardspeicherklasse.apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true"
InformationshinweisTipp: Andere Anbieter öffentlicher Clouds wie Google Cloud, Digital Ocean oder Open Shift werden zwar nicht offiziell unterstützt, sollten aber ebenso gut funktionieren wie die unterstützten Anbieter, vorausgesetzt, diese Anbieter verwenden Kubernetes-Standarddistributionen.
In Ihrer Proxy- oder Firewall-Allowlist hinzuzufügende DNS-URLs
Region: AWS-Rechenzentrum APAC
Der Port aller dieser URLs ist 443. Der Datenverkehr ist ausgehend.
URL Verwendet von Zweck Erforderlich https://api.ap.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Konnektivitätsstatus Erforderlich https://pair.ap.cloud.talend.com Dynamic Engine Senden des ursprünglichen Kopplungsrequests sowie von Heartbeats
Erforderlich https://engine.ap.cloud.talend.com or wss://engine.ap.cloud.talend.com
Dynamic Engine Ausführung von Pipeline-Tasks Erforderlich https://vault-gateway.ap.cloud.talend.com Dynamic Engine Entschlüsselung der bei der Ausführung von Pipeline-Tasks verwendeten Secrets Erforderlich https://msg.ap.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-artifacts.ap.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-customerlogs.ap.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich ghcr.io
und
docker.io
Dynamic Engine Bereitstellung von Docker-Images Erforderlich *.talend.github.io
Dynamic Engine Bereitstellung von Helm-Charts Erforderlich Region: AWS-Rechenzentrum Australien
Der Port aller dieser URLs ist 443. Der Datenverkehr ist ausgehend.
URL Verwendet von Zweck Erforderlich https://api.au.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Konnektivitätsstatus Erforderlich https://pair.au.cloud.talend.com Dynamic Engine Senden des ursprünglichen Kopplungsrequests sowie von Heartbeats
Erforderlich https://engine.au.cloud.talend.com or wss://engine.au.cloud.talend.com
Dynamic Engine Ausführung von Pipeline-Tasks Erforderlich https://vault-gateway.au.cloud.talend.com Dynamic Engine Entschlüsselung der bei der Ausführung von Pipeline-Tasks verwendeten Secrets Erforderlich https://msg.au.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-artifacts.au.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-customerlogs.au.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich ghcr.io
und
docker.io
Dynamic Engine Bereitstellung von Docker-Images Erforderlich *.talend.github.io
Dynamic Engine Bereitstellung von Helm-Charts Erforderlich Region: AWS-Rechenzentrum EU
Der Port aller dieser URLs ist 443. Der Datenverkehr ist ausgehend.
URL Verwendet von Zweck Erforderlich https://api.eu.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Konnektivitätsstatus Erforderlich https://pair.eu.cloud.talend.com Dynamic Engine Senden des ursprünglichen Kopplungsrequests sowie von Heartbeats
Erforderlich https://engine.eu.cloud.talend.com or wss://engine.eu.cloud.talend.com
Dynamic Engine Ausführung von Pipeline-Tasks Erforderlich https://vault-gateway.eu.cloud.talend.com Dynamic Engine Entschlüsselung der bei der Ausführung von Pipeline-Tasks verwendeten Secrets Erforderlich https://msg.eu.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-artifacts.eu.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-customerlogs.eu.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich ghcr.io
und
docker.io
Dynamic Engine Bereitstellung von Docker-Images Erforderlich *.talend.github.io
Dynamic Engine Bereitstellung von Helm-Charts Erforderlich Region: AWS-Rechenzentrum USA
Der Port aller dieser URLs ist 443. Der Datenverkehr ist ausgehend.
URL Verwendet von Zweck Erforderlich https://api.us.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Konnektivitätsstatus Erforderlich https://pair.us.cloud.talend.com Dynamic Engine Senden des ursprünglichen Kopplungsrequests sowie von Heartbeats
Erforderlich https://engine.us.cloud.talend.com or wss://engine.us.cloud.talend.com
Dynamic Engine Ausführung von Pipeline-Tasks Erforderlich https://vault-gateway.us.cloud.talend.com Dynamic Engine Entschlüsselung der bei der Ausführung von Pipeline-Tasks verwendeten Secrets Erforderlich https://msg.us.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-artifacts.us.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-customerlogs.us.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich ghcr.io
und
docker.io
Dynamic Engine Bereitstellung von Docker-Images Erforderlich *.talend.github.io
Dynamic Engine Bereitstellung von Helm-Charts Erforderlich - Region: Azure-Rechenzentrum USA Westen
Der Port aller dieser URLs ist 443. Der Datenverkehr ist ausgehend.
URL Verwendet von Zweck Erforderlich https://api.us-west.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Konnektivitätsstatus Erforderlich https://pair.us-west.cloud.talend.com Dynamic Engine Senden des ursprünglichen Kopplungsrequests sowie von Heartbeats
Erforderlich https://engine.us-west.cloud.talend.com
oder
wss://engine.us-west.cloud.talend.com
Dynamic Engine Ausführung von Pipeline-Tasks Erforderlich https://vault-gateway.us-west.cloud.talend.com Dynamic Engine Entschlüsselung der bei der Ausführung von Pipeline-Tasks verwendeten Secrets Erforderlich https://msg.us-west.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-artifacts.us-west.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich https://minio-customerlogs.us-west.cloud.talend.com Dynamic Engine Ausführung der Tasks von Datenintegrationsjobs Erforderlich ghcr.io
und
docker.io
Dynamic Engine Bereitstellung von Docker-Images Erforderlich *.talend.github.io
Dynamic Engine Bereitstellung von Helm-Charts Erforderlich