Voraussetzungen für die Verwendung von Dynamic Engine
Zugriffsberechtigungen auf Talend Management Console und Dynamic Engine
- Sie müssen über die Infastrukturadministrator-Rolle (welche die Berechtigung TMC_CLUSTER_MANAGEMENT umfasst) verfügen, um in Talend Management Console auf die Registerkarte Dynamic Engine zugreifen zu können.
- Sie müssen über die Umgebungsadministrator-Rolle (welche die Berechtigung TMC_ENVIRONMENT_MANAGEMENT umfasst) verfügen, um auf die Registerkarte Dynamic Engine-Umgebungen zugreifen zu können.
Kubernetes-Versionskompatibilität
In der folgenden Tabelle werden die von Dynamic Engine unterstützten Kubernetes-Versionen aufgelistet:
| Kubernetes-Versionen | Kompatible Dynamic Engine-Versionen |
|---|---|
| 1.30 | 0.24.x, 1.0.x, 1.1.x |
| 1.31 | 0.24.x, 1.0.x, 1.1.x |
| 1.32 | 0.24.x, 1.0.x, 1.1.x |
| 1.33 | 0.24.x, 1.0.x, 1.1.x |
| 1.34 | 0.24.x, 1.0.x, 1.1.x |
Unterstützte Betriebssysteme und Architekturen
Die Kubernetes-Worker-Knoten müssen auf einem Linux-Betriebssystem mit einer der folgenden unterstützten CPU-Architekturen ausgeführt werden:
- Linux x86-64 (linux/amd64)
- Linux ARM64 (linux/arm64)
Windows Server wird nicht unterstützt. Nur Linux-Systeme sind kompatibel.
Wenn Sie noch nicht über einen Kubernetes-Cluster verfügen, erstellen Sie einen lokal oder auf einer Cloud-Plattform wie AWS, Google Cloud oder Azure. Andere Anbieter öffentlicher Clouds wie Digital Ocean oder Open Shift werden zwar nicht offiziell unterstützt, sollten aber ebenso funktionieren, vorausgesetzt, diese Anbieter verwenden Kubernetes-Standarddistributionen.
Berechtigungen für Cluster-Administratoren und Mindestanforderungen
Sie müssen der Administrator des Kubernetes-Clusters sein, um Dynamic Engine in diesem Cluster bereitzustellen und zu verwalten.
Ihr Kubernetes-Cluster muss die folgenden Mindestanforderungen erfüllen:
- Instanz-Größe: 16 GB Arbeitsspeicher und 4 vCPU
- Anzahl Knoten: 3
- Festplattengröße: 20 GB (einschließlich mindestens 2 GB zum Ausführen der Engine sowie Speicherplatz für implementierte Jobartefakte)
- Persistenter Speicher mit CSI-Anbieter (Container Storage Interface) ist erforderlich. Der Speicher muss von jedem Knoten aus zugänglich sein (Kubernetes-Modus ReadWriteMany). Im folgenden Abschnitt Unterstützte Cloud-Plattformen und Speicheranbieter finden Sie weitere Einzelheiten.
Unterstützte Cloud-Plattformen und Speicheranbieter
Die folgende Tabelle bietet einen Überblick über unterstützte Cloud-Plattformen, deren Kubernetes-Distributionen und die zugehörigen Speicheranbieter:
| Cloud-Plattform | Kubernetes-Distribution | Primärer Speicheranbieter |
|---|---|---|
| Amazon Web Services (AWS) | Amazon Elastic Kubernetes Service (EKS) | Amazon EFS |
| Microsoft Azure | Azure Kubernetes Service (AKS) | Azure Files |
| Google Cloud | Google Kubernetes Engine (GKE) | Filestore CSI Driver |
Einzelheiten zu den einzelnen Speicheranbietern finden Sie unter folgenden Links:
- Amazon EFS: Anweisungen zur Installation und Konfiguration finden Sie unter Amazon EFS CSI Driver.
- Azure Files: Konfigurationsdetails finden Sie unter Erstellen und Verwenden eines Volume mit Azure Files in Azure Kubernetes Service (AKS).
- Filestore: Weitere Informationen finden Sie unter Filestore CSI Driver. Dynamic Engine v1.0.0 und höher werden auf GKE offiziell unterstützt. Ein Beispiel für die Implementierung einer Dynamic Engine-Instanz und ihrer Umgebung in GKE finden Sie unter Bereitstellen von Dynamic Engine in einem GKE-Cluster.
- Longhorn ist ein verteiltes Blockspeichersystem für Kubernetes. Für Longhorn sind die folgenden Mindestfestplattengrößen erforderlich:
- 100 GB für eine implementierte Dynamic Engine Umgebung
- 150 GB für zwei Umgebungen
- 200 GB für drei Umgebungen
Installations- und Konfigurationsanweisungen finden Sie unter (Optional) Einrichten einer Longhorn-Speicherlösung für den Kubernetes-Cluster.
Zur lokalen Entwicklung und zum Testen auf einem Minikube können Sie Local Path Provisioner verwenden.
Konfiguration von persistentem Speicher für Dynamic Engine-Dienste
Wie in der Tabelle oben beschrieben, ist persistenter Speicher erforderlich, damit Dynamic Engine Services funktionieren. In Kubernetes wird persistenter Speicher über Speicherklassen bereitgestellt, die definieren, wie und wo Festplattenspeicherplatz dynamisch zugewiesen wird, wenn ein Dienst ihn anfordert.
Bei der Konfiguration der Speicherklasse für einen beliebigen CSI-Speicheranbieter können Sie entweder die Kubernetes-Standardspeicherklasse verwenden oder eine Speicherklasse speziell für Dynamic Engine auswählen:
- Verwenden der Standardspeicherklasse: Fügen Sie die folgende Annotation hinzu, um sie als Cluster-Standard festzulegen:
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true"Diese Annotation stellt sicher, dass Kubernetes, wenn ein persistentes Volume angefordert wird, ohne eine Speicherklasse anzugeben, automatisch diese Standardspeicherklasse verwendet.
- Verwenden einer spezifischen Speicherklasse für Dynamic Engine: Weitere Informationen finden Sie unter Bereitstellung einer Speicherklasse, die auf Dynamic Engine-Umgebungsdienste spezialisiert ist.
In Ihrer Proxy- oder Firewall-Allowlist hinzuzufügende DNS-URLs
Eine für Ihre Region spezifische detaillierte URL-Liste finden Sie unter Hinzufügen von URLs zur Proxy- und Firewall-Allowlist.