Bekannte Einschränkungen von Dynamic Engine:
- Jeder Kubernetes-Cluster ist so ausgelegt, dass er nur eine Dynamic Engine haben kann. Eine Dynamic Engine stellt die zentralen Infrastrukturdienste für Task- und Planausführungen bereit.
- Es gibt keinen Mechanismus, der die Bereitstellung von mehr als einer Dynamic Engine in einem Kubernetes-Cluster verhindert. Wenn dies geschieht, kann es zu unerwarteten Verbindungs- und Leistungsproblemen für Talend Management Console, Dynamic Engines und Dynamic Engine-Umgebungen kommen.
- Sie müssen die von Talend Management Console generierten Implementierungsdateien verwenden, um Dynamic Engines und Dynamic Engine-Umgebungen zu implementieren. Benutzerdefinierte Implementierungsdateien werden nicht unterstützt.
- Der Kubernetes-Cluster, in dem Dynamic Engine implementiert ist, muss Zugang zum öffentlichen Internet haben.
- Die folgenden Taskausführungsfunktionen für Datenintegrationsjobs werden nicht unterstützt:
- Remote-Debugging eines Datenintegrationsjobs auf Dynamic Engines
- Benutzerimpersonifizierung
- Die tSystem-Komponenten werden nicht unterstützt.
Lokaler Speicher und persistente Daten in Dynamic Engine-Umgebungen
Komponenten des lokalen Dateisystems (wie tFileInputDelimited und tFileOutputDelimited) erfordern persistenten Speicher für Daten, damit sie über Job-Ausführungen hinweg beibehalten und zwischen Jobs freigegeben werden können. Kubernetes-Container sind jedoch standardmäßig flüchtig, und die Daten werden nach Abschluss der Task vernichtet. Sie können dieses Problem mit zwei Ansätzen beheben:
- Kubernetes-Ressourcen mounten:
Sie können Kubernetes-Ressourcen in Ihren Task-Containern mounten und lokale Dateikomponenten konfigurieren, um aus dem gemounteten Pfad zu lesen oder darin zu schreiben. Dies stellt persistenten Speicher in Ihrer Dynamic Engine-Umgebung bereit, ohne externe Cloud-Dienste nutzen zu müssen.
Detaillierte Informationen finden Sie unter Mounten von benutzerdefinierten Kubernetes-Ressourcen in Dynamic Engine-Umgebungen.
- Verwenden Sie Cloud-Speicherkomponenten (S3, Azure oder entsprechend):
Cloud-Speicherkomponenten (S3, Azure Data Lake Storage, Azure Blob usw.) verbinden Dynamic Engine mit externen Speicherlösungen und bieten persistente Datenhandhabung über den Cluster hinaus.
Weitere Informationen zur Verwendung von Cloud-Speicherkomponenten in Ihren Jobs finden Sie unter: