Bekannte Einschränkungen von Dynamic Engine:
- Dynamic Engine unterstützt nur Datenintegrations- und Big Data-Jobtasks. Routen- und Datenservices-Jobs werden nicht unterstützt.
- Jeder Kubernetes-Cluster ist so ausgelegt, dass er nur eine Dynamic Engine haben kann. Eine Dynamic Engine stellt die zentralen Infrastrukturdienste für Task- und Planausführungen bereit.
- Es gibt keinen Mechanismus, der die Bereitstellung von mehr als einer Dynamic Engine in einem Kubernetes-Cluster verhindert. Wenn dies geschieht, kann es zu unerwarteten Verbindungs- und Leistungsproblemen für Talend Management Console, Dynamic Engines und Dynamic Engine-Umgebungen kommen.
- Sie müssen die von Talend Management Console generierten Implementierungsdateien verwenden, um Dynamic Engines und Dynamic Engine-Umgebungen zu implementieren. Benutzerdefinierte Implementierungsdateien werden nicht unterstützt.
- Der Kubernetes-Cluster, in dem Dynamic Engine implementiert ist, muss Zugang zum öffentlichen Internet haben.
- Die folgenden Taskausführungsfunktionen für Datenintegrationsjobs werden nicht unterstützt:
- Remote-Debugging eines Datenintegrationsjobs auf Dynamic Engines
- Benutzerimpersonifizierung
- Benutzerdefinierte Signaturprüfung
- Die tSystem-Komponenten werden nicht unterstützt.
Lokale Speicherbegrenzungen in Dynamic Engine-Umgebungen
Sie können lokale Dateisystemkomponenten (z. B. tFileInputDelimited und tFileOutputDelimited) für temporären Datenzugriff innerhalb eines einzelnen Jobs verwenden. Diese können aber nicht als persistenter Speicher oder zur Freigabe zwischen Jobs verwendet werden, da die Kubernetes-Container, die von Dynamic Engine-Umgebungen eingesetzt werden, temporärer Natur sind. Die Containerdaten werden nach Abschluss der Task vernichtet.
Daher sind Cloud-Speicherkomponenten wie S3 oder Azure für die Datenbehandlung in Dynamic Engine-Umgebungen unverzichtbar. Sie stellen eine Verbindung mit S3- oder Azure-Speicherlösungen her, um Daten zwischen externem Speicher und Task-Ausführungscontainern zu übertragen. Sie bieten persistenten Speicher und ermöglichen die Datenfreigabe zwischen Jobs.
- Amazon S3-Komponenten
- Azure Data Lake Storage Gen2
- Azure Storage Blob
- Azure Storage Queue
- Azure Storage Table