Limitations connues de Dynamic Engine
- Chaque cluster Kubernetes ne peut avoir qu'un Dynamic Engine par conception. Un Dynamic Engine fournit les services d'infrastructure principaux pour les exécutions de tâches et de plans.
- Il n'y aucun mécanisme empêchant le déploiement de plus d'un Dynamic Engine par cluster Kubernetes. Cela peut causer des problèmes inattendus de connectivité et de performances pour Talend Management Console, les Dynamic Engines et les environnements de Dynamic Engines.
- Vous devez utiliser les fichiers de déploiement générés par Talend Management Console afin de déployer des Dynamic Engines et des environnements de Dynamic Engines. Les fichiers de déploiement personnalisés ne sont pas supportés.
- Le cluster Kubernetes dans lequel Dynamic Engine est déployé doit avoir un accès à un réseau Internet public.
- Les fonctionnalités suivantes d'exécution de tâches pour les Jobs d'intégration de données ne sont pas supportées :
- Débogage distant d'un Job d'intégration de données sur des Dynamic Engines
- Utilisation de différents comptes utilisateur·trices (impersonation)
- Le composant tSystem n'est pas supporté.
Stockage local et données persistantes dans les environnements de Dynamic Engine
Les composants du système de fichiers local (comme le tFileInputDelimited et le tFileOutputDelimited) nécessitent un stockage persistant pour que les données survivent aux différentes exécutions de Jobs et soient partagées entre les Jobs. Cependant, les conteneurs Kubernetes sont, par défaut, éphémères et les données sont détruites après complétion de la tâche. Vous avez deux approches pour gérer cette situation :
- Monter les ressources Kubernetes :
Vous pouvez monter les ressources Kubernetes dans vos conteneurs de tâches et configurer des composants de système de fichiers local pour lire depuis ou écrire dans le chemin monté. Cela permet un stockage persistant dans votre environnement de Dynamic Engine sans nécessiter l'utilisation de services Cloud externes.
Pour plus de détails, consultez Monter des ressources Kubernetes personnalisées dans les environnements de Dynamic Engine.
- Utiliser des composants de stockage Cloud (S3, Azure ou équivalent) :
Les composants de stockage Cloud (S3, Azure Data Lake Storage, Azure Blob, etc.) connectent le Dynamic Engine à des solutions de stockage externes, fournissant ainsi une gestion persistante des données hors du cluster.
Pour plus d'informations concernant l'utilisation de composants de stockage Cloud dans vos Jobs, consultez :