À propos de Talend Management Console et du Dynamic Engine
Talend Management Console et Dynamic Engine fournissent une expérience SaaS tout en utilisant une infrastructure gérée par le·a client·e. Cette solution est conçue pour les entreprises et les organisations fédérales ayant des politiques strictes interdisant le traitement des données dans des environnements de Cloud publics.
Dynamic Engine a une flexibilité remarquable et s'intègre profondément avec les environnements Kubernetes. À la différence des instances traditionnelles de Talend Remote Engine, qui sont déployées sur des machines virtuelles ou sur des serveurs physiques pour exécuter des tâches Talend à distance, les instances Dynamic Engine sont conçues pour tirer parti des capacités d'orchestration, d'évolutivité et de résilience de Kubernetes.
Qu'est-ce que Dynamic Engine ?
Une instance de Dynamic Engine consiste en une entité logique créée dans Talend Management Console et une entité physique provisionnée dans un cluster Kubernetes. L'entité physique regroupe tous les services requis pour exécuter des tâches Talend en un ensemble de pods dans un espace de noms dédié à un environnement Dynamic Engine. Talend Management Console et ses services d'API gèrent les utilisateur·trices, les tâches et leurs écosystèmes associés, y compris Dynamic Engine.
Dynamic Engine versus Talend Remote Engine
Le traditionnel Talend Remote Engine fournit des environnements isolés déployés sur une infrastructure on-premises ou sur des machines virtuelles dans des Cloud privés. Ces environnements sont adaptés aux déploiements traditionnels, où l'infrastructure reste assez statique et où le besoin d'évolutivité est minimal. Cependant, ils nécessitent plus d'interventions manuelles, notamment pour l'évolutivité et la distribution des tâches, ce qui ajoute de la complexité à la gestion des ressources.
En revanche, Dynamic Engine tire parti de Kubernetes pour l'automatisation et la gestion des conteneurs et fournit une approche plus moderne et plus flexible du traitement de données. Cette solution réduit les besoins opérationnels en transférant la plupart de la gestion de l'infrastructure à Kubernetes, permettant à votre entreprise d'optimiser ses performances tout en réduisant les efforts manuels requis à un minimum. De plus, Dynamic Engine supporte un modèle de déploiement SaaS assurant la conformité aux prérequis de souveraineté des données et des règlements stricts. Tourné vers l'avenir, Dynamic Engine est positionné pour une meilleure intégration à travers les services de Talend Cloud, simplifiant les futures opérations de traitement en un framework unifié.
Une instance de Dynamic Engine utilise les services déployés dans les environnements de Dynamic Engine associés pour exécuter les tâches. Conçus pour simplifier les processus et améliorer l'efficacité, chaque environnement de Dynamic Engine nécessite 18 000 jetons moteurs. Pour plus d'informations concernant les jetons de moteurs, consultez Moteurs d'exécution.
Géré par Talend Management Console
Comme mentionné précédemment, Talend Management Console, avec ses services d'API, gère de manière fluide les instances et les environnements de Dynamic Engine. Avec Talend Management Console, vous pouvez déployer, monitorer et gérer simplement le cycle de vie des instances de Dynamic Engine et de leurs environnements en temps réel, en tirant parti des capacités d'automatisation et d'évolutivité de Kubernetes pour répondre efficacement aux besoins d'une charge de travail changeante.
Architecture de Dynamic Engine
Le diagramme suivant décrit l'architecture de la solution Dynamic Engine.
- Talend Management Console fournit des fonctionnalités d'interface et de services d'API pour créer des entités de Dynamic Engine, monitorer leur statut après déploiement et leur attribuer des tâches.
- Les utilisateurs d'un cluster Kubernetes provisionnent les instances de Dynamic Engine et leurs environnements de conteneurs d'exécution via des fichiers de déploiement automatiquement générés dans Talend Management Console, fichiers manifestes ou Helm.
- Plusieurs canaux de communication simplifient les interactions entre Talend Management Console et les instances de Dynamic Engine, chacun étant spécifique à certaines fonctions, comme les health checks (vérifications de l'état), la planification de tâches et encore d'autres opérations, et isolant les problèmes potentiels.
- Les tâches s'exécutent en tant que jobs Kubernetes séparés, dans l'espace de noms attribué à leur environnement Dynamic Engine respectif.
- Les services déployés dans les clusters Kubernetes comprennent :
- engine-operator: service principal d'une instance de Dynamic Engine , provisionnant des ressources et monitorant le statut du moteur.
- Chaque espace de noms d'environnement de Dynamic Engine héberge les services suivants :
- config-manager : gère l'appairage entre l'environnement et une instance de Dynamic Engine.
- log-collector : collecte les métriques et logs associé·es à des exécutions de tâches, comme les exécutions de Jobs, assurant une visibilité complète des processus d'exécution.
- di-job-deployer, job-controller et job-restore-orphans : gèrent l'exécution et la gestion des tâches de Jobs.