À propos de Talend Management Console et du moteur dynamique
Talend Management Console et Dynamic Engine (Moteur Dynamique) fournissent une expérience SaaS tout en utilisant une infrastructure gérée par le·a client·e. Cette solution est conçue pour les entreprises et les organisations fédérales ayant des politiques strictes interdisant le traitement des données dans des environnements de Cloud publics.
Dynamic Engine (Moteur Dynamique) a une flexibilité remarquable et s'intègre profondément avec les environnements Kubernetes. À la différence des instances traditionnelles de Talend Remote Engine, qui sont déployées sur des machines virtuelles ou sur des serveurs physique pour exécuter des tâches Talend à distance, les instances Dynamic Engine (Moteur Dynamique) tirent parti des capacités d'orchestration, d'évolutivité et de résilience de Kubernetes. Elles sont conçues pour utiliser pleinement ces capacités.
Qu'est-ce que Dynamic Engine (Moteur Dynamique) ?
Une instance de Dynamic Engine (Moteur Dynamique) consiste en une entité logique créée dans Talend Management Console et une entité physique provisionnée dans un cluster Kubernetes. L'entité physique agit comme ensemble de pods dans un espace de noms d'un environnement Dynamic Engine (Moteur Dynamique) alloué, qui consolide tous les services requis pour exécuter des tâches Talend. Talend Management Console et ses services d'API gèrent les utilisateur·trices, les tâches et leurs écosystèmes associés, y compris Dynamic Engine (Moteur Dynamique).
Dynamic Engine (Moteur Dynamique) versus Talend Remote Engine
Le traditionnel Talend Remote Engine fournit des environnements isolés déployés sur une infrastructure on-premises ou sur des machines virtuelles dans des Cloud privés. Ces environnements sont adaptés aux déploiements traditionnels, où l'infrastructure reste assez statique et où le besoin d'évolutivité est minimal. Cependant, ils nécessitent plus d'interventions manuelles, notamment pour l'évolutivité et la distribution des tâches, ce qui ajoute de la complexité à la gestion des ressources.
En revanche, Dynamic Engine (Moteur Dynamique) tire parti de Kubernetes pour l'automatisation et la gestion des conteneurs et fournit une approche plus moderne et plus flexible du traitement de données. Cette solution réduit les besoins opérationnels en transférant la plupart de la gestion de l'infrastructure à Kubernetes, permettant à votre entreprise d'optimiser ses performances tout en réduisant les efforts manuels requis à un minimum. De plus, Dynamic Engine (Moteur Dynamique) supporte un modèle de déploiement SaaS assurant la conformité aux prérequis de souveraineté des données et des règlements stricts. Tourné vers l'avenir, Dynamic Engine (Moteur Dynamique) est positionné pour une meilleure intégration à travers les services de Talend Cloud, simplifiant les futures opérations de traitement en un framework unifié.
Une instance de Dynamic Engine (Moteur Dynamique) utilise les services déployés dans les environnements de Dynamic Engine (Moteur Dynamique) associés pour exécuter les tâches. Conçus pour simplifier les processus et améliorer l'efficacité, chaque environnement de Dynamic Engine (Moteur Dynamique) nécessite 18 000 jetons et supporte uniquement les tâches de Jobs d'intégration de données et Big Data.
Géré par Talend Management Console
Comme mentionné précédemment, Talend Management Console, avec ses services d'API, gère de manière fluide les instances et les environnements de Dynamic Engine (Moteur Dynamique). Avec Talend Management Console, vous pouvez déployer, monitorer et gérer simplement le cycle de vie des instances de Dynamic Engine (Moteur Dynamique) et de leurs environnements en temps réel, en tirant parti des capacités d'automatisation et d'évolutivité de Kubernetes pour répondre efficacement aux besoins d'une charge de travail changeante.
Architecture de Dynamic Engine (Moteur Dynamique)
Le diagramme suivant décrit l'architecture de la solution Dynamic Engine (Moteur Dynamique).
- Talend Management Console fournit des fonctionnalités et des services d'API pour créer des entités de Dynamic Engine (Moteur Dynamique), monitorer leur statut après déploiement et leur allouer des charges de travail.
- Les utilisateurs d'un cluster Kubernetes provisionnent les instances de Dynamic Engine (Moteur Dynamique) et leurs environnements de conteneurs d'exécution via des fichiers manifestes automatiquement générés dans Talend Management Console.
- Plusieurs canaux de communication simplifient les interactions entre Talend Management Console et les instances de Dynamic Engine (Moteur Dynamique), chacun étant spécifique à certaines fonctions, comme les health checks (vérifications de l'état), la planification de tâches et encore d'autres opérations, et isolant les problèmes potentiels.
- Les Jobs d'intégration de données s'exécutent en tant que Jobs Kubernetes séparés, dans l'espace de noms attribué à leur environnement Dynamic Engine (Moteur Dynamique) respectif.
- Les services suivants sont à présent déployés dans le cluster Kubernetes pour effectuer différentes fonctions :
- Le service engine-operator agit comme le service principal d'une instance de Dynamic Engine (Moteur Dynamique), fournissant des ressources Dynamic Engine (Moteur Dynamique) et monitorant le statut du moteur.
- Chaque espace de noms d'environnement de Dynamic Engine (Moteur Dynamique) héberge les services suivants :
- Les services engine-agent et engine-client gèrent l'appairage entre l'environnement et une instance de Dynamic Engine (Moteur Dynamique).
- Les services di-job-deployer, job-controller et job-restore-orphans gèrent l'exécution et la gestion des tâches de Jobs.