Moteur d'exécution de Talend Cloud
Moteur cloud
- Un moteur Cloud par défaut est automatiquement disponible. Il ne peut être attribué à aucun environnement spécifique, ce qui signifie que ce moteur Cloud par défaut est toujours non attribué.
Ce moteur n'est donc pas affiché dans le panneau Environment details (Détails de l'environnement).
- Les moteurs Cloud non attribués peuvent être utilisés par tous les environnements. Si des moteurs Cloud ne sont pas attribués par environnement, il se peut que vous ne puissiez pas exécuter certaines tâches, car d'autres tâches occuperont tous les moteurs.
L'environnement par défaut default peut seulement utiliser les moteurs Cloud partagés.
- Chaque moteur Cloud, y compris ce moteur Cloud par défaut, requiert 45 000 jetons de moteurs pour pouvoir s'exécuter et autorise l'exécution de trois tâches en parallèle. Les jetons sont libérés après l'arrêt du moteur.
Si vous choisissez d'exécuter votre tâche sur Cloud Exclusive, aucune autre tâche ne sera exécutée sur ce moteur Cloud. Les moteurs exclusifs au Cloud peuvent uniquement être utilisés dans des environnements n'ayant aucun moteur Cloud assigné.
Si trois tâches différentes ou la même tâche sont/est déjà en cours d'exécution sur un moteur Cloud, un autre moteur sera sélectionné lors de la tâche d'exécution.
Les limitations de ressources système suivantes sont valides pour les Jobs s'exécutant sur des moteurs Cloud :
- vCPU : 2
- Utilisation du disque : 200 Go
- Utilisation de la mémoire : 8 Go
- Débit : 225 Go par heure
Pour les Jobs nécessitant plus de ressources, pensez à utiliser Talend Remote Engine en tant que moteur d'exécution cible.
- Un moteur Cloud en cours d'exécution est vérifié une fois par heure, en fonction de son utilisation. Si aucune exécution de tâche n'est trouvée dans l'heure, ce moteur Cloud est automatiquement arrêté. Sinon, il continue à s'exécuter et la vérification suivante s'effectue à la fin de l'heure suivante. C'est le cycle de vie général d'un moteur Cloud.
Cependant, si un événement de réveil survient, par exemple une exécution de tâche ordonnancée sur ce moteur Cloud, l'arrêt programmé est annulé et la vérification est programmée à nouveau pour la fin de l'heure suivante.
Si votre licence est de niveau communautaire, la connexion d'un·e utilisateur·trice à Talend Cloud est également considérée comme un événement de réveil. Dans ce cas, le moteur Cloud par défaut est démarré lors de la connexion de l'utilisateur·trice.
Ce mécanisme de vérification et arrêt permet de ne pas arrêter trop souvent un moteur Cloud, car le démarrage d'un moteur Cloud demande du temps.
Dynamic Engine (Moteur Dynamique)
Dynamic Engine (Moteur Dynamique) est une plateforme d'exécution native Cloud conçue pour l'évolutivité et le traitement de données avancé, tirant parti de Kubernetes pour l'orchestration et la mise à l'échelle des ressources. Sa gestion s'effectue via Talend Management Console, qui simplifie les mises à niveau des versions et fournit des notifications built-in pour le monitoring.
Chaque environnement de Dynamic Engine (Moteur Dynamique) nécessite 18 000 jetons de moteur pour fonctionner.
Actuellement, Dynamic Engine (Moteur Dynamique) supporte AWS EKS, Azure AKS et les clusters Kubernetes on-premises. Des plateformes supplémentaires seront supportées prochainement. Pour la configuration détaillée et des instructions de gestion, consultez À propos de Talend Management Console et du Moteur Dynamique.
Talend Remote Engine
Les moteurs distants vous permettent d'exécuter des tâches de Jobs, Routes et de Services de données utilisant des applications et des bases de données on-premises. Par défaut, trois tâches maximum peuvent être exécutées en parallèle sur le même moteur. Si vous utilisez un moteur distant pour exécuter des tâches identiques simultanément, votre moteur distant doit avoir la version 2.12.0 au minimum.
La communication sortante entre Talend Management Console et Talend Remote Engine est entièrement sécurisée, comme les données ne sont pas stockées.
Les tâches de Routes et de Services de données peuvent être seulement déployées sur des moteurs distants. Les déploiements de type OSGi nécessitent que Talend Runtime version 7.1.1 ou supérieure soit installé et en cours d'exécution sur la même machine que le Talend Remote Engine. Les microservices ne nécessitent pas d'autre application pour les déploiements de Routes et de Services de données REST, sauf le module Data Service Runner au sein du moteur distant. Les tâches de Services de données peuvent être exécutées uniquement sur des moteurs ayant un Microservice ou un profil d'exécution Talend Runtime (pour OSGi) configuré.
Les moteurs distants peuvent être regroupés pour former des clusters. Un nombre illimité de clusters peuvent être créés dans un environnement. Cependant, les moteurs distants ajoutés à un cluster ne peuvent être utilisés pour exécuter des tâches directement depuis Studio Talend.
Un moteur distant nécessaite 9 000 jetons de moteurs pour pouvoir s'exécuter.
Pour plus d'informations concernant Talend Remote Engine et les profils d'exécution liés aux artefacts du Studio Talend, consultez Configurer des profils d'exécution de Jobs.
Moteur Cloud pour le design
Le Moteur Cloud pour le design est un runner built-in qui permet aux utilisateurs et utilisatrices de concevoir facilement des pipelines sans paramétrer de moteur de traitement. Vous pouvez exécuter des pipelines avec différentes allocations de ressources sur unMoteur Cloud pour le design.
Les limitations de ressources système suivantes sont valides pour les pipelines s'exécutant sur des Moteur Cloud pour le design :
- Utilisation de la mémoire : 8 Go
- Deux pipelines peuvent être exécutés en parallèle
Pour un traitement avancé des données, il est recommandé d'installer le Moteur distant Gen2 sécurisé.
Moteur distant Gen2
Un Moteur distant Gen2 est un moteur d'exécution sécurisé sur lequel vous pouvez exécuter vos Pipelines de manière sécurisée. En utilisant ce moteur, assurez-vous que le traitement des données se fait dans un environnement sûr et sécurisé, car Talend n'a jamais accès aux données et ressources de vos pipelines. Vous avez le contrôle sur votre environnement d'exécution et vos ressources, étant donné que vous pouvez créer et configurer le moteur dans votre propre environnement (Cloud privé virtuel ou on-premises). Le moteur assure également des performances et une sécurité optimales en améliorant la localité des données au lieu de déplacer des volumes importants de données pour les calculs.
Vous pouvez exécuter des pipelines avec différentes allocations de ressources sur unMoteur distant Gen2 en utilisant les profils d'exécution.
Pour plus d'informations concernant Moteur distant Gen2, consultez le Guide de démarrage rapide de Talend Remote Engine Gen2.