Exécution et exécution de proxy Big Data
- Talend Cloud Pipeline Designer : aperçu en temps réel, accès aux jeux de données, exécution de pipelines
- Talend Cloud Data Inventory : création de connexions/jeux de données, échantillons
- Talend Cloud Data Preparation : accès aux jeux de données
Moteur distant Gen2 est une image Docker, donc les options de déploiement comprennent le déploiement sur une machine virtuelle exécutant Docker ou (de préférence) le déploiement direct vers le service d'orchestration de conteneurs de votre choix. Dans les deux cas, le processus de configuration d'un Moteur distant Gen2 peut (et doit) être complètement automatisé par votre équipe DevOps.
- Spark local - exécutions de pipelines sur une seule machine, aucun calcul externe des dépendances mais pas de mise à l'échelle horizontale. Cette option se trouve sur le serveur IPP, dans les diagrammes d'architecture de référence.
- Déploiement sur un nœud périphérique - c'est-à-dire une machine ayant accès à un cluster Big Data, comme Databricks et AWS EMR. Les calculs sont effectués sur le cluster et Moteur distant Gen2 est un exécuteur utilisé pour instancier le processus. La machine depuis laquelle cet exécuteur effectue ses exécutions est généralement connue comme nœud périphérique, car elle a le placement réseau, les autorisations de sécurité et tout ce qui est requis pour acéder à un cluster Big Data. Cette option se trouve sur le nœud périphérique IPP, dans les diagrammes d'architecture de référence.
S'il y a suffisamment de jetons de moteurs distants disponibles, vous pouvez choisir un déploiement suivant un modèle ou les deux, ou même plusieurs instances de chaque modèle. Par exemple, si deux équipes différentes nécessitent un placement spécifique de leur Moteur distant Gen2 pour avoir accès à leurs sources et cibles, chaque équipe peut avoir un serveur IPP et/ou un nœud périphérique IPP.