Architecture de Talend Real-Time Big Data Platform
Les différents principes de fonctionnement peuvent être séparés en blocs fonctionnels. Le diagramme suivant décrit les différents types de blocs et leur interopérabilité :
Concevoir et administrer
Le bloc CLIENTS comprend une ou plusieurs API du Studio Talend et navigateurs Web qui peuvent être installés sur une seule ou plusieurs machines.
À partir de l'API du Studio Talend, l'utilisateur·rice final·e conçoit des processus techniques : processus d'intégration de données ou de service de données, Routes et Services de médiation, et les publie dans le référentiel d'artefacts (Artifact Repository). Il ou elle conçoit également des analyses et des rapports de profiling de données sans avoir à tenir compte du volume des données traitées et de la complexité des processus.
Le Studio Talend permet à l'utilisateur ou l'utilisatrice de travailler sur tout projet pour lequel il ou elle a des droits d'accès. Pour plus d'informations, consultez Créer un projet.
À partir du navigateur Web, l'utilisateur ou l'utilisatrice final(e) peut se connecter à distance à Talend Administration Center via un protocole HTTP sécurisé. Dans cette description, la catégorie "utilisateur·trice final·e" inclut notamment : les développeur·ses, chef·fes de projet, administrateur·rices ou toute autre personne intervenant dans la mise en place de flux de données, services Web, REST et de données et de Routes de médiation.
Chaque utilisateur·rice final·e peut utiliser le Studio Talend ou Talend Administration Center, ou les deux, selon l'organisation de l'entreprise.
De plus, depuis le navigateur Web, vous pouvez vous connecter à l’application Web Talend Data Preparation. C'est ici que vous importez vos données, à partir de fichiers locaux ou d'autres sources et que vous nettoyez ou enrichissez ces données en créant des préparations sur celles-ci. Vous pouvez également vous connecter à l’application Web Talend Data Stewardship. C'est ici que les gestionnaires de campagnes et les data stewards gèrent les campagnes et les tâches. De manière facultative, vous pouvez accéder au serveur de Talend Dictionary Service pour ajouter, supprimer ou modifier les types sémantiques utilisés sur les données dans les applications Web.
Les blocs TALEND SERVERS et DATABASES et le cercle gris Git comprennent la console d'administration Talend Administration Center basée Web (serveur d'application) connectée à deux référentiels partagés : un basé sur un serveur Git et à un autre basé sur un serveur de base de données (Admin).
Talend Administration Center permet la gestion et l'administration de tous les projets. Les métadonnées d'administration (compte utilisateur·trices, droits d'accès et autorisations des projets, par exemple) sont stockées sur le serveur de base de données. Les métadonnées des projets (Jobs, routines, Routes, services, par exemple) sont stockées sur un serveur Git (afin de les partager facilement entre les différent·es utilisateur·trices).
Talend Administration Center permet de configurer les tâches relatives à l'exécution des Jobs et leur déclenchement. Elle permet également de générer et déployer les Jobs sur les serveurs d'exécution. Pour plus d'informations, consultez Prise en main de Talend Administration Center.
Talend Administration Center inclut également les serveurs utilisés par les applications Web Talend, telles que Talend Data Preparation, Talend Data Stewardship et Talend Dictionary Service. Le serveur Talend Identity and Access Management permet d’activer l’authentification unique pour ces applications.
Enfin, Talend Administration Center permet d'accéder aux et de gérer les Routes ou Services créé·es dans le Studio Talend et de les publier dans le référentiel d'artefacts, Artifact Repository, et de configurer et monitorer leur déploiement et exécution dans Talend Runtime. Pour plus d'informations, consultez Exécution de Services, de Routes et de Jobs de service de données, et application de profils depuis ESB Conductor.
Déploiement et exécution
- les mises à jour Software Updates disponibles en téléchargement.
- les Routes et les Services publiés à partir du Studio Talend et prêts à être déployés et exécutés dans Talend Runtime.
- Un ou plusieurs Talend Runtimes (moteur d'exécution) déployés dans votre système d'information. Talend Runtime vous permet de déployer et d'exécuter des processus techniques en fonction des paramètres définis dans Talend Administration Center. Ces processus sont les Jobs créés à partir du Studio Talend et centralisés sur le serveur Git, les Routes et Services récupérés du référentiel d'artefacts.
Si vous avez plusieurs Talend Runtime dans lesquels déployer vos artefacts, cela vous permet de répartir la charge des exécutions de vos artefacts selon vos besoins. Toutes les instances de Talend Runtime communiquent entre elles via le Service Locator pour identifier l'instance la plus à même de déployer et d'exécuter les artefacts dont les paramètres de déploiement ont été définis dans Talend Administration Center. L'instance de Talend Runtime choisie pour le déploiement va alors appeler les artefacts à déployer et exécuter dans le référentiel d'artefacts. Le référentiel d'artefacts va ensuite envoyer les artefacts demandés ainsi que les dépendances nécessaires à leur exécution dans Talend Runtime, afin que ce dernier les déploie et les exécute.
- Un ou plusieurs Talend JobServer déployés dans votre système d'information qui servent à exécuter les processus techniques (Jobs) selon une date, une heure ou un événement paramétré dans Talend Administration Center.
l'utilisateur·rice final·e a la possibilité de transférer les processus techniques vers un serveur d'exécution distant directement à partir du Studio Talend (via la fonction Distant run).
Note InformationsImportant :Les fichiers Talend JobServer (les "Agents"), fournis par Talend, doivent être installés sur chacun des serveurs d'exécution pour que l'exécution distante (Distant run) soit possible.
Pour plus d'informations, consultez Installation et configuration de votre Talend JobServer.
Monitoring
Le cercle Monitoring représente le monitoring : Talend Activity Monitoring Console et Service Activity Monitoring.
Talend Activity Monitoring Console permet aux utilisateurs et utilisatrices finaux·les de monitorer l'exécution des processus techniques. Il fournit des indicateurs de monitoring détaillés que les utilisateurs finaux peuvent utiliser pour consolider les informations de log, comprendre les interactions sous-jacentes entre flux de données, anticiper et éviter les erreurs inattendues et venir en support des systèmes décisionnels. Pour plus d'informations concernant Talend Activity Monitoring Console, consultez le Guide d'utilisation de Talend Activity Monitoring Console.
Le Service Activity Monitoring permet aux utilisateurs et utilisatrices finaux·les de monitorer les appels de services. Il permet de monitorer et de consolider les informations des événements afin de comprendre les requêtes et les réponses sous-jacentes composant un événement, de monitorer les erreurs pouvant être générées de manière inattendue et venir en support pour les décisions sur la gestion des systèmes. Pour plus d'informations concernant Service Activity Monitoring, consultez Accès à Service Activity Monitoring.