Support dynamique des distributions Hadoop dans le Studio Talend (déprécié)
Pour migrer depuis une distribution intégrée ou dynamique (par exemple Cloudera, Hortonworks, Amazon EMR, Azure Synapse, Databricks ou Microsoft HDInsight), Talend vous recommande d'activer la distribution Spark Universal pour vos distributions et Jobs Big Data.
Ajouter dynamiquement la plateforme Big Data la plus récente (Distributions dynamiques) (déprécié)
Dans le Studio Talend, si la plateforme Big Data que vous utilisez n'est pas supportée, suivez la procédure ci-dessous pour ajouter cette distribution et la rendre disponible dans le Studio Talend.
Dans la version courante du Studio Talend, vous pouvez utiliser cette procédure pour ajouter les distributions Cloudera et Hortonworks uniquement. Cette procédure utilise Cloudera pour montrer comment ajouter une distribution dynamique au Studio Talend.
Avec cette fonctionnalité de support dynamique, vous aurez l'agilité et la flexibilité vous permettant d'utiliser une version Cloudera ou Hortonworks qui n'était pas disponible lors de la sortie de votre Studio Talend en ajoutant cette version vous-même en quelques clics.
- Sur la liste des versions de distribution, certaines versions ont un libellé Builtin. Ces versions ont été ajoutées par Talend via le mécanisme de distribution dynamique et livrées avec le Studio Talend lors de sa sortie. Elles sont certifiées par Talend et sont donc officiellement supportées et prêtes à l'emploi.
Procedure
-
Dans la liste déroulante Distribution, sélectionnez Cloudera.
Results
-
configurer la connexion à cette distribution dynamique dans le Repository et réutiliser cette connexion dans des Jobs Talend ;
- utiliser directement cette distribution dynamique dans vos Jobs. Si vous construisez votre Job pour générer des fichiers exécutables dans une archive .zip et que vous devez exécuter ces fichiers exécutables sous Windows, n'utilisez pas le script .bat, utilisez le script .ps1.
Même s'il est habituellement possible d'exporter un Job avec ses dépendances, comme une connexion définie dans le Repository, la connexion à une distribution dynamique ne peut être exportée de la même manière. Si vous devez exporter ce type de connexion, consultez Exporter ou importer la configuration d'une distribution de plateforme Big Data dynamique.
Modifier la configuration d'une distribution dynamique (déprécié)
Une fois qu'une distribution dynamique de plateforme Big Data a été ajoutée au Studio Talend, vous pouvez facilement modifier sa configuration.
Cela s'avère particulièrement utile lorsque vous devez utiliser une distribution personnalisée pour laquelle certains fichiers Jar personnalisés sont requis, ou lorsque vous devez déboguer une configuration dynamique.
Comme nous l'avons laissé entendre, la procédure présentée ci-dessous s'applique uniquement à une distribution de plateforme Big Data ajoutée comme décrit dans Ajouter dynamiquement la plateforme Big Data la plus récente (Distributions dynamiques).
Before you begin
Vous devez avoir des connaissances suffisantes relatives à votre distribution pour comprendre les modifications que vous apportez à votre configuration.
Procedure
-
Sélectionnez le module à modifier et cliquez sur le bouton [...] pour ouvrir l'assistant Module Groups Wizard.
Results
Votre distribution personnalisée est disponible dans le Studio Talend.
Exporter ou importer la configuration d'une distribution de plateforme Big Data dynamique (déprécié)
Même si la configuration d'une distribution de plateforme Big Data dynamique ne peut être exportée ou importée avec les Jobs l'utilisant, elle peut être exportée ou importée via la vue Dynamic distribution setup dans la boîte de dialogue Project settings.
Comme nous l'avons laissé entendre, la procédure présentée ci-dessous est applicable uniquement sur une distribution de plateforme Big Data ajoutée comme décrit dans la procédure Ajouter dynamiquement la dernière plateforme Big Data.
Procedure
- Dans la perspective Integration, cliquez sur pour ouvrir la boîte de dialogue Project settings.
- Développez le nœud General et cliquez sur Dynamic distribution settings pour ouvrir cette vue.
-
Cliquez sur le bouton Dynamic distribution setup pour ouvrir l'assistant de configuration de la distribution dynamique.
Option Description Edit an existing dynamic configuration
Utilisez ce bouton radio pour exporter une distribution dynamique.
Une fois le bouton radio sélectionné, la liste Version devient active.
Sélectionnez dans la liste la distribution à exporter, puis cliquez sur Next pour ouvrir la vue des détails de la distribution. Dans cette vue, cliquez sur le bouton Export configuration pour exporter la configuration en tant que fichier JSON.
Import dynamic configuration
Utilisez ce bouton radio pour importer une distribution dynamique.
Une fois le bouton radio sélectionné, cliquez sur le bouton [...] activé.
Parcourez votre système jusqu’au fichier JSON contenant les informations de configuration de la distribution dynamique à importer.
Ce fichier JSON à utiliser est généralement exporté depuis un autre Studio Talend. Si vous souhaitez utiliser un fichier JSON manuellement créé, assurez-vous que le schéma JSON que vous utilisez est le même que celui du fichier JSON exporté.
- Cliquez de nouveau sur Finish pour fermer l'assistant Dynamic distribution setup.
- Si vous importez une distribution dynamique, la distribution importée s'affiche dans la liste Version dans la vue Dynamic distribution settings de la boîte de dialogue Project settings. Cliquez sur Apply puis sur OK pour valider la nouvelle configuration et fermer la boîte de dialogue Project settings.