Ajouter dynamiquement la plateforme Big Data la plus récente (Distributions dynamiques)

Vous pouvez utiliser cette procédure pour ajouter les distributions Cloudera et Hortonworks uniquement. Cette procédure utilise Cloudera pour montrer comment ajouter une distribution dynamique au Studio Talend.

Les distributions dynamiques ainsi ajoutées sont généralement des versions mineures d'une mise à jour majeure certifiée Talend de votre distribution. Talend dépend des déclarations de compatibilité des vendeurs pour assurer la compatibilité du Studio Talend avec ces versions mineures et fournit donc un support officiel pour les cas d'utilisation pouvant être produits dans ces versions mineures ainsi que dans les versions certifiées Talend. Pour plus d'informations concernant les versions de distribution certifiées par Talend et la politique générale de support Talend des versions certifiées et compatibles, consultez Versions des distributions de plateformes supportées pour les Jobs Talend avec Big Data.

Sur la liste des versions de distribution, certaines versions ont un libellé Builtin. Ces versions ont été ajoutées par Talend via le mécanisme de distribution dynamique et livrées avec le Studio Talend lors de sa sortie. Elles sont certifiées par Talend et sont donc officiellement supportées et prêtes à l'emploi.

Remarque : Pour les distributions Cloudera, Talend vous recommande d'utiliser les distributions built-in CDP 7.x plutôt que les distributions CDP dynamiques. Avec la distribution dynamique CDP, Talend supporte les versions jusqu'à la 7.1.8. Les versions CDP 7.1.9 Private Cloud Base et 7.2 Public Cloud ne sont pas supportées. Si vous souhaitez utiliser CDP 7.1.9 Private Cloud Base, CDP 7.2 Public Cloud ou une version supérieure, Talend vous recommande d'utiliser la fonctionnalité Spark Universal. Pour plus d'informations, consultez Support de Spark Universal pour les distributions Hadoop dans le Studio Talend.

Procédure

Dans la perspective Integration, cliquez sur File > Edit Project properties pour ouvrir la boîte de dialogue Project Settings.
Cliquez sur General > Dynamic distribution settings pour ouvrir cette vue.
Dans la liste déroulante Distribution, sélectionnez Cloudera.
Configurez votre référentiel Nexus local pour stocker les fichiers jar de distribution dynamique à télécharger.
Même si elle n'est pas obligatoire, cette étape permet aux autres utilisateurs et utilisatrices ou aux autres instances du Studio Talend de télécharger ces fichiers JAR plus rapidement.
1. Configurez un proxy sur votre référentiel Nexus local et liez ce proxy au proxy Talend dédié : https://talend-update.talend.com/nexus/content/groups/dynamicdistribution/.
  Les identifiants à utiliser pour vous connecter à ce proxy Talend sont les suivants :
  - nom d'utilisateur ou d'utilisatrice : Studio-dl-client
  - Mot de passe : studio-dl-client
  Lorsque vous créez votre proxy local, vous devez définir les identifiants spécifiques à ce proxy local. Pour un exemple de création d'un proxy Nexus, consultez Proxy settings dans la documentation Nexus (en anglais).
2. Cliquez sur General > Artifact Proxy Setting pour ouvrir cette vue et cochez la case Override default setup pour activer le champ Repository.
3. Dans le champ Repository, saisissez l'URL de votre proxy local et les identifiants définis pour ce proxy.
4. Cliquez sur Check connection pour vérifier le statut de la connexion.
Retournez dans la vue Dynamic distribution settings et cliquez sur le bouton Dynamic distribution setup pour ouvrir l'assistant de configuration de distribution dynamique.
Sélectionnez le bouton radio Create new dynamic configuration, puis cliquez sur Refresh pour afficher, dans la liste déroulante Version, les versions de Cloudera disponibles dans le référentiel connecté Cloudera.
Sélectionnez la version de Cloudera pour laquelle vous souhaitez générer la configuration à utiliser dans le Studio Talend.
Cliquez sur Finish.

Le Studio Talend commence à recevoir les fichiers de configuration pour cette distribution depuis le référentiel Cloudera. Cette récupération de fichiers peut prendre un moment.

Cela fait, l'assistant [Dynamic distribution setup] se ferme automatiquement et vous renvoie à la vue Dynamic distribution settings. La nouvelle distribution dynamique générée pour la version précédemment sélectionnée s'affiche dans la liste Version.
Vous pouvez répéter cette opération pour ajouter d'autres versions, si nécessaire. Sinon, cliquez sur Apply and Close afin de fermer la boîte de dialogue Project settings.

Résultats

Vous pouvez utiliser cette nouvelle version de la même manière que les distributions fournies avec le Studio Talend. Vous pouvez :

configurer la connexion à cette distribution dynamique dans le Repository et réutiliser cette connexion dans des Jobs Talend ;
utiliser directement cette distribution dynamique dans vos Jobs. Si vous construisez votre Job pour générer des fichiers exécutables dans une archive .zip et que vous devez exécuter ces fichiers exécutables sous Windows, n'utilisez pas le script .bat, utilisez le script .ps1.

Même s'il est habituellement possible d'exporter un Job avec ses dépendances, comme une connexion définie dans le Repository, la connexion à une distribution dynamique ne peut être exportée de la même manière. Si vous devez exporter ce type de connexion, consultez Exporter ou importer la configuration d'une distribution de plateforme Big Data dynamique.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici