Créer des tâches de Jobs

Les tâches des Jobs sont des processus d'intégration exécutables contenant un artefact de Job publié à partir de Studio Talend.

Si des contextes ont été définis pour cet artefact de Job dans le Studio Talend, le contexte par défaut est automatiquement publié avec l'artefact du Job. Pour les règles recommandées relatives à la définition de ces contextes dans le Studio Talend, consultez Utiliser les contextes et les variables.

Les valeurs dans cette configuration de contexte sont effacées dans les fichiers exportés, pour des raisons de sécurité. Vous devez saisir les valeurs de contexte à nouveau, dans Talend Management Console.

Avant de commencer

Vous devez avoir l'autorisation Author (Auteur) sur l'espace de travail où se situe la tâche, pour créer une tâche de Job ou la modifier et gérer sa configuration.
L'autorisation Author (Auteur) vous permet de configurer les étapes Artifact (Artefact) et Parameters (Paramètres) lors de la création ou de la modification d'une tâche.
Vous devez avoir l'autorisation Execute (Exécution) sur l'espace de travail dans lequel se situe la tâche, afin de gérer la configuration et le planning d'exécution, comme la configuration du moteur, le niveau de log ou le délai avant expiration de l'exécution.
L'autorisation Execute (Exécution) vous permet de configurer les étapes Processing (Traitement) et Schedule (Planning) lors de la création ou de la modification d'une tâche.

Procédure

Ouvrez la page Management.
Allez dans l'onglet Tasks (Tâches).
Sélectionnez l'environnement et l'espace de travail à l'aide de la recherche à facettes en haut de la page.
Cliquez sur Add task (Ajouter une tâche).
Dans l'étape Artifact (Artefact), sélectionnez le type d'artefact Job.
Sélectionnez l'artefact à exécuter dans la liste déroulante.
Les paramètres et la description de l'artefact apparaissent.
Sélectionnez la version de l'artefact à utiliser dans la tâche.

Vous pouvez sélectionner Always use the latest available artifact version si vous souhaitez mettre à jour votre tâche automatiquement chaque fois qu'une nouvelle version de l'artefact est publiée. Vous pouvez également sélectionner une version spécifique et la mettre à jour manuellement, selon vos besoins.

Note InformationsRemarque : Cette option écrase l'option Update corresponding job task dans Studio Talend.

Les paramètres et la description de l'artefact sont actualisés automatiquement.
Facultatif : Cochez la case Override parameter values with artifact defaults.
Cette option est disponible uniquement si vous sélectionnez Always use the latest available artifact version dans le champ Artifact version. Si vous la sélectionnez, les paramètres définis dans la tâche sont remplacés par les paramètres d'artefacts par défaut à chaque nouvelle version de l'artefact publiée.
Sélectionnez l'espace de travail pour la tâche.
Nommez la nouvelle tâche.
Par défaut, le nom de la tâche est le nom de l'artefact depuis lequel elle est créée.
Note InformationsRemarque : Les tâches doivent avoir un nom unique au sein de l'espace de travail.
Facultatif : Ajoutez un mot-clé à la tâche.
1. Sélectionnez dans la liste déroulante un mot-clé existant.
2. Créez un nouveau mot-clé en saisissant son nom et en cliquant dessus dans la liste déroulante.
Cliquez sur Continue.
Dans l'étape Parameters, saisissez la valeur pour les paramètres du Job.
Vous pouvez voir la description de chaque paramètre sous son champ.

Dans cette étape, lorsque l'option Show order as in Studio est désactivée, vous pouvez seulement configurer les valeurs des paramètres définis avec le préfixe parameter_ dans le Studio Talend.

Note InformationsRemarque : Utilisez \\ au lieu de \ lorsque la valeur peut être interprétée comme un caractère spécial, par exemple \t.

Lors d'un affichage dans Talend Management Console, les premières lettres de chaque mot dans les noms de paramètres sont automatiquement transformées en majuscules et les tirets bas (_) à espaces, par exemple, city_name devientCity Name.

Ceci s'applique à des fins d'affichage uniquement. Lorsque vous devez utiliser un nom de paramètre dans vos programmes, par exemple, une requête d'API, n'utilisez pas le nom d'affichage, mais le même nom que dans le Studio Talend.
Facultatif : Dans la section Advanced parameters, saisissez les valeurs pour les paramètres que vous avez définis dans le Studio Talend sans préfixe, et les paramètres connection_ qui ne sont pas définis dans le Job. Cette section est disponible lorsque l'option Show order as in Studio (Afficher le même ordre que dans le Studio) est désactivée. Sinon, tous les paramètres se situent dans l'étape Parameters.

Note InformationsRemarque : Utilisez \\ au lieu de \ lorsque la valeur peut être interprétée comme un caractère spécial, par exemple \t.
Facultatif : Dans la section Connections (Connexions), sélectionnez la connexion correspondante dans la liste déroulante.
Vous pouvez créer une connexion basée sur les paramètres définis dans l'artefact.
Facultatif : Dans l'étape Resources (Ressources), sélectionnez la ressource correspondante à utiliser dans la tâche.
Dans l'étape Processing (Traitement), sélectionnez le moteur ou le cluster de moteurs sur lequel exécuter votre tâche, dans la liste déroulante Engine (Moteur).
- Cloud
- Exclusif au Cloud
- Moteur distant
- Cluster de moteurs distants
Facultatif : Sélectionnez un profil d'exécution.
Vous pouvez choisir un profil d'exécution précédemment créé pour le moteur distant ou cluster sélectionné pour configurer les paramètres de la JVM pour l'exécution de la tâche.

Si vous utilisez un moteur distant ou un cluster, cette fonctionnalité est supportée à partir de la version 2.9.1 du moteur distant.
Configurez le niveau de log. Cinq niveaux peuvent être inclus dans vos logs, mais tous ne sont pas disponibles en tant qu'options standalone.
- Trois niveaux de log sont affichés dans la liste déroulante pour une sélection immédiate : Info, Warning (Avertissement) et Error (Erreur).
- Le niveau Debug (Débogage), non disponible dans la liste, est utilisé lorsque vous démarrez une tâche en échec en exécution de débogage. Pour plus d'informations, consultez Déboguer les tâches de Jobs.
- Le niveau Fatal n'est pas disponible en tant qu'option standalone mais est inclus dans les autres niveaux de log.
- Chevauchement des niveaux.
  - Debug (Débogage) est le plus petit niveau.
    Dans une exécution de débogage, tous les logs sont inclus (du plus petit niveau au plus haut) : Debug (Débogage), Info, Warning (Avertissement), Error (Erreur) et Fatal.
  - Info comprend les logs des niveaux Info, Warning (Avertissement), Error (Erreur) et Fatal, mais exclut les logs de niveau Debug (Débogage).
  - Error (Erreur) est le niveau le plus élvé des trois disponibles pour sélection immédiate. Ce niveau comprend uniquement les logs des niveaux Error (Erreur) et Fatal.
    Par défaut, les erreurs de niveau Fatal s'affichent comme logs de niveau Error (Erreur). Pour qu'elles s'affichent en tant que logs Fatal dans Talend Management Console, assurez-vous que le paramètre job.log.fatal.level est présent dans le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.jobserver.client.cfg et que sa valeur est true.
- Niveau de log recommandé pour un environnement de production.
  Pour éviter de surcharger le processus de génération de logs, ce qui peut conduire à des pertes de données et à des retards de traitement, configurez le niveau de log à Warning (Avertissment) pour les Jobs déployés en production. Ce niveau comprend les logs Warning (Avertissement), Error (Erreur) et Fatal.
- Si vous sélectionnez Off, les logs d'exécution des Jobs ne sont pas générés du tout, côté moteur. Seul les logs de résumé d'une exécution de tâche sont générés et envoyés à Talend Management Console. Ces logs fournissent un résumé de l'exécution de la tâche, notamment son heure de départ et de fin, ainsi que son statut (réussite ou échec).
  Note InformationsConseil : Certaines informations standards de sortie (stdout) et d'erreur (stderr) peuvent toujours être écrites dans un fichier stdOutErr_.log dans le répertoire JobServer de votre moteur, mais ne sont pas envoyées à Talend Management Console.
Facultatif : Sélectionnez l'option Allow parallel run of this task (Autoriser l'exécution parallèle de cette tâche) pour que la tâche puisse être exécutée en parallèle lors de l'utilisation d'un moteur Cloud, exclusif au Cloud, moteur distant ou cluster.

Si vous utilisez un moteur distant pour exécuter simultanément des tâches identiques, cette fonctionnalité est supportée à partir de la version 2.12.0 du moteur distant.

Par défaut, vous pouvez exécuter trois tâches différentes ou identiques en parallèle, sur un seul moteur distant. Pour plus d'informations concernant la configuration associée, consultez Exécuter des tâches en parallèle sur un moteur distant unique.

Avant de désactiver cette option, arrêtez la tâche ou attendez la fin de l'exécution. Sinon, l'exécution parallèle est autorisée.
Facultatif : Si vous avez sélectionné un moteur distant ou un cluster, vous pouvez exécuter votre Job en tant qu'autre utilisateur·trice en saisissant leur identifiant dans le champ Run as impersonated user (Exécuter avec un autre identifiant).
Cette fonctionnalité est supportée uniquement si le moteur distant est installé sur un environnement Unix ou similaire.

Pour plus d'informations concernant l'utilisation d'un·e autre utilisateur·trice (impersonation), consultez le Configurer l'authentification en tant qu'autre utilisateur ou utilisatrice pour Talend Remote Engine.
Facultatif : Configurez le délai avant expiration de la tâche en sélectionnant Custom (Personnalisé et en saisissant une valeur.

La valeur par défaut est de cinq minutes. La valeur minimale est 1.
Facultatif : Dans l'étape Schedule (Planifier), sélectionnez la fréquence d'exécution et, si nécessaire, le délai avant expiration du déclenchement.

Vous pouvez ajouter un ou plusieurs déclencheur·s pour ordonnancer votre tâche ou démarrer la tâche manuellement sans déclencheur.

Par défaut, la valeur du délai avant expiration du déclenchement est la même que celle du délai avant expiration de la tâche.
Le délai avant expiration du déclenchement écrase le délai avant expiration de la tâche.

Pour plus d'informations, consultez Planifier des tâches de Job.
Cliquez sur Save and close (Sauvegarder et fermer).

Résultats

Votre tâche est prête à être exécutée sur Talend Management Console.

Remarque :

Le modèle de tentatives avec interruption exponentielle a été adopté pour des première et deuxième tentatives plus rapides (1 minute et 3 minutes, respectivement, après la tentative originale en échec), mais également pour un meilleur comportement global en cas de pic de charge de travail.

Par exemple, lorsque vous tentez d'exécuter une tâche déjà en cours d'exécution, l'exécution échoue. Talend Management Console fait une nouvelle tentative d'exécution, avec un intervalle de temps toujours croissant. Par exemple, la première nouvelle tentative s'exécute après 1 minute seulement, la deuxième après 2 minutes, puis les suivantes après 4 minutes et 8 minutes.

Si la quatrième nouvelle tentative échoue, vous obtenez le message d'erreur Exceeded the limit of deployment attempts: another instance of the same task was running on the engine at the same time (Dépassement de la limite de tentatives de déploiement : une autre instance de la même tâche s'exécutait en même temps sur le moteur). Essayez d'exécuter la tâche plus tard.

Résolution de problèmes : Si l'ordonnancement d'exécution de tâches est trop fréquent, la même tâche risque d'être exécutée en parallèle sur deux moteurs Cloud ou clusters de moteurs distants différents. Pour éviter ce problème, exécutez votre tâche dans un environnement avec un moteur Cloud unique alloué ou ordonnancez la tâche sur un moteur distant.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici