Récupération et modification d'une configuration de pipeline

Vous pouvez récupérer les fichiers de configuration YAML d'un pipeline en exportant le projet ou en le récupérant auprès du contrôle des versions. Ensuite, vous pouvez modifier les fichiers YAML dans votre environnement de développement.

Vous disposez de trois options, lorsque vous commencez :

Exporter un projet au format YAML

L'exportation d'un projet produit un fichier ZIP contenant les fichiers YAML de l'ensemble des tâches, des jeux de données et des paramètres du projet. Pour plus d'informations, consultez Export et import de pipelines de données.

Note ConseilCommencez par effectuer l'export au format Réduit. Les fichiers réduits affichent uniquement ce qui diffère des valeurs par défaut, ce qui les rend plus faciles à lire et à répliquer d'un projet à l'autre. Lorsque vous importez un fichier réduit, Qlik Talend Data Integration applique les valeurs spécifiées et utilise les valeurs par défaut pour tout le reste. Si vous avez besoin de voir la liste complète des propriétés disponibles et leurs valeurs par défaut, exportez le même projet au format Complet pour référence.
Importer un projet à partir du contrôle des versions

Pour plus d'informations, consultez Import d'un projet à partir du contrôle des versions.
Vous pouvez également créer une configuration de pipeline à partir de zéro en écrivant des fichiers YAML qui correspondent à la structure de dossiers requise, mais nous vous recommandons de commencer par un modèle existant.

Migration d'un projet au format YAML

Les projets créés avant le lancement de la gestion des pipelines déclaratifs sont stockés dans le contrôle des versions à l'aide de fichiers JSON hérités.

Le format JSON hérité reste supporté jusqu'à fin juin 2027, ce qui vous laisse le temps de planifier et de migrer vos projets en douceur.

Vous pouvez migrer ces projets vers la structure basée sur YAML pour profiter des fichiers minimisés et du flux de travail de pipeline déclaratif.

Cette action est uniquement disponible pour les projets stockés au format JSON hérité. Les projets utilisant déjà des fichiers YAML n'affichent pas cette option.

Pour migrer un projet au format YAML :

Ouvrez le projet, puis le menu de contrôle des versions.
Cliquez sur Migrer au format YAML.
Examinez le message de confirmation et cliquez sur Migrer.

Note InformationsLe processus de migration valide et force l'état actuel du projet au format JSON, puis convertit les fichiers dans la nouvelle structure YAML et revalide. Étant donné que la structure des dossiers et les noms de fichier changent lors de la conversion, il se peut que l'historique des versions avant la migration ne soit pas directement comparable à l'historique après la migration.

Une fois la migration terminée, le projet est stocké au format YAML sur la branche active. Les autres branches qui contiennent encore des fichiers JSON afficheront l'option de migration la prochaine fois que vous y reviendrez.

Migrez toutes les branches d'environnement en séquence — en commençant par le développement — pour conserver une structure cohérente entre les branches avant d'ouvrir des requêtes d'extraction entre elles.

Comprendre la structure des fichiers

Le dossier extrait contient les fichiers suivants. Le contenu des fichiers est le même pour tous les types de tâches.

qtcp_project.yaml qtcp_tasks/ <task-name>/ task.yaml sourceSelection.yaml schedule.yaml (only if a schedule is configured) model.yaml (only if relationships are defined) transformationRules.yaml (only if task-level rules are defined) datasets/ <dataset-name>.yaml newTaskDefaults.yaml (only if custom task defaults are defined)

qtcp_project.yaml

qtcp_project.yaml contient les définitions au niveau du projet ainsi que des propriétés telles que le nom, la plateforme et le traitement de schéma par défaut.

task.yaml

task.yaml contient les définitions au niveau de la tâche ainsi que des propriétés telles que le nom de la tâche, le type, les connexions et le comportement Chargement complet et CDC.

sourceSelection.yaml

sourceSelection.yaml définit les tables sources sélectionnées pour la tâche. Chaque entrée spécifie le schéma et le modèle de sélection des tables.

La sélection des sources varie selon qu'il s'agit d'un dépôt temporaire ou d'autres types de données.

Fichiers de jeux de données

Chaque jeu de données possède un fichier YAML nommé d'après le jeu de données, placé directement dans le dossier datasets/. Le fichier combine la définition du jeu de données et des règles de transformation explicites.

Le fichier de jeu de données est requis pour toutes les tâches, à l'exception des tâches de dépôt temporaire, et doit contenir l'ID du jeu de données si vous souhaitez faire référence au jeu de données à partir d'autres tâches.

schedule.yaml

schedule.yaml définit le moment de l'exécution de la tâche. Le fichier contient un tableau scheduling avec la configuration de la planification. Ce fichier n'est inclus que si une planification est définie pour le projet.

model.yaml

model.yaml définit les relations du modèle de données pour la tâche. Le fichier contient un tableau relationships.

transformationRules.yaml

transformationRules.yaml contient toutes les règles de transformation au niveau de la tâche dans un tableau.

Modification des fichiers de configuration

Ouvrez le dossier extrait dans votre IDE et modifiez les fichiers YAML selon les besoins. Les modifications courantes incluent :

Modification des noms de connexion pour qu'ils pointent vers un environnement différent.
Ajout ou suppression de tables sources dans sourceSelection.yaml.
Mise à jour des paramètres de la tâche tels que le type de chargement ou le traitement de schéma.
Ajout de règles de transformation à un fichier de jeu de données.
Ajout d'une planification à une tâche.

Référencez les noms de connexion exactement tels qu'ils sont définis dans l'espace cible. Un nom de connexion qui ne correspond pas provoquera une erreur d'importation.

ID d'objet dans les fichiers YAML

Pour les objets référencés — comme un ID de tâche référencé dans la définition source d'une autre tâche — vous devez définir un ID unique et l'utiliser de manière cohérente dans tous les fichiers.

Rubriques connexes

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici