Pipelines déclaratifs

Les pipelines déclaratifs vous permettent de définir, configurer et déployer des projets de pipeline Qlik Talend Data Integration entièrement en code à l'aide de fichiers YAML. Vous modifiez les fichiers dans n'importe quel environnement de développement intégré ou système de contrôle des versions, puis vous les déployez pour créer ou mettre à jour des projets.

Quand utiliser des pipelines déclaratifs

Utilisez des pipelines déclaratifs pour promouvoir :

La collaboration
L'intégration continue /la livraison continue
Le déploiement reproductible dans différents environnements
L'automatisation API-driven

Voici quelques cas d'utilisation types :

Définir des pipelines dans le code pour l'intégration continue et l'automatisation du développement.
Déployer des configurations de pipeline identiques dans plusieurs environnements (développement, vérification, production).
Réutiliser et partager des définitions de pipeline entre projets ou équipes.
Automatiser la création de projets à grande échelle sans travail manuel.

Principe de fonctionnement

Un projet de pipeline est représenté sous la forme d'un ensemble de fichiers YAML organisés dans une structure de dossiers qui reflète les tâches et les jeux de données du projet. Les fichiers YAML sont plus faciles à lire, à examiner, à réutiliser, à utiliser pour créer une automatisation et à comparer pour détecter les différences.

Vous pouvez exporter un projet existant au format YAML, modifier les fichiers et les réimporter pour appliquer vos modifications. Si le projet est connecté au contrôle des versions, les fichiers YAML sont directement disponibles dans votre référentiel GitHub.

Pour plus d'informations sur la structure des fichiers YAML, consultez Récupération et modification d'une configuration de pipeline.

Les fichiers de liaison (qtcp_bindings_definition.json et binding.json) restent au format JSON pour des raisons de compatibilité avec l'API bindings Pour un export hérité ou dans des projets GitHub existants, le fichier s'appelle bindingTemplate.json et non qtcp_bindings_definition.json.

Flux de travail type

Avant de commencer, vous devez configurer votre environnement de développement et le contrôle des versions. Pour plus d'informations, consultez Prise en main des pipelines déclaratifs.

Un flux de travail de pipeline déclaratif type ressemble à ceci :

Récupérer la configuration du pipeline

Vous pouvez exporter un projet existant au format YAML, le récupérer auprès du contrôle des versions ou démarrer à partir d'un modèle.

Récupération et modification d'une configuration de pipeline
Modifier la configuration du pipeline

Modifiez les fichiers YAML dans votre environnement de développement. Vous pouvez ajouter des tâches, modifier les sélections de sources et mettre à jour les paramètres.

Guide du développeur : Pipelines déclaratifs
Valider la configuration du pipeline

Vérifiez les fichiers pour détecter les erreurs de syntaxe et de sémantique avant de déployer le pipeline.

Validation d'une configuration de pipeline
Déployer la configuration du pipeline

Importez les fichiers pour créer ou mettre à jour le projet dans Qlik Talend Data Integration.

Vous pouvez également valider les fichiers dans le contrôle des versions et effectuer l'application depuis le contrôle des versions dans le projet dans Qlik Talend Data Integration.

Déploiement d'une configuration de pipeline

Relation avec le contrôle des versions

Lorsqu'un projet est connecté au contrôle des versions, les fichiers YAML sont directement stockés dans votre référentiel GitHub. Vous pouvez modifier les fichiers YAML dans GitHub ou dans n'importe quel IDE, puis réappliquer les modifications au projet.

Pour des informations sur la connexion d'un projet au contrôle des versions, consultez Gestion des projets de pipeline avec le contrôle des versions.

Si vous disposez d'un projet existant connecté au contrôle des versions et utilisant le format JSON hérité, vous pouvez le migrer vers YAML. Pour plus d'informations, consultez Migration d'un projet au format YAML.

Utilisation d'assistants IA pour configurer des pipelines

Utilisez des assistants IA (tels que GitHub Copilot ou Anthropic Claude) pour simplifier la création et la modification de configurations YAML. Pour garantir l'exactitude et le respect des normes du projet, suivez ces bonnes pratiques :

Sélectionnez un modèle haute capacité — Utilisez un modèle premium de contexte étendu (par exemple, Anthropic Claude Sonnet 4.6 ou une version supérieure) plutôt qu'un modèle standard ou « automatique » pour la génération de fichiers YAML complexes et le respect des schémas. Les modèles avancés interprètent correctement les schémas de pipeline complexes et produisent des configurations plus précises.
Configurez des instructions d'IA spécifiques au projet — Améliorez la qualité des configurations générées par l'IA en fournissant le contexte du projet au modèle. Créez un fichier d'instructions à la racine de votre espace de travail VS Code. sélectionnez l'une des options suivantes :
- CLAUDE.md (pour l'extension Anthropic Claude Code)
- .github/copilot-instructions.md (pour GitHub Copilot)
Le contenu de votre fichier d'instructions doit être le suivant :
```
This is a Qlik Talend Cloud Pipeline (QTCP) project. Before any project advice or YAML edits, I MUST read the source of truth first:
https://raw.githubusercontent.com/qlik-oss/schemas/refs/heads/main/qtcp/ai-instructions.md
```

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici