声明式流水线
声明式管道让您能够定义、配置和部署 Qlik Talend Data Integration 管道项目,完全通过 YAML 文件以代码形式实现。您可以在任何集成开发环境或版本控制系统中编辑文件,然后部署它们以创建或更新项目。
何时使用声明式流水线
使用声明式管道来提升:
-
协作
-
持续集成 / 持续交付
-
可重复的部署到不同环境
-
API 驱动的自动化
某些典型用例如下:
-
在代码中定义管道,用于持续集成和开发自动化。
-
部署相同的管道配置,跨多个环境(开发、验证、生产)。
-
跨项目或团队重用和共享管道定义。
-
Automate 大规模项目创建,无需手动操作。
工作方式
一个管道项目表示为一组 YAML 文件,这些文件组织在反映项目任务和数据集的文件夹结构中。YAML 文件更易于阅读、查看差异、审查、复用以及创建自动化。
您可以将现有项目导出为 YAML,编辑文件,并将其重新导入以应用您的更改。如果项目已连接到版本控制,YAML 文件将直接在您的 GitHub 储存库中可用。
有关 YAML 文件结构的更多信息,请参阅 检索和编辑管道配置。
典型工作流
在开始之前,您必须设置您的开发环境和版本控制。有关更多信息,请参阅开始使用声明式流水线。
一个典型的声明式管道工作流如下所示:
-
检索管道配置
您可以将现有项目导出为 YAML,从版本控制中检索它,或从模板开始。
-
编辑管道配置
修改您开发环境中的 YAML 文件。您可以添加任务、更改源选择和更新设置。
-
验证管道配置
在部署管道之前,检查文件的语法和语义错误。
-
部署管道配置
导入文件以在 Qlik Talend Data Integration 中创建或更新项目。
您还可以将文件提交到版本控制,并在项目中从版本控制执行应用Qlik Talend Data Integration。
与版本控制的关系
当项目连接到版本控制时,YAML 文件会直接存储在你的 GitHub 储存库中。您可以在 GitHub 或任何 IDE 中编辑 YAML 文件,然后将更改应用回项目。
有关将项目连接到版本控制的信息,请参阅 使用版本控制管理您的管道项目。
使用 AI 助手配置管道
使用 AI 助手(例如 GitHub Copilot 或 Anthropic Claude)来简化 YAML 配置的创建和编辑。为确保准确度并遵守项目标准,请关注以下最佳实践:
-
选择高能力模型 — 使用高级、大上下文模型(例如,Anthropic Claude Sonnet 4.6 或更高版本),而不是标准或“自动”模型,用于复杂的 YAML 生成和模式一致性。高级模型正确地解释复杂的管道架构并生成更准确的配置。
-
配置项目专属的 AI 指令 — 通过向模型提供项目上下文,提高 AI 生成的配置质量。在你的 VS Code 工作区的根目录中创建说明文件。选择以下项之一:
-
CLAUDE.md (适用于 Anthropic Claude 代码扩展)
-
.github/copilot-instructions.md (适用于 GitHub Copilot)
您的指令文件的内容应具体如下:
This is a Qlik Talend Cloud Pipeline (QTCP) project. Before any project advice or YAML edits, I MUST read the source of truth first: https://raw.githubusercontent.com/qlik-oss/schemas/refs/heads/main/qtcp/ai-instructions.md -