Декларативные конвейеры

Декларативные конвейеры позволяют определять, настраивать и развертывать Qlik Talend Data Integration проекты конвейеров полностью в коде, используя файлы YAML. Вы редактируете файлы в любой интегрированной среде разработки или системе контроля версий, затем развертываете их для создания или обновления проектов.

Когда использовать декларативные конвейеры

Используйте декларативные конвейеры для продвижения:

• Совместная работа

• Непрерывная интеграция / Непрерывная доставка

• Повторяемое развертывание в различные среды

• Автоматизация на основе API

Ниже приведены некоторые типичные варианты использования:

• Определяйте конвейеры в коде для автоматизации непрерывной интеграции и разработки.

• Развертывайте идентичные конфигурации конвейеров в нескольких средах (разработка, верификация, производство).

• Повторное использование и совместное использование определений конвейеров между проектами или командами.

• Automate создание крупномасштабных проектов без ручного труда.

Как это работает

Проект конвейера представлен в виде набора YAML-файлов, организованных в структуре папок, которая отражает задачи и наборы данных проекта. Файлы YAML легче читать, просматривать различия, рецензировать, повторно использовать и создавать автоматизацию.

Можно экспортировать существующий проект в формате YAML, отредактировать файлы и импортировать их обратно, чтобы применить изменения. Если проект подключен к системе контроля версий, файлы YAML напрямую доступны в вашем репозитории GitHub.

Дополнительные сведения о структуре файла YAML см. Получение и редактирование конфигурации конвейера.

Типовой рабочий процесс

Прежде чем начать, вы должны настроить вашу среду разработки и контроль версий. Для получения дополнительной информации см. раздел Начало работы с декларативными конвейерами.

Типичный декларативный конвейерный рабочий процесс выглядит следующим образом:

1. Получить конфигурацию конвейера

   Вы можете экспортировать существующий проект в формате YAML, получить его из системы контроля версий, или начать с шаблона.

   Получение и редактирование конфигурации конвейера

2. Изменить конфигурацию конвейера

   Измените файлы YAML в вашей среде разработки. Вы можете добавлять задачи, изменять выбор источников и обновлять настройки.

   Руководство разработчика: Декларативные конвейеры

3. Проверить конфигурацию конвейера

   Проверьте файлы на наличие синтаксических и семантических ошибок перед развертыванием конвейера.

   Проверка конфигурации конвейера

4. Развертывание конфигурации конвейера

   Импортируйте файлы для создания или обновления проекта в Qlik Talend Data Integration.

   Вы также можете зафиксировать файлы в системе контроля версий и выполнить применение из системы контроля версий в проекте в Qlik Talend Data Integration.

   Развертывание конфигурации конвейера

Отношение к контролю версий

Когда проект подключен к контролю версий, файлы YAML хранятся непосредственно в вашем репозитории GitHub. Вы можете редактировать файлы YAML в GitHub или в любой IDE, а затем применить изменения обратно в проект.

Для получения информации о подключении проекта к системе контроля версий, см. Управление проектами конвейера с контролем версий.

Конфигурация конвейеров с помощью ИИ-помощников

Используйте помощников ИИ (таких как GitHub Copilot или Anthropic Claude) для оптимизации создания и редактирования конфигураций YAML. Чтобы обеспечить Точность и соблюдение стандартов проекта, следуйте этим рекомендациям:

1. Выберите высокопроизводительную модель — Используйте премиальную модель с большим контекстом (например, Anthropic Claude Sonnet 4.6 или выше) вместо стандартной или «автоматической» модели для сложной генерации YAML и соблюдения схемы. Продвинутые модели корректно интерпретируют сложные конвейерные схемы и производят более точные конфигурации.

2. Настроить инструкции ИИ для конкретного проекта — Улучшить качество конфигурации, сгенерированной ИИ, предоставляя модели контекст проекта. Создайте файл инструкций в корне вашей рабочей области VS Code. Выберите один из следующих вариантов:

   • CLAUDE.md (для расширения Anthropic Claude для кода)

   • .github/copilot-instructions.md (для GitHub Copilot)

   Содержимое вашего файла инструкций должно быть следующим:

   This is a Qlik Talend Cloud Pipeline (QTCP) project. Before any project advice or YAML edits, I MUST read the source of truth first:
   https://raw.githubusercontent.com/qlik-oss/schemas/refs/heads/main/qtcp/ai-instructions.md