Recuperando e editando uma configuração de pipeline

Você pode recuperar arquivos de configuração YAML para um pipeline exportando o projeto, ou recuperando-o do controle de versão. Então você pode editar os arquivos YAML no seu ambiente de desenvolvimento para fazer alterações.

Você tem três opções para começar:

Exportar projeto como YAML

Exportar um projeto produz um arquivo ZIP contendo os arquivos YAML para todas as tarefas, conjuntos de dados e configurações do projeto. Para obter mais informações, consulte Exportando e importando pipelines de dados.

Nota de dicaExporte primeiro no formato Minimizado. Os arquivos minimizados mostram apenas o que difere dos padrões, tornando-os mais fáceis de ler e mais fáceis de replicar em vários projetos. Quando você importa um arquivo minimizado, Qlik Talend Data Integration aplica os valores especificados e usa os padrões para todo o resto. Se você precisar ver a lista completa de propriedades disponíveis e seus valores padrão, exportar o mesmo projeto no Completo formato para referência.
Importar um projeto do controle de versão

Para obter mais informações, consulte Importando um projeto do controle de versão.
Você também pode criar uma configuração de pipeline do zero escrevendo arquivos YAML que correspondam à estrutura de pastas necessária, mas recomendamos que você comece a partir de um modelo existente.

Migrando um projeto para o formato YAML

Projetos que foram criados antes de o gerenciamento declarativo de pipeline ser introduzido são armazenados no controle de versão usando arquivos JSON legados.

O formato JSON antigo continua com suporte até o final de junho de 2027, dando a você tempo para planejar e migrar seus projetos sem problemas.

Você pode migrar esses projetos para a estrutura baseada em YAML para aproveitar os arquivos minimizados e o fluxo de trabalho de pipeline declarativo.

Esta ação está disponível apenas para projetos armazenados no formato JSON legado. Projetos já usando arquivos YAML não exibem esta opção.

Para migrar um projeto para o formato YAML:

Abra o projeto e abra o menu de controle de versão.
Clique em Migrar para o formato YAML.
Revise a mensagem de confirmação e clique em Migrar.

Nota informativaO processo de migração confirma e envia o estado atual do projeto como JSON, então converte os arquivos para a nova estrutura YAML e faz commit novamente. Como a estrutura de pastas e os nomes de arquivos mudam durante a conversão, o histórico de versões antes da migração pode não ser diretamente comparável ao histórico após a migração.

Após a conclusão da migração, o projeto é armazenado no formato YAML na ramificação atual. Outras ramificações que ainda contêm arquivos JSON mostrarão a opção de migração na próxima vez que você alternar para elas.

Migre todos os ramos do ambiente em sequência — começando com o desenvolvimento — para manter uma estrutura consistente entre os ramos antes de abrir solicitações de pull entre eles.

Entendendo a estrutura do arquivo

A pasta extraída contém os seguintes arquivos. O conteúdo do arquivo é o mesmo em todos os tipos de tarefas.

qtcp_project.yaml qtcp_tasks/ <task-name>/ task.yaml sourceSelection.yaml schedule.yaml (only if a schedule is configured) model.yaml (only if relationships are defined) transformationRules.yaml (only if task-level rules are defined) datasets/ <dataset-name>.yaml newTaskDefaults.yaml (only if custom task defaults are defined)

qtcp_project.yaml

qtcp_project.yaml contém definições de nível de projeto e contém propriedades como nome, plataforma e tratamento de esquema padrão.

task.yaml

task.yaml contém definições de nível de tarefa e propriedades como nome da tarefa, tipo, conexões e carregamento total e comportamento de captura de alterações.

sourceSelection.yaml

sourceSelection.yaml define as tabelas de origem selecionadas para a tarefa. Cada entrada especifica o esquema e o padrão de seleção de tabela.

A seleção da fonte difere entre Aterrissagem e outros tipos de tarefa.

Arquivos de dataset

Cada conjunto de dados tem um arquivo YAML nomeado após o conjunto de dados, localizado diretamente na datasets/ pasta. O arquivo combina a definição do conjunto de dados e regras de transformação explícitas.

O arquivo do conjunto de dados é obrigatório para todas as tarefas, exceto tarefas de aterrisagem, e deve conter o ID do conjunto de dados se você quiser se referir ao conjunto de dados de outras tarefas.

schedule.yaml

schedule.yaml define quando a tarefa é executada. O arquivo contém um scheduling array com a configuração do agendamento. Este arquivo é incluído somente se um agendamento for definido para o projeto.

model.yaml

model.yaml define os relacionamentos do modelo de dados para a tarefa. O arquivo contém um relationships array.

Regras de transformação.yaml

transformationRules.yaml contém todas as regras de transformação em nível de tarefa em um array.

Editando arquivos de configuração

Abra a pasta extraída em sua IDE e edite os arquivos YAML conforme necessário. As edições mais comuns incluem:

Alterando nomes de conexão para apontar para um ambiente diferente.
Adicionando ou removendo tabelas de origem em sourceSelection.yaml.
Atualizando as configurações da tarefa, como tipo de carregamento ou tratamento de esquema.
Adicionando regras de transformação a um arquivo de conjunto de dados.
Adicionando um agendamento a uma tarefa.

Referencie os nomes de conexão exatamente como são definidos no espaço de destino. Um nome da conexão que não corresponde causará um erro de importação.

IDs do objeto em arquivos YAML

Para objetos referenciados — como um ID de tarefa referenciado na definição de origem de outra tarefa — você deve definir um ID exclusivo e usá-lo consistentemente em todos os arquivos.

Tópicos relacionados

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo – um erro de digitação, uma etapa ausente ou um erro técnico – avise-nos!

Deixe seu feedback aqui