Recuperare e modificare una configurazione di pipeline

È possibile recuperare i file di configurazione YAML per una pipeline esportando il progetto, o recuperandolo dal controllo della versione. Quindi puoi modificare i file YAML nel tuo ambiente di sviluppo per apportare modifiche.

Sono disponibili tre opzioni per iniziare:

• Esporta un progetto come YAML

  L'esportazione di un progetto produce un file ZIP contenente i file YAML per tutte le attività, i dataset e le impostazioni del progetto. Per ulteriori informazioni, vedere Esportazione e importazione di pipeline di dati.

  Nota di suggerimentoEsporta prima in formato Minimizzato. I file minimizzati mostrano solo ciò che differisce dalle impostazioni predefinite, rendendoli più facili da leggere e più facili da replicare tra i progetti. Quando importi un file minimizzato, Qlik Talend Data Integration applica i valori specificati e utilizza le impostazioni predefinite per tutto il resto. Se hai bisogno di vedere l'elenco completo delle proprietà disponibili e i loro valori predefiniti, esporta lo stesso progetto in Completo formato per riferimento.

• Importa un progetto dal controllo versione

  Per ulteriori informazioni, vedere Importazione di un progetto dal controllo versione.

• È anche possibile creare una configurazione di pipeline da zero scrivendo file YAML che corrispondono alla struttura di cartelle richiesta, ma consigliamo di partire da un modello esistente.

Migrazione di un progetto al formato YAML

I progetti creati prima che venisse introdotta la gestione dichiarativa delle pipeline sono archiviati nel controllo della versione utilizzando file JSON legacy.

È possibile migrare questi progetti alla struttura basata su YAML per sfruttare i vantaggi dei file minimizzati e del flusso di lavoro della pipeline dichiarativa.

Per migrare un progetto al formato YAML:

1. Aprire il progetto e aprire il menu di controllo della versione.

2. Fare clic su Migra al formato YAML.

3. Rivedere il messaggio di conferma e fare clic su Migra.

   Nota informaticaIl processo di migrazione esegue il commit e il push dello stato attuale del progetto come JSON, quindi converte i file nella nuova struttura YAML ed esegue nuovamente il commit. Poiché la struttura delle cartelle e i nomi dei file cambiano durante la conversione, la cronologia delle versioni prima della migrazione potrebbe non essere direttamente confrontabile con la cronologia dopo la migrazione.

Dopo il completamento della migrazione, il progetto viene archiviato in formato YAML sul ramo corrente. Altri rami che contengono ancora file JSON mostreranno l'opzione di migrazione la prossima volta che passerai a essi.

Comprensione della struttura del file

La cartella estratta contiene i seguenti file. I contenuti dei file sono gli stessi per tutti i tipi di attività.

qtcp_project.yaml

qtcp_project.yaml contiene definizioni a livello di progetto e include proprietà come nome, piattaforma e gestione dello schema predefinita.

task.yaml

task.yaml contiene definizioni a livello di attività e contiene proprietà quali nome attività, tipo, connessioni e comportamento di caricamento completo e acquisizione delle modifiche.

sourceSelection.yaml

sourceSelection.yaml definisce le tabelle di origine selezionate per l'attività. Ogni voce specifica lo schema e il modello di selezione della tabella.

La selezione della sorgente differisce tra Landing e altri tipi di attività.

File di dataset

Ogni set di dati ha un file YAML denominato come il set di dati, situato direttamente nella datasets/ cartella. Il file combina la definizione del set di dati e le regole di trasformazione esplicite.

schedule.yaml

schedule.yaml definisce quando viene eseguita l'attività. Il file contiene un scheduling array con la configurazione della pianificazione. Questo file viene incluso solo se una pianificazione è definita per il progetto.

model.yaml

model.yaml definisce le relazioni del modello dati per l'attività. Il file contiene un relationships array.

Regole di trasformazione.yaml

transformationRules.yaml contiene tutte le regole di trasformazione a livello di attività in un array.

Modifica file di configurazione

Apri la cartella estratta nel tuo IDE e modifica i file YAML secondo necessità. Le modifiche comuni includono:

• Modificare i nomi delle connessioni per puntare a un ambiente diverso.

• Aggiunta o rimozione di tabelle sorgente in sourceSelection.yaml.

• Aggiornamento delle impostazioni dell'attività come il tipo di caricamento o la gestione dello schema.

• Aggiunta di regole di trasformazione a un file di set di dati.

• Aggiunta di una pianificazione a un'attività.

ID oggetto nei file YAML

Per gli oggetti referenziati — come un ID attività referenziato nella definizione di origine di un'altra attività — è necessario definire un ID univoco e utilizzarlo in modo coerente tra i file.

Argomenti correlati

• Validazione di una configurazione di pipeline

• Distribuzione di una configurazione di pipeline