Hämta och redigera en pipelinekonfiguration

Du kan hämta YAML-konfigurationsfiler för en pipeline genom att exportera projektet, eller hämta det från versionskontroll. Sedan kan du redigera YAML-filerna i din utvecklingsmiljö för att göra ändringar.

Du har tre alternativ när du ska komma igång:

Exportera projekt som YAML

Att exportera ett projekt skapar en ZIP-fil som innehåller YAML-filerna för alla uppgifter, datamängder och projektinställningar. Mer information finns i Exportera och importera datapipelines.

Anteckning om tipsExportera i Minimerat format först. De minimerade filerna visar bara vad som skiljer sig från standardinställningarna, vilket gör dem lättare att läsa och lättare att replikera mellan projekt. När du importerar en minimerad fil, Qlik Talend Data Integration tillämpar de angivna värdena och använder standardvärden för allt annat. Om du behöver se den fullständiga listan över tillgängliga egenskaper och deras standardvärden, exportera samma projekt i Fullständigt format som referens.
Importera ett projekt från versionskontroll

Mer information finns i Importera projekt från versionskontroll.
Du kan också skapa en pipeline-konfiguration från grunden genom att skriva YAML-filer som matchar den nödvändiga mappstrukturen, men vi rekommenderar att du utgår från en befintlig mall.

Migrering av ett projekt till YAML-format

Projekt som skapades innan deklarativ pipelinehantering introducerades lagras i versionskontroll med hjälp av äldre JSON-filer.

Det gamla JSON-formatet stöds fortfarande fram till slutet av juni 2027, vilket ger dig tid att planera och smidigt migrera dina projekt.

Du kan migrera dessa projekt till den YAML-baserade strukturen för att dra nytta av minimerade filer och det deklarativa pipeline-arbetsflödet.

Denna åtgärd är endast tillgänglig för projekt som lagras i det äldre JSON-formatet. Projekt som redan använder YAML-filer visar inte det här alternativet.

Så här migrerar du ett projekt till YAML-format:

Öppna projektet och öppna menyn för versionskontroll.
Klicka på Migrera till YAML-format.
Granska bekräftelsemeddelandet och klicka på Migrera.

Anteckning om informationMigreringsprocessen checkar in och pushar det aktuella projektläget som JSON, konverterar sedan filerna till den nya YAML-strukturen och checkar in igen. Eftersom mappstrukturen och filnamnen ändras under konverteringen, kanske versionshistoriken före migreringen inte är direkt jämförbar med historiken efter migreringen.

Efter att migreringen är klar, lagras projektet i YAML-format på den aktuella grenen. Andra grenar som fortfarande innehåller JSON-filer kommer att visa migreringsalternativet nästa gång du växlar till dem.

Migrera alla miljögrenar i sekvens — med början i utveckling — för att upprätthålla en konsekvent struktur över grenarna innan du öppnar pull-förfrågningar mellan dem.

Förståelse för filstrukturen

Den extraherade mappen innehåller följande filer. Filinnehållet är detsamma för alla typer av uppgifter.

qtcp_project.yaml qtcp_tasks/ <task-name>/ task.yaml sourceSelection.yaml schedule.yaml (only if a schedule is configured) model.yaml (only if relationships are defined) transformationRules.yaml (only if task-level rules are defined) datasets/ <dataset-name>.yaml newTaskDefaults.yaml (only if custom task defaults are defined)

qtcp_project.yaml

qtcp_project.yaml innehåller definitioner på projektnivå och innehåller egenskaper som namn, plattform och standardhantering av schema.

task.yaml

task.yaml innehåller definitioner på uppgiftsnivå, och innehåller egenskaper som uppgiftsnamn, typ, anslutningar, samt fullständig laddning och beteende för ändringsfångst.

sourceSelection.yaml

sourceSelection.yaml definierar källtabellerna som valts för uppgiften. Varje post anger schemat och tabellurvalsmönstret.

Källval skiljer sig mellan Mellanlagring och andra uppgiftstyper.

Datamängdsfiler

Varje datauppsättning har en YAML-fil namngiven efter datauppsättningen, som ligger direkt i datasets/ mappen. Filen kombinerar datauppsättningsdefinitionen och explicita omvandlingsregler.

Datamängdsfilen krävs för alla uppgifter utom mellanlagringsuppgifter, och måste innehålla datamängds-ID:t om du vill referera till datamängden från andra uppgifter.

schedule.yaml

schedule.yaml definierar när uppgiften körs. Filen innehåller en scheduling matris med schemakonfigurationen. Denna fil inkluderas endast om ett schema är inställt för projektet.

model.yaml

model.yaml definierar datamodellrelationerna för uppgiften. Filen innehåller en relationships matris.

transformeringsregler.yaml

transformationRules.yaml innehåller alla transformationsregler på uppgiftsnivå i en array.

Redigera konfigurationsfiler

Öppna den extraherade mappen i din IDE och redigera YAML-filerna vid behov. Vanliga ändringar inkluderar:

Ändra kopplingsnamn så att de pekar på en annan miljö.
Lägga till eller ta bort källtabeller i sourceSelection.yaml.
Uppdatera uppgiftsinställningar som inläsningstyp eller schemabearbetning.
Lägga till transformationsregler till en datauppsättningsfil.
Lägga till ett schema för en uppgift.

Hänvisa till kopplingsnamn exakt som de är definierade i målutrymmet. Ett kopplingsnamn som inte matchar kommer att orsaka ett importfel.

Objekt-ID i YAML-filer

För refererade objekt — till exempel ett uppgifts-ID som refereras i en annan uppgifts källdefinition — måste du definiera ett unikt ID och använda det konsekvent i alla filer.

Relaterade ämnen

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!

Lämna din feedback här