Ophalen en bewerken van een pijplijnconfiguratie

U kunt YAML-configuratiebestanden voor een pijplijn ophalen door het project te exporteren, of door het op te halen uit versiebeheer. Dan kunt u de YAML-bestanden bewerken in uw ontwikkelomgeving om wijzigingen aan te brengen.

Er zijn drie mogelijkheden om te beginnen:

Een project exporteren als YAML

Het exporteren van een project levert een ZIP-bestand op dat de YAML-bestanden bevat voor alle taken, datasets en projectinstellingen. Ga voor meer informatie naar Gegevenspijplijnen exporteren en importeren.

TipExporteer eerst in Geminimaliseerde indeling. De geminimaliseerde bestanden tonen alleen wat afwijkt van de standaardinstellingen, waardoor ze gemakkelijker te lezen en gemakkelijker te repliceren zijn in verschillende projecten. Wanneer u een geminimaliseerd bestand importeert, Qlik Talend Data Integration past de opgegeven waarden toe en gebruikt standaardwaarden voor al het andere. Als u de volledige lijst met beschikbare eigenschappen en hun standaardwaarden wilt zien, exporteer dan hetzelfde project in Volledig formaat ter referentie.
Project importeren van versiebeheer

Ga voor meer informatie naar Project van versiebeheer importeren.
U kunt ook een pijplijnconfiguratie helemaal opnieuw maken door YAML-bestanden te schrijven die overeenkomen met de vereiste mapstructuur, maar we raden u aan om te beginnen met een bestaande sjabloon.

Project migreren naar YAML-indeling

Projecten die zijn gemaakt voordat declaratief pijplijnbeheer werd geïntroduceerd, worden opgeslagen in versiebeheer met behulp van verouderde JSON-bestanden.

Het verouderde JSON-formaat blijft ondersteund tot eind juni 2027, zodat u tijd heeft om uw projecten soepel te plannen en te migreren.

U kunt deze projecten migreren naar de YAML-gebaseerde structuur om te profiteren van geminimaliseerde bestanden en de declaratieve pijplijnworkflow.

Deze actie is alleen beschikbaar voor projecten opgeslagen in het verouderde JSON-formaat. Projecten die al YAML-bestanden gebruiken, tonen deze optie niet.

Een project migreren naar YAML-indeling:

Open het project en open het versiebeheermenu.
Klik op Migreren naar YAML-indeling.
Bekijk het bevestigingsbericht en klik op Migreren.

InformatieHet migratieproces commit en pusht de huidige projectstatus als JSON, converteert vervolgens de bestanden naar de nieuwe YAML-structuur en commit opnieuw. Omdat de mapstructuur en bestandsnamen veranderen tijdens de conversie, is de versiegeschiedenis van vóór de migratie mogelijk niet direct vergelijkbaar met de geschiedenis van ná de migratie.

Nadat de migratie is voltooid, wordt het project opgeslagen in YAML-formaat op de huidige branch. Andere branches die nog JSON-bestanden bevatten, zullen de migratieoptie tonen de volgende keer dat u ernaartoe overschakelt.

Migreer alle omgeving-branches in volgorde — beginnend met development — om een consistente structuur te behouden over de branches heen voordat u pull-aanvragen ertussen opent.

Inzicht in de bestandsstructuur

De uitgepakte map bevat de volgende bestanden. Bestandsinhoud is hetzelfde bij alle soorten taken.

qtcp_project.yaml qtcp_tasks/ <task-name>/ task.yaml sourceSelection.yaml schedule.yaml (only if a schedule is configured) model.yaml (only if relationships are defined) transformationRules.yaml (only if task-level rules are defined) datasets/ <dataset-name>.yaml newTaskDefaults.yaml (only if custom task defaults are defined)

qtcp_project.yaml

qtcp_project.yaml bevat definities op projectniveau en bevat eigenschappen zoals naam, platform en standaard schemaverwerking.

taak.yaml

task.yaml bevat definities op taakniveau en bevat eigenschappen zoals taaknaam, type, verbindingen, en volledige lading en gedrag voor het vastleggen van wijzigingen.

sourceSelection.yaml

sourceSelection.yaml definieert de brontabellen die voor de taak zijn geselecteerd. Elke vermelding specificeert het schema en het tabelselectiepatroon.

Bronselectie verschilt tussen Tussenopslag en andere taaktypen.

Datasetbestanden

Elke gegevensverzameling heeft één YAML-bestand dat is vernoemd naar de gegevensverzameling, dat zich direct bevindt in de datasets/ map. Het bestand combineert de definitie van de gegevensverzameling en expliciete transformatieregels.

Het datasetbestand is vereist voor alle taken behalve tussenopslag-taken, en moet de dataset-ID bevatten als u naar de dataset wilt verwijzen vanuit andere taken.

schedule.yaml

schedule.yaml definieert wanneer de taak wordt uitgevoerd. Het bestand bevat een scheduling array met de planningsconfiguratie. Dit bestand wordt alleen opgenomen als een planning is ingesteld voor het project.

model.yaml

model.yaml definieert de gegevensmodelrelaties voor de taak. Het bestand bevat een relationships array.

transformatieregels.yaml

transformationRules.yaml bevat alle transformatieregels op taakniveau in een array.

Configuratiebestanden bewerken

Open de uitgepakte map in uw IDE en bewerk de YAML-bestanden indien nodig. Veelvoorkomende bewerkingen zijn:

De verbindingsnamen wijzigen om naar een andere omgeving te verwijzen.
Brontabellen toevoegen of verwijderen in sourceSelection.yaml.
Bijwerken van taakinstellingen zoals laadtype of schemaverwerking.
Transformatie regels toevoegen aan een gegevenssetbestand.
Een schema toevoegen aan een taak.

Verwijs naar de namen van verbindingen precies zoals ze zijn gedefinieerd in de doelruimte. Een verbindingsnaam die niet overeenkomt, veroorzaakt een importfout.

Object-id's in YAML-bestanden

Voor objecten waarnaar wordt verwezen — zoals een taak-ID waarnaar wordt verwezen in de brondetinitie van een andere taak — moet u een unieke ID definiëren en deze consistent gebruiken in alle bestanden.

Gerelateerde onderwerpen

Was deze pagina nuttig?

Als u problemen ervaart op deze pagina of de inhoud onjuist is – een tikfout, een ontbrekende stap of een technische fout – laat het ons weten!

Geef hier uw feedback