Abrufen und Bearbeiten einer pipeline-Konfiguration

Sie können YAML-Konfigurationsdateien für eine pipeline abrufen, indem Sie das Projekt exportieren oder es aus der Versionskontrolle abrufen. Dann können Sie die YAML-Dateien in Ihrer Entwicklungsumgebung bearbeiten, um Änderungen vorzunehmen.

Sie haben drei Optionen für den Einstieg:

Projekt als YAML exportieren

Das Exportieren eines Projekts erzeugt eine ZIP-Datei, die die YAML-Dateien für alle Aufgaben, Datensätze und Projekteinstellungen enthält. Weitere Informationen finden Sie unter Exportieren und Importieren von Daten-Pipelines.

TipphinweisExportieren Sie zuerst im Minimiert-Format. Die minimierten Dateien zeigen nur die Abweichungen von den Standardeinstellungen, wodurch sie leichter lesbar und einfacher projektübergreifend zu replizieren sind. Wenn Sie eine minimierte Datei importieren, Qlik Talend Data Integration wendet die angegebenen Werte an und verwendet Standardwerte für alles andere. Wenn Sie die vollständige Liste der verfügbaren Eigenschaften und deren Standardwerte sehen müssen, exportieren Sie dasselbe Projekt im Vollständig-Format als Referenz.
Ein Projekt aus der Versionskontrolle importieren

Weitere Informationen finden Sie unter Importieren eines Projekts aus der Versionskontrolle.
Sie können auch eine pipeline Konfiguration von Grund auf neu erstellen, indem Sie YAML-Dateien schreiben, die der erforderlichen Ordnerstruktur entsprechen, aber wir empfehlen, dass Sie von einer vorhandenen Vorlage ausgehen.

Migration eines Projekts in das YAML-Format

Projekte, die vor der Einführung des deklarativen pipeline-Managements erstellt wurden, werden in der Versionskontrolle mithilfe von älteren JSON-Dateien gespeichert.

Das alte JSON-Format wird weiterhin bis Ende Juni 2027 unterstützt, damit Sie Zeit haben, Ihre Projekte reibungslos zu planen und zu migrieren.

Sie können diese Projekte zur YAML-basierten Struktur migrieren, um von minimierten Dateien und dem deklarativen pipeline-Workflow zu profitieren.

Diese Aktion ist nur für Projekte im alten JSON-Format verfügbar. Projekte, die bereits YAML-Dateien verwenden, zeigen diese Option nicht an.

Um ein Projekt in das YAML-Format zu migrieren:

Öffnen Sie das Projekt und öffnen Sie das Versionskontrollmenü.
Klicken Sie auf In YAML-Format migrieren.
Überprüfen Sie die Bestätigungsnachricht und klicken Sie auf Migrieren.

InformationshinweisDer Migrationsprozess committet und pusht den aktuellen Projektstatus als JSON, anschließend konvertiert er die Dateien in die neue YAML-Struktur und committet erneut. Da sich die Ordnerstruktur und die Dateinamen während der Konvertierung ändern, ist der Versionsverlauf vor der Migration möglicherweise nicht direkt mit dem Verlauf nach der Migration vergleichbar.

Nach Abschluss der Migration wird das Projekt im YAML-Format auf dem aktuellen Branch gespeichert. Andere Branches, die noch JSON-Dateien enthalten, zeigen die Migrationsoption an, wenn Sie das nächste Mal zu ihnen wechseln.

Migrieren Sie alle Umgebungs-Branches der Reihe nach — beginnend mit der Entwicklung —, um eine konsistente Struktur über alle Branches hinweg aufrechtzuerhalten, bevor Sie Pull-Requests zwischen ihnen öffnen.

Verständnis der Dateistruktur

Der extrahierte Ordner enthält die folgenden Dateien. Dateiinhalte sind bei allen Aufgabentypen gleich.

qtcp_project.yaml qtcp_tasks/ <task-name>/ task.yaml sourceSelection.yaml schedule.yaml (only if a schedule is configured) model.yaml (only if relationships are defined) transformationRules.yaml (only if task-level rules are defined) datasets/ <dataset-name>.yaml newTaskDefaults.yaml (only if custom task defaults are defined)

qtcp_project.yaml

qtcp_project.yaml enthält projektweite Definitionen und Eigenschaften wie Name, Plattform und Standard-Schemaverarbeitung.

task.yaml

task.yaml enthält Definitionen auf Aufgabenebene und Eigenschaften wie Aufgabenname, Typ, Verbindungen sowie das Verhalten bei Vollständigem Laden und der Änderungsdatenerfassung.

sourceSelection.yaml

sourceSelection.yaml definiert die für die Aufgabe ausgewählten Quelltabellen. Jeder Eintrag spezifiziert das Schema und das Tabellenauswahlmuster.

Die Quellenauswahl unterscheidet sich zwischen Landing und anderen Aufgabentypen.

Dataset-Dateien

Jeder Datensatz hat eine YAML-Datei, die nach dem Datensatz benannt ist und sich direkt im datasets/-Ordner befindet. Die Datei kombiniert die Datensatzdefinition und explizite Transformationsregeln.

Die Datensatzdatei ist für alle Aufgaben außer Bereitstellungsaufgaben erforderlich und muss die Datensatz-ID enthalten, wenn Sie von anderen Aufgaben aus auf den Datensatz verweisen möchten.

schedule.yaml

schedule.yaml definiert, wann die Aufgabe ausgeführt wird. Die Datei enthält ein scheduling Array mit der Zeitplankonfiguration. Diese Datei wird nur eingeschlossen, wenn ein Zeitplan für das Projekt festgelegt ist.

model.yaml

model.yaml definiert die Datenmodell-Beziehungen für die Aufgabe. Die Datei enthält ein relationships Array.

Umwandlungsregeln.yaml

transformationRules.yaml enthält alle aufgabenspezifischen Transformationsregeln in einem Array.

Bearbeiten von Konfigurationsdateien

Öffnen Sie den extrahierten Ordner in Ihrer IDE und bearbeiten Sie die YAML-Dateien nach Bedarf. Zu den üblichen Bearbeitungen gehören:

Ändern von Verbindungsnamen, um auf eine andere Umgebung zu verweisen.
Hinzufügen oder Entfernen von Quelltabellen in sourceSelection.yaml.
Aktualisieren von Aufgabeneinstellungen wie z. B. Ladetyp oder Schemaverarbeitung.
Hinzufügen von Transformationsregeln zu einer Datensatzdatei.
Hinzufügen eines Zeitplans zu einer Aufgabe.

Verweisen Sie auf Verbindungsnamen genau so, wie sie im Zielbereich definiert sind. Ein Verbindungsname, der nicht übereinstimmt, führt zu einem Importfehler.

Objekt-IDs in YAML-Dateien

Für referenzierte Objekte — wie eine Aufgaben-ID, die in der Quelldefinition einer anderen Aufgabe referenziert wird — müssen Sie eine eindeutige ID definieren und diese konsistent über alle Dateien hinweg verwenden.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab