Pobieranie i edycja konfiguracji potoku
Możesz pobrać pliki konfiguracyjne YAML dla potoku, eksportując projekt lub pobierając go z kontroli wersji. Następnie możesz edytować pliki YAML w swoim środowisku programistycznym, aby wprowadzić zmiany.
Do wyboru są trzy opcje na początek:
-
Eksportuj projekt jako YAML
Eksportowanie projektu tworzy plik ZIP zawierający pliki YAML dla wszystkich zadań, zestawów danych i ustawień projektu. Więcej informacji zawiera temat Eksportowanie i importowanie potoków danych.
WskazówkaEksportuj w Zminimalizowanym formacie najpierw. Zminimalizowane pliki pokazują tylko to, co różni się od wartości domyślnych, co ułatwia ich czytanie i replikowanie w różnych projektach. Po zaimportowaniu zminimalizowanego pliku, Qlik Talend Data Integration stosuje określone wartości i używa wartości domyślnych dla wszystkich pozostałych. Jeśli chcesz zobaczyć pełną listę dostępnych właściwości i ich wartości domyślnych, eksportować ten sam projekt w Pełnym formacie w celach informacyjnych. -
Importuj projekt z kontroli wersji
Więcej informacji zawiera temat Importowanie projektu z kontroli wersji.
-
Możesz również utworzyć konfigurację potoku od podstaw, pisząc pliki YAML, które odpowiadają wymaganej strukturze folderów, ale zalecamy rozpoczęcie od istniejącego szablonu.
Migracja projektu do formatu YAML
Projekty, które zostały utworzone przed wprowadzeniem deklaratywnego zarządzania potokiem, są przechowywane w kontroli wersji przy użyciu starszych plików JSON.
Możesz migrować te projekty do struktury opartej na YAML, aby wykorzystać zminimalizowane pliki i deklaratywny przepływ pracy potoku.
Aby przeprowadzić migrację projektu do formatu YAML:
-
Otwórz projekt i otwórz menu kontroli wersji.
-
Kliknij Migruj do formatu YAML.
-
Przejrzyj komunikat potwierdzający i kliknij Migruj.
InformacjaProces migracji zatwierdza i wypycha bieżący stan projektu jako JSON, następnie konwertuje pliki do nowej struktury YAML i ponownie zatwierdza zmiany. Ponieważ struktura folderów i nazwy plików zmieniają się podczas konwersji, historia wersji przed migracją może nie być bezpośrednio porównywalna z historią po migracji.
Po zakończeniu migracji, projekt jest przechowywany w formacie YAML na bieżącej gałęzi. Inne gałęzie, które nadal zawierają pliki JSON, wyświetlą opcję migracji następnym razem, gdy się na nie przełączysz.
Zrozumienie struktury pliku
Wyodrębniony folder zawiera następujące pliki. Zawartość plików jest taka sama we wszystkich typach zadań.
qtcp_project.yaml
qtcp_project.yaml zawiera definicje na poziomie projektu oraz zawiera właściwości takie jak nazwa, platforma i domyślna obsługa schematu.
task.yaml
task.yaml zawiera definicje na poziomie zadania oraz właściwości takie jak nazwa zadania, typ, połączenia oraz pełne ładowanie i zachowanie przechwytywania zmian.
sourceSelection.yaml
sourceSelection.yaml definiuje tabele źródłowe wybrane do zadania. Każdy wpis określa schemat i wzorzec wyboru tabeli.
Wybór źródła różni się między Umieszczaniem a innymi typami zadań.
Pliki zestawu danych
Każdy zestaw danych ma jeden plik YAML nazwany tak jak zestaw danych, znajdujący się bezpośrednio w folderze datasets/. Plik łączy definicję zestawu danych i jawne reguły transformacji.
schedule.yaml
schedule.yaml określa, kiedy zadanie jest uruchamiane. Plik zawiera scheduling tablicę z konfiguracją harmonogramu. Ten plik jest dołączany tylko, jeśli dla projektu zdefiniowano harmonogram.
model.yaml
model.yaml określa relacje modelu danych dla zadania. Plik zawiera relationships tablicę.
Reguły transformacji.yaml
transformationRules.yaml zawiera wszystkie reguły transformacji na poziomie zadania w tablicy.
Edytowanie plików konfiguracyjnych
Otwórz wyodrębniony folder w swoim IDE i edytuj pliki YAML według potrzeb. Typowe edycje obejmują:
-
Zmiana nazw połączeń, aby wskazywały na inne środowisko.
-
Dodawanie lub usuwanie tabel źródłowych w sourceSelection.yaml.
-
Aktualizowanie ustawień zadania, takich jak typ ładowania lub obsługa schematu.
-
Dodawanie reguł przekształcania do pliku zestawu danych.
-
Dodawanie harmonogramu do zadania.
Identyfikatory obiektów w plikach YAML
Dla obiektów, do których istnieją odwołania — takich jak identyfikator zadania, do którego odwołano się w definicji źródłowej innego zadania — należy zdefiniować unikatowy identyfikator i używać go spójnie we wszystkich plikach.