Opis pliku metadanych
Po wybraniu opcji Utwórz pliki metadanych w folderze docelowym dla każdego pliku CSV/JSON/Parquet zadanie umieszczania w jeziorze danych tworzy odpowiedni plik metadanych w określonym folderze docelowym.
Plik metadanych oferuje kilka korzyści, takich jak lepsza walidacja w przypadku niestandardowych procesów wsadowych, obsługa głębszej automatyzacji, oferowanie informacji o pochodzeniu i poprawa niezawodności przetwarzania.
Pliki metadanych opisano w tabelach poniżej.
Wszystkie znaczniki czasu są w formacie ISO-8601, na przykład 2016-08-02T10:05:04.802.
| Pole | Opis |
|---|---|
|
name |
Nazwa zadania umieszczania w jeziorze danych. |
|
sourceEndpoint |
Nazwa zdefiniowana w ustawieniach źródłowego punktu końcowego. |
|
sourceEndpointType |
Typ łącznika ze źródłem (np. Oracle, MySQL itp.). |
|
sourceEndpointUser |
Użytkownik zdefiniowany w ustawieniach źródłowego punktu końcowego. |
|
replicationServer |
Nazwa hosta komputera, na którym zainstalowano bramę Brama danych ruchu danych. |
|
operation |
Jeżeli utworzono docelowy plik danych, pole to będzie zawierać następującą wartość: dataProduced |
| Pole | Opis |
|---|---|
|
name |
Nazwa pliku danych bez rozszerzenia. |
|
extension |
Rozszerzenie pliku danych (.csv lub.json w zależności od wybranego docelowego formatu pliku). |
|
location |
Lokalizacja pliku danych. |
|
startWriteTimestamp |
Znacznik czasu UTC wskazujący, kiedy rozpoczęło się zapisywanie do pliku. |
|
endWriteTimestamp |
Znacznik czasu UTC wskazujący, kiedy zakończyło się zapisywanie do pliku. |
|
firstTransactionTimestamp |
Znacznik czasu UTC pierwszego rekordu w pliku. |
|
lastTransactionTimestamp |
Znacznik czasu UTC ostatniego rekordu w pliku. |
|
content |
Wartości mogą być data (dla umieszczania z pełnym ładowaniem) lub changes (dla umieszczania CDC), zgodnie z danymi w odpowiednim pliku CSV. |
|
recordCount |
Liczba rekordów w pliku. |
|
errorCount |
Liczba błędów danych napotkanych podczas tworzenia pliku. |
| Pole | Opis |
|---|---|
|
format |
delimited lub json zgodnie z wybranym docelowym formatem pliku. |
|
options |
Opcje formatu pliku delimited . Opcje te nie będą wyświetlane dla formatu json , ponieważ nie są istotne. |
|
recordDelimiter |
Separator używany do oddzielania rekordów (wierszy) w plikach docelowych. Wartość domyślna to znak nowego wiersza (\n). |
|
fieldDelimiter |
Separator używany do oddzielania pól (kolumn) w plikach docelowych. Wartość domyślna to przecinek. |
|
NullValue |
Ciąg używany do wskazywania wartości null w pliku docelowym. |
|
quoteChar |
Znak używany na początku i na końcu kolumny. Wartość domyślna to znak podwójnego cudzysłowu ("). |
|
escapeChar |
Znak używany do zmiany znaczenia ciągu, gdy zarówno ciąg, jak i kolumna zawierająca ten ciąg są ujęte w podwójne cudzysłowy. Należy pamiętać, że cudzysłowy ciągu zostaną usunięte, chyba że będą mieć zmienione znaczenie. Przykład (gdzie " jest znakiem cudzysłowu, a \ jest znakiem zmiany znaczenia): 1955,"old, \"rare\", Chevrolet",$1000 |
| Pole | Opis |
|---|---|
|
customInfo |
Ta sekcja zawiera wszelkie parametry niestandardowe, które ustawiono przy użyciu wewnętrznego parametru dfmCustomProperties. Parametr wewnętrzny dfmCustomProperties należy określić w następującym formacie: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Przykład: Color=Blue;Size=Large;Season=Spring Wyjaśnienie sposobu ustawiania parametrów wewnętrznych zawiera temat Amazon S3. |
| Pole | Opis |
|---|---|
|
sourceSchema |
Schemat zawierający tabelę źródłową. |
|
sourceTable |
Nazwa tabeli źródłowej. |
|
targetSchema |
Nazwa schematu tabeli docelowej (jeśli nazwa schematu źródłowego została zmieniona). |
|
targetTable |
Nazwa tabeli docelowej (jeśli nazwa tabeli źródłowej została zmieniona). |
|
tableVersion |
Zadanie umieszczania w jeziorze danych przypisuje do tabeli wewnętrzny numer wersji. Numer wersji zwiększa się za każdym razem, gdy w tabeli źródłowej nastąpi zmiana DDL. |
|
columns |
Informacje o kolumnach tabeli. |
|
ordinal |
Pozycja kolumny w rekordzie (1, 2, 3 itd.). |
|
name |
Nazwa kolumny. |
|
type |
Typ danych kolumny. Więcej informacji zawiera temat Supported data types. |
|
width |
Maksymalny rozmiar danych (w bajtach) dozwolony dla kolumny. |
|
scale |
Maksymalna liczba cyfr po prawej stronie separatora dziesiętnego dozwolona dla liczby. |
|
primaryKeyPos |
Pozycja kolumny w kluczu głównym lub indeksie unikatowym tabeli. Wartość wynosi zero, jeśli kolumna nie jest częścią klucza głównego tabeli. |