Przeskocz do zawartości głównej

Opis pliku metadanych

Po wybraniu opcji Utwórz pliki metadanych w folderze docelowym dla każdego pliku CSV/JSON/Parquet zadanie umieszczania w jeziorze danych tworzy odpowiedni plik metadanych w określonym folderze docelowym.

Plik metadanych oferuje kilka korzyści, takich jak lepsza walidacja w przypadku niestandardowych procesów wsadowych, obsługa głębszej automatyzacji, oferowanie informacji o pochodzeniu i poprawa niezawodności przetwarzania.

Pliki metadanych opisano w tabelach poniżej.

Informacja

Wszystkie znaczniki czasu są w formacie ISO-8601, na przykład 2016-08-02T10:05:04.802.

Plik informacji o zadaniu
Pole Opis

name

Nazwa zadania umieszczania w jeziorze danych.

sourceEndpoint

Nazwa zdefiniowana w ustawieniach źródłowego punktu końcowego.

sourceEndpointType

Typ łącznika ze źródłem (np. Oracle, MySQL itp.).

sourceEndpointUser

Użytkownik zdefiniowany w ustawieniach źródłowego punktu końcowego.

replicationServer

Nazwa hosta komputera, na którym zainstalowano bramę Brama danych ruchu danych.

operation

Jeżeli utworzono docelowy plik danych, pole to będzie zawierać następującą wartość: dataProduced

Plik z informacjami o pliku
Pole Opis

name

Nazwa pliku danych bez rozszerzenia.

rozszerzenie

Rozszerzenie pliku danych (.csv lub.json w zależności od wybranego docelowego formatu pliku).

location

Lokalizacja pliku danych.

startWriteTimestamp

Znacznik czasu UTC wskazujący, kiedy rozpoczęło się zapisywanie do pliku.

endWriteTimestamp

Znacznik czasu UTC wskazujący, kiedy zakończyło się zapisywanie do pliku.

firstTransactionTimestamp

Znacznik czasu UTC pierwszego rekordu w pliku.

lastTransactionTimestamp

Znacznik czasu UTC ostatniego rekordu w pliku.

content

Wartości mogą być data (dla umieszczania z pełnym ładowaniem) lub changes (dla umieszczania CDC), zgodnie z danymi w odpowiednim pliku CSV.

recordCount

Liczba rekordów w pliku.

errorCount

Liczba błędów danych napotkanych podczas tworzenia pliku.

Plik z informacjami o formacie
Pole Opis

format

delimited lub json zgodnie z wybranym docelowym formatem pliku.

opcje

Opcje formatu pliku delimited . Opcje te nie będą wyświetlane dla formatu json , ponieważ nie są istotne.

recordDelimiter

Separator używany do oddzielania rekordów (wierszy) w plikach docelowych. Wartość domyślna to znak nowego wiersza (\n).

fieldDelimiter

Separator używany do oddzielania pól (kolumn) w plikach docelowych. Wartość domyślna to przecinek.

NullValue

Ciąg używany do wskazywania wartości null w pliku docelowym.

quoteChar

Znak używany na początku i na końcu kolumny. Wartość domyślna to znak podwójnego cudzysłowu (").

escapeChar

Znak używany do zmiany znaczenia ciągu, gdy zarówno ciąg, jak i kolumna zawierająca ten ciąg są ujęte w podwójne cudzysłowy. Należy pamiętać, że cudzysłowy ciągu zostaną usunięte, chyba że będą mieć zmienione znaczenie.

Przykład (gdzie " jest znakiem cudzysłowu, a \ jest znakiem zmiany znaczenia):

1955,"old, \"rare\", Chevrolet",$1000

Plik z informacjami niestandardowymi
Pole Opis

customInfo

Ta sekcja zawiera wszelkie właściwości niestandardowe, które ustawiono przy użyciu wewnętrznej właściwości dfmCustomProperties.

Parametr wewnętrzny dfmCustomProperties należy określić w następującym formacie:

Parameter1=Value1;Parameter2=Value2;Parameter3=Value3

Przykład:

Color=Blue;Size=Large;Season=Spring

Wyjaśnienie sposobu ustawiania właściwości wewnętrznych zawiera temat Amazon S3.

Plik z informacjami o danych
Pole Opis

sourceSchema

Schemat zawierający tabelę źródłową.

sourceTable

Nazwa tabeli źródłowej.

targetSchema

Nazwa schematu tabeli docelowej (jeśli nazwa schematu źródłowego została zmieniona).

targetTable

Nazwa tabeli docelowej (jeśli nazwa tabeli źródłowej została zmieniona).

tableVersion

Zadanie umieszczania w jeziorze danych przypisuje do tabeli wewnętrzny numer wersji. Numer wersji zwiększa się za każdym razem, gdy w tabeli źródłowej nastąpi zmiana DDL.

columns

Informacje o kolumnach tabeli.

porządkowe

Pozycja kolumny w rekordzie (1, 2, 3 itd.).

name

Nazwa kolumny.

type

Typ danych kolumny. Więcej informacji zawiera temat Supported data types.

width

Maksymalny rozmiar danych (w bajtach) dozwolony dla kolumny.

scale

Maksymalna liczba cyfr po prawej stronie separatora dziesiętnego dozwolona dla liczby.

primaryKeyPos

Pozycja kolumny w kluczu głównym lub indeksie unikatowym tabeli. Wartość wynosi zero, jeśli kolumna nie jest częścią klucza głównego tabeli.

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać, co możemy poprawić!