Descrizione dei file di metadati
Quando l'opzione Crea file di metadati nella cartella di destinazione è selezionata, per ogni file CSV/JSON/Parquet l'attività di trasferimento sul data lake crea un file di metadati corrispondente sotto la cartella di destinazione specificata.
Il file di metadati fornisce molto vantaggi, come l'abilitazione dei processi batch personalizzati in modo da migliorare il processo di convalida, il supporto di processi di automazione più complessi, la disponibilità delle informazioni di derivazione e il miglioramento dell'affidabilità di elaborazione.
I file di metadati sono descritti nelle tabelle riportate di seguito.
Tutti i timestamp sono in formato ISO-8601, ad esempio 2016-08-02T10:05:04.802.
| Campo | Descrizione |
|---|---|
|
nome |
Il nome dell'attività di trasferimento sul data lake. |
|
sourceEndpoint |
Il nome definito nelle impostazioni dell'endpoint di origine. |
|
sourceEndpointType |
Il tipo di connettore di origine (ad es. Oracle, MySQL, ecc.). |
|
sourceEndpointUser |
L'utente definito nelle impostazioni dell'endpoint di origine. |
|
replicationServer |
Il nome host del computer su cui è installato Gateway di Data Movement. |
|
operazione |
Se è stato creato un file di dati di destinazione, questo campo conterrà il valore seguente: dataProduced |
| Campo | Descrizione |
|---|---|
|
nome |
Il nome del file di dati senza l'estensione. |
|
estensione |
L'estensione del file di dati (.csv o .json in base al formato del file di destinazione selezionato). |
|
posizione |
La posizione del file di dati. |
|
startWriteTimestamp |
Il timestamp UTC che indica quando è iniziato il processo di scrittura sul file. |
|
endWriteTimestamp |
Il timestamp UTC che indica quando è terminato il processo di scrittura sul file. |
|
firstTransactionTimestamp |
Il timestamp in formato UTC del primo record nel file. |
|
lastTransactionTimestamp |
Il timestamp in formato UTC dell'ultimo record nel file. |
|
contenuto |
I valori possono essere data (per il trasferimento del caricamento completo) o changes (per il trasferimento della CDC), in base ai dati nel file CSV corrispondente. |
|
recordCount |
Il numero di record nel file. |
|
errorCount |
Il numero di errori nei dati rilevati durante la creazione del file. |
| Campo | Descrizione |
|---|---|
|
formato |
delimited o json in base al formato file di destinazione selezionato. |
|
opzioni |
Le opzioni per il formato file delimited . Queste opzioni non verranno mostrate per il formato json poiché non sono rilevanti. |
|
recordDelimiter |
Il delimitatore utilizzato per separare i record (righe) nei file di destinazione. Il valore predefinito è una nuova riga (\n). |
|
fieldDelimiter |
Il delimitatore utilizzato per separare i campi (colonne) nei file di destinazione. Il valore predefinito è una virgola. |
|
nullValue |
La stringa utilizzata per indicare un valore null nei file di destinazione. |
|
quoteChar |
Il carattere utilizzato all'inizio e alla fine di una colonna. Il valore predefinito è il carattere delle virgolette doppie ("). |
|
escapeChar |
Il carattere di escape utilizzato per una stringa quando sia la stringa che la colonna contenenti la stringa sono racchiuse da virgolette doppie. Notare che le virgolette della stringa verranno rimosse se non viene utilizzato il carattere di escape. Esempiose non viene (in cui " è il carattere delle virgolette e \ è il carattere di escape): 1955,"old, \"rare\", Chevrolet",$1000 |
| Campo | Descrizione |
|---|---|
|
customInfo |
Questa sezione contiene qualsiasi parametro personalizzato impostato utilizzando il parametro interno dfmCustomProperties. Il parametro interno dfmCustomProperties deve essere specificato nel formato seguente: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Esempio: Color=Blue;Size=Large;Season=Spring Per una spiegazione su come impostare i parametri interni, vedere Amazon S3. |
| Campo | Descrizione |
|---|---|
|
sourceSchema |
Lo schema contenente la tabella di origine. |
|
sourceTable |
Il nome della tabella di origine. |
|
targetSchema |
Il nome dello schema della tabella di destinazione (se il nome dello schema di origine è stato modificato). |
|
targetTable |
Il nome della tabella di destinazione (se il nome della tabella di origine è stato modificato). |
|
tableVersion |
L'attività di trasferimento sul data lake assegna un numero di versione interno alla tabella. Il numero di versione viene incrementato quando una modifica DDL si verifica nella tabella di origine. |
|
colonne |
Informazioni sulle colonne dalla tabella. |
|
ordinale |
La posizione della colonna nel record (1, 2, 3, ecc.). |
|
nome |
Il nome della colonna. |
|
tipo |
Il tipo di dati delle colonne. Vedere Supported data types per ulteriori informazioni. |
|
width |
Le dimensioni massime dei dati (in byte) consentite per la colonna. |
|
scala: |
Il numero massimo di cifre a destra della virgola decimale consentito per un numero. |
|
primaryKeyPos |
La posizione della colonna nella chiave primaria o indice univoco della tabella. Il valore è zero se la colonna non fa parte della chiave primaria della tabella. |