Descrição do arquivo de metadados
Quando a opção Criar arquivos de metadados na pasta de destino é selecionada, para cada arquivo CSV/JSON/Parquet, a tarefa de destino do data lake cria um arquivo de metadados correspondente na pasta de destino especificada.
O arquivo de metadados oferece vários benefícios, como permitir que processos em lote personalizados realizem uma melhor validação, suportar automação mais profunda, oferecer informações de linhagem e melhorar a confiabilidade do processamento.
Os arquivos de metadados estão descritos nas tabelas abaixo.
Todos os carimbos de data/hora estão no formato ISO-8601, por exemplo, 2016-08-02T10:05:04.802.
| Campo | Descrição |
|---|---|
|
ausente |
O nome da tarefa de aterrissagem do data lake. |
|
sourceEndpoint |
O nome definido nas configurações do endpoint de origem. |
|
sourceEndpointType |
O tipo de conector de origem (por exemplo, Oracle, MySQL, etc.). |
|
sourceEndpointUser |
O usuário definido nas configurações do endpoint de origem. |
|
replicationServer |
O nome do host da máquina na qual o Data Movement gateway está instalado. |
|
operation |
Se um arquivo de dados de destino tiver sido criado, este campo conterá o seguinte valor: dataProduced |
| Campo | Descrição |
|---|---|
|
ausente |
O nome do arquivo de dados sem a extensão. |
|
Extensão |
A extensão do arquivo de dados (.csv ou.json de acordo com o formato do arquivo de destino selecionado). |
|
location |
A localização do arquivo de dados. |
|
startWriteTimestamp |
Carimbo de data/hora em UTC indicando quando a gravação no arquivo foi iniciada. |
|
endWriteTimestamp |
Carimbo de data/hora em UTC indicando quando a gravação no arquivo foi terminada. |
|
firstTransactionTimestamp |
Carimbo de data/hora em UTC do primeiro registro no arquivo. |
|
lastTransactionTimestamp |
Carimbo de data/hora em UTC do último registro no arquivo. |
|
content |
Os valores podem ser data (para aterrisagem de carregamento total) ou changes (para aterrisagem de CDC), conforme dados do arquivo CSV correspondente. |
|
recordCount |
O número de registros no arquivo. |
|
errorCount |
O número de erros de dados encontrados durante a criação do arquivo. |
| Campo | Descrição |
|---|---|
|
format |
delimited ou json , de acordo com o formato de arquivo de destino selecionado. |
|
opções |
As opções para formato de arquivo delimited . Essas opções não serão mostradas para o formato json porque não são relevantes. |
|
recordDelimiter |
O delimitador usado para separar registros (linhas) nos arquivos de destino. O padrão é uma nova linha (\n). |
|
fieldDelimiter |
O delimitador usado para separar campos (colunas) nos arquivos de destino. O padrão é uma vírgula. |
|
nullValue |
A string usada para indicar um valor nulo no arquivo de destino. |
|
quoteChar |
O caractere usado no início e no final de uma coluna. O padrão é o caractere de aspas duplas ("). |
|
escapeChar |
O caractere usado para escapar de uma string quando a string e a coluna que contém a string estão entre aspas duplas. Observe que as aspas da string serão removidas, a menos que sejam escapadas. Exemplo (onde " é o caractere de aspas e \ é o caractere de escape): 1955,"old, \"rare\", Chevrolet",$1000 |
| Campo | Descrição |
|---|---|
|
customInfo |
Esta seção contém quaisquer parâmetros customizados que foram configurados usando o parâmetro interno dfmCustomProperties. O parâmetro interno dfmCustomProperties deve ser especificado no seguinte formato: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Exemplo: Color=Blue;Size=Large;Season=Spring Para ver uma explicação sobre como definir parâmetros internos, consulte Amazon S3. |
| Campo | Descrição |
|---|---|
|
sourceSchema |
O esquema que contém a tabela de origem. |
|
sourceTable |
O nome da tabela de origem. |
|
targetSchema |
O nome do esquema da tabela de destino (se o nome do esquema de origem tiver sido alterado). |
|
targetTable |
O nome da tabela de destino (se o nome da tabela de origem tiver sido alterado). |
|
tableVersion |
A tarefa de aterrisagem do data lake atribui um número de versão interno à tabela. O número da versão aumenta sempre que ocorre uma alteração de DDL na tabela de origem. |
|
columns |
Informações sobre as colunas da tabela. |
|
ordinal |
A posição da coluna no registro (1, 2, 3, etc.). |
|
ausente |
O nome da coluna. |
|
type |
O tipo de dados da coluna. Para obter mais informações, consulte Supported data types. |
|
largura |
O tamanho máximo dos dados (em bytes) permitido para a coluna. |
|
scale |
O número máximo de dígitos à direita da vírgula decimal permitido para um número. |
|
primaryKeyPos |
A posição da coluna na chave primária ou no índice exclusivo da tabela. O valor é zero se a coluna não fizer parte da chave primária da tabela. |