Ir para conteúdo principal

Descrição do arquivo de metadados

Quando a opção Criar arquivos de metadados na pasta de destino é selecionada, para cada arquivo CSV/JSON/Parquet, a tarefa de destino do data lake cria um arquivo de metadados correspondente na pasta de destino especificada.

O arquivo de metadados oferece vários benefícios, como permitir que processos em lote personalizados realizem uma melhor validação, suportar automação mais profunda, oferecer informações de linhagem e melhorar a confiabilidade do processamento.

Os arquivos de metadados estão descritos nas tabelas abaixo.

Nota informativa

Todos os carimbos de data/hora estão no formato ISO-8601, por exemplo, 2016-08-02T10:05:04.802.

Arquivo de informações da tarefa
Campo Descrição

ausente

O nome da tarefa de aterrissagem do data lake.

sourceEndpoint

O nome definido nas configurações do endpoint de origem.

sourceEndpointType

O tipo de conector de origem (por exemplo, Oracle, MySQL, etc.).

sourceEndpointUser

O usuário definido nas configurações do endpoint de origem.

replicationServer

O nome do host da máquina na qual o Data Movement gateway está instalado.

operação

Se um arquivo de dados de destino tiver sido criado, este campo conterá o seguinte valor: dataProduced

Arquivo de informações do arquivo
Campo Descrição

ausente

O nome do arquivo de dados sem a extensão.

Extensão

A extensão do arquivo de dados (.csv ou.json de acordo com o formato do arquivo de destino selecionado).

location

A localização do arquivo de dados.

startWriteTimestamp

Carimbo de data/hora em UTC indicando quando a gravação no arquivo foi iniciada.

endWriteTimestamp

Carimbo de data/hora em UTC indicando quando a gravação no arquivo foi terminada.

firstTransactionTimestamp

Carimbo de data/hora em UTC do primeiro registro no arquivo.

lastTransactionTimestamp

Carimbo de data/hora em UTC do último registro no arquivo.

content

Os valores podem ser data (para aterrisagem de carregamento total) ou changes (para aterrisagem de CDC), conforme dados do arquivo CSV correspondente.

recordCount

O número de registros no arquivo.

errorCount

O número de erros de dados encontrados durante a criação do arquivo.

Arquivo de informações de formato
Campo Descrição

format

delimited ou json , de acordo com o formato de arquivo de destino selecionado.

opções

As opções para formato de arquivo delimited . Essas opções não serão mostradas para o formato json porque não são relevantes.

recordDelimiter

O delimitador usado para separar registros (linhas) nos arquivos de destino. O padrão é uma nova linha (\n).

fieldDelimiter

O delimitador usado para separar campos (colunas) nos arquivos de destino. O padrão é uma vírgula.

nullValue

A string usada para indicar um valor nulo no arquivo de destino.

quoteChar

O caractere usado no início e no final de uma coluna. O padrão é o caractere de aspas duplas (").

escapeChar

O caractere usado para escapar de uma string quando a string e a coluna que contém a string estão entre aspas duplas. Observe que as aspas da string serão removidas, a menos que sejam escapadas.

Exemplo (onde " é o caractere de aspas e \ é o caractere de escape):

1955,"old, \"rare\", Chevrolet",$1000

Arquivo de informações personalizadas
Campo Descrição

customInfo

Esta seção contém quaisquer propriedades personalizadas que foram configuradas usando a propriedade interna dfmCustomProperties.

O parâmetro interno dfmCustomProperties deve ser especificado no seguinte formato:

Parameter1=Value1;Parameter2=Value2;Parameter3=Value3

Exemplo:

Color=Blue;Size=Large;Season=Spring

Para ver uma explicação sobre como definir propriedades internas, consulte Amazon S3.

Arquivo de informações de dados
Campo Descrição

sourceSchema

O esquema que contém a tabela de origem.

sourceTable

O nome da tabela de origem.

targetSchema

O nome do esquema da tabela de destino (se o nome do esquema de origem tiver sido alterado).

targetTable

O nome da tabela de destino (se o nome da tabela de origem tiver sido alterado).

tableVersion

A tarefa de aterrisagem do data lake atribui um número de versão interno à tabela. O número da versão aumenta sempre que ocorre uma alteração de DDL na tabela de origem.

columns

Informações sobre as colunas da tabela.

ordinal

A posição da coluna no registro (1, 2, 3, etc.).

ausente

O nome da coluna.

type

O tipo de dados da coluna. Para obter mais informações, consulte Supported data types.

largura

O tamanho máximo dos dados (em bytes) permitido para a coluna.

scale

O número máximo de dígitos à direita da vírgula decimal permitido para um número.

primaryKeyPos

A posição da coluna na chave primária ou no índice exclusivo da tabela. O valor é zero se a coluna não fizer parte da chave primária da tabela.

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!