Descrição do arquivo de metadados
Quando a opção Criar arquivos de metadados na pasta de destino é selecionada, para cada arquivo CSV/JSON/Parquet, a tarefa de destino do data lake cria um arquivo de metadados correspondente na pasta de destino especificada.
O arquivo de metadados oferece vários benefícios, como permitir que processos em lote personalizados realizem uma melhor validação, suportar automação mais profunda, oferecer informações de linhagem e melhorar a confiabilidade do processamento.
Os arquivos de metadados estão descritos nas tabelas abaixo.
Todos os carimbos de data/hora estão no formato ISO-8601, por exemplo, 2016-08-02T10:05:04.802.
Campo | Descrição |
---|---|
ausente |
O nome da tarefa de aterrissagem do data lake. |
sourceEndpoint |
O nome definido nas configurações do endpoint de origem. |
sourceEndpointType |
O tipo de conector de origem (por exemplo, Oracle, MySQL, etc.). |
sourceEndpointUser |
O usuário definido nas configurações do endpoint de origem. |
replicationServer |
O nome do host da máquina na qual o Data Movement gateway está instalado. |
operação |
Se um arquivo de dados de destino tiver sido criado, este campo conterá o seguinte valor: dataProduced |
Campo | Descrição |
---|---|
ausente |
O nome do arquivo de dados sem a extensão. |
Extensão |
A extensão do arquivo de dados (.csv ou.json de acordo com o formato do arquivo de destino selecionado). |
location |
A localização do arquivo de dados. |
startWriteTimestamp |
Carimbo de data/hora em UTC indicando quando a gravação no arquivo foi iniciada. |
endWriteTimestamp |
Carimbo de data/hora em UTC indicando quando a gravação no arquivo foi terminada. |
firstTransactionTimestamp |
Carimbo de data/hora em UTC do primeiro registro no arquivo. |
lastTransactionTimestamp |
Carimbo de data/hora em UTC do último registro no arquivo. |
content |
Os valores podem ser data (para aterrisagem de carregamento total) ou changes (para aterrisagem de CDC), conforme dados do arquivo CSV correspondente. |
recordCount |
O número de registros no arquivo. |
errorCount |
O número de erros de dados encontrados durante a criação do arquivo. |
Campo | Descrição |
---|---|
format |
delimited ou json , de acordo com o formato de arquivo de destino selecionado. |
opções |
As opções para formato de arquivo delimited . Essas opções não serão mostradas para o formato json porque não são relevantes. |
recordDelimiter |
O delimitador usado para separar registros (linhas) nos arquivos de destino. O padrão é uma nova linha (\n). |
fieldDelimiter |
O delimitador usado para separar campos (colunas) nos arquivos de destino. O padrão é uma vírgula. |
nullValue |
A string usada para indicar um valor nulo no arquivo de destino. |
quoteChar |
O caractere usado no início e no final de uma coluna. O padrão é o caractere de aspas duplas ("). |
escapeChar |
O caractere usado para escapar de uma string quando a string e a coluna que contém a string estão entre aspas duplas. Observe que as aspas da string serão removidas, a menos que sejam escapadas. Exemplo (onde " é o caractere de aspas e \ é o caractere de escape): 1955,"old, \"rare\", Chevrolet",$1000 |
Campo | Descrição |
---|---|
customInfo |
Esta seção contém quaisquer propriedades personalizadas que foram configuradas usando a propriedade interna dfmCustomProperties. O parâmetro interno dfmCustomProperties deve ser especificado no seguinte formato: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Exemplo: Color=Blue;Size=Large;Season=Spring Para ver uma explicação sobre como definir propriedades internas, consulte Amazon S3. |
Campo | Descrição |
---|---|
sourceSchema |
O esquema que contém a tabela de origem. |
sourceTable |
O nome da tabela de origem. |
targetSchema |
O nome do esquema da tabela de destino (se o nome do esquema de origem tiver sido alterado). |
targetTable |
O nome da tabela de destino (se o nome da tabela de origem tiver sido alterado). |
tableVersion |
A tarefa de aterrisagem do data lake atribui um número de versão interno à tabela. O número da versão aumenta sempre que ocorre uma alteração de DDL na tabela de origem. |
columns |
Informações sobre as colunas da tabela. |
ordinal |
A posição da coluna no registro (1, 2, 3, etc.). |
ausente |
O nome da coluna. |
type |
O tipo de dados da coluna. Para obter mais informações, consulte Supported data types. |
largura |
O tamanho máximo dos dados (em bytes) permitido para a coluna. |
scale |
O número máximo de dígitos à direita da vírgula decimal permitido para um número. |
primaryKeyPos |
A posição da coluna na chave primária ou no índice exclusivo da tabela. O valor é zero se a coluna não fizer parte da chave primária da tabela. |