Описание файла метаданных
Когда установлен флажок Создать файлы метаданных в целевой папке, для каждого файла CSV/JSON/Parquet задача промежуточного хранения в озере данных создает соответствующий файл метаданных в указанной целевой папке.
Файл метаданных обеспечивает ряд преимуществ, например возможность применения пользовательских пакетных процессов для выполнения более качественных проверок, поддержки более глубокой автоматизации, предоставления информации о происхождении и улучшения надежности обработки.
Файлы метаданных описаны в приведенных ниже таблицах.
Все метки времени создаются в формате ISO-8601, например 2016-08-02T10:05:04.802.
| Поле | Описание |
|---|---|
|
имя |
Имя задачи промежуточного хранения в озере данных. |
|
sourceEndpoint |
Имя, определенное в параметрах исходной конечной точки. |
|
sourceEndpointType |
Тип коннектора источника (например, Oracle, MySQL и т д.). |
|
sourceEndpointUser |
Пользователь, определенный в параметрах исходной конечной точки. |
|
replicationServer |
Имя сервера машины, на которой установлено ПО Data Movement Gateway. |
|
operation |
Если целевой файл данных создан, это поле будет содержать следующее значение: dataProduced |
| Поле | Описание |
|---|---|
|
имя |
Имя файла данных без расширения. |
|
расширение |
Расширение файла данных (.csv или .json в соответствии с выбранным целевым форматом файла). |
|
location |
Местоположение файла данных. |
|
startWriteTimestamp |
Метка времени в формате UTC, указывающая время начала записи в файл. |
|
endWriteTimestamp |
Метка времени в формате UTC, указывающая время окончания записи в файл. |
|
firstTransactionTimestamp |
Метка времени в формате UTC для первой записи в файле. |
|
lastTransactionTimestamp |
Метка времени в формате UTC для последней записи в файле. |
|
content |
Значения могут быть data (для промежуточного хранения в режиме полной загрузки) или changes (для промежуточного хранения в режиме CDC), в зависимости от данных в соответствующем файле CSV. |
|
recordCount |
Количество записей в файле. |
|
errorCount |
Количество ошибок данных, обнаруженных во время создания файла. |
| Поле | Описание |
|---|---|
|
format |
delimited или json в зависимости о выбранного целевого формата файла. |
|
опции |
Параметры для формата файла с разделителями (delimited ). Эти параметры не будут отображаться для форматов json , так как не являются релевантными. |
|
recordDelimiter |
Разделитель, который используется для разделения записей (строк) в целевых файлах. По умолчанию это новая строка (\n). |
|
fieldDelimiter |
Разделитель, который используется для разделения полей (столбцов) в целевых файлах. По умолчанию используется запятая. |
|
nullValue |
Строка, которая используется для указания нулевого значения в целевом файле. |
|
quoteChar |
Символ, который используется в начале и в конце столбца. По умолчанию это символ двойных кавычек ("). |
|
escapeChar |
Символ, который используется для маскировки строки, когда и строка, и содержащий ее столбец заключены в двойные кавычки. Обратите внимание, что незамаскированные кавычки будут удалены из строки. Пример (где «"» — это символ кавычек, а «\» — escape-символ): 1955,"old, \"rare\", Chevrolet",$1000 |
| Поле | Описание |
|---|---|
|
customInfo |
В этом разделе содержатся все пользовательские свойства, которые были заданы с использованием внутреннего свойства dfmCustomProperties. Внутренний параметр dfmCustomProperties должен быть задан в следующем формате: Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 Пример: Color=Blue;Size=Large;Season=Spring Инструкции по настройке внутренних свойств см. в разделе Amazon S3. |
| Поле | Описание |
|---|---|
|
sourceSchema |
Схема, содержащая исходную таблицу. |
|
sourceTable |
Имя исходной таблицы. |
|
targetSchema |
Имя целевой схемы таблицы (если имя исходной схемы было изменено). |
|
targetTable |
Имя целевой таблицы (если имя исходной таблицы было изменено). |
|
tableVersion |
Задача промежуточного хранения в озере данных назначает таблице внутренний номер версии. Номер версии увеличивается при каждом изменении DDL в исходной таблице. |
|
columns |
Информация о столбцах таблицы. |
|
ordinal |
Позиция столбца в записи (1, 2, 3 и т. д.). |
|
имя |
Имя столбца. |
|
type |
Тип данных столбца. Для получения более подробной информации см. раздел Supported data types. |
|
ширина |
Максимальный размер данных (в байтах) разрешенный для столбца. |
|
scale |
Максимальное количество знаков справа от десятичной точки, разрешенное для числа. |
|
primaryKeyPos |
Позиция столбца в первичном ключе или уникальном индексе таблицы. Значение 0, если столбец не включен в первичный ключ таблицы. |