Структура вида киоска данных
В этом разделе описываются внутренние столбцы заголовков (идентифицируются по префиксу hdr__) для видов киоска данных. Конвейеры данных часто достигают кульминации в киосках данных, что приводит к денормализации данных, которые преобразуются в схему типа «звезда». Факты представляют собой удобную структуру для использования аналитиками при моделировании с измерениями. Поэтому понимание роли столбцов заголовков позволяет создавать более сфокусированные отчеты для аналитики и для использования целевыми приложениями.
Вид фактов
Формат имени вида: <DATA_ASSET_SCHEMA>.[<PREFIX>]<FACT>
В структуру вида добавляются следующие столбцы заголовков.
|
Столбец |
Тип |
Описание |
|---|---|---|
| hdr__deleted | Булево значение |
Указывает, удалена ли запись из таблицы фактов. |
| hdr_{dimension-name}_key_id | int64 |
Ссылка на измерения Type 1 и Type 2. Вид факта содержит отдельный столбец для каждого измерения в факте. Пример: hdr__EMPLOYEES_key_id |
Вид измерения Type 1
Формат имени вида: <DATA_ASSET_SCHEMA>.[<PREFIX>]<DIMENSION>
В структуру вида добавляются следующие столбцы заголовков.
|
Столбец |
Тип |
Описание |
|---|---|---|
| hdr_{dimension-name}_key_id | int64 |
Последовательность увеличивается на запись. |
| hdr__deleted | Булево значение |
Указывает, удалена ли запись из таблицы измерений. |
Вид измерения Type 2
Формат имени вида: <INTERNAL_SCHEMA>.[<PREFIX>]<DIMENSION>
В структуру вида добавляются следующие столбцы заголовков.
|
Столбец |
Тип |
Описание |
|---|---|---|
|
hdr_{dimension-name}_key_id |
int64 |
Последовательность увеличивается на запись. |
| hdr__from_timestamp | timestamp |
Метка времени начала UTC для этой версии записи. Например, столбец может указывать дату, когда клиент переехал на новое место жительства. Этот столбец позволяет выполнять следующее:
Для измерения Type 2 с денормализованными объектами это метка времени из обновленного набора данных в ресурсе данных хранилища или преобразования. |
| hdr__to_timestamp | timestamp |
Метка времени окончания UTC для версии записи. Столбец используется для разграничения диапазонов дат для данной версии записи. Например, столбец может указывать дату, когда клиент переехал на новое место жительства. См. также описание столбца hdr_from_timestamp выше. |
| hdr__operation | varchar(1) |
Операции полной загрузки:
Операции обработки изменений (с использованием таблиц изменений):
Действия в результате операций сравнения и применения:
|
| hdr__was_current_from_timestamp | timestamp |
Временная метка (UTC) последнего обновления, примененного к записи. Этот столбец вместе с hdr__was_current_to_timestamp позволяет анализировать данные по определенной дате с учетом только той информации, которая имелась на тот момент. Например, ежедневно в 02:00 рассчитывается итог по заказам за предыдущий день. Таким образом, на 1 декабря итоговая сумма по заказам за предыдущий день составляет $1 000 000. Однако 2 декабря вставляется запись с информацией о том, что 30 ноября был размещен заказ на сумму $500 000. Таким образом, сумма заказов за 30 ноября на самом деле составила $1 500 000! Однако если создается отчет по итоговой сумме заказов за 30 ноября на основе данных по состоянию на 02:00 1 декабря, результат все равно будет $1 000 000. |
| hdr__was_current_to_timestamp | timestamp |
Этот столбец заполняется, когда существующая запись заменяется более новой. Он показывает метку времени (UTC) обработки записи, которая поэтому больше не является самой последней. См. также описание столбца hdr__was_current_from_timestamp выше. |