Estrutura de visualização do datamart
Este tópico descreve as colunas internas do cabeçalho (identificáveis pelo prefixo hdr__) das visualizações do datamart. Os pipelines de dados geralmente culminam em datamarts, que desnormalizam os dados em esquemas em estrela. Fatos apresentam uma estrutura conveniente para consumo por analistas que usam modelagem dimensional. Portanto, entender a função das colunas de cabeçalho permitirá que você gere relatórios mais focados para análise e consumo por aplicativos downstream.
Exibição de fatos
Formato do nome da exibição: <DATA_ASSET_SCHEMA>.[<PREFIX>]<FACT>
As seguintes colunas de cabeçalho são adicionadas à estrutura da exibição:
|
Coluna |
Tipo |
Descrição |
|---|---|---|
| hdr__deleted | Booleano |
Indica se o registro foi excluído ou não da tabela de fatos. |
| hdr_{dimension-name}_key_id | int64 |
Referência às dimensões de Tipo 1 e de Tipo 2. A exibição de fatos conterá uma coluna separada para cada dimensão no fato. Exemplo: hdr__EMPLOYEES_key_id |
Exibição de dimensão de Tipo 1
Formato do nome de exibição: <DATA_ASSET_SCHEMA>.[<PREFIX>]<DIMENSION>
As seguintes colunas de cabeçalho são adicionadas à estrutura da exibição:
|
Coluna |
Tipo |
Descrição |
|---|---|---|
| hdr_{dimension-name}_key_id | int64 |
Sequência incrementada por registro. |
| hdr__deleted | Booleano |
Indica se o registro foi excluído ou não da tabela de dimensões. |
Exibição de dimensão de Tipo 2
Formato do nome de exibição: <INTERNAL_SCHEMA>.[<PREFIX>]<DIMENSION>
As seguintes colunas de cabeçalho são adicionadas à estrutura da exibição:
|
Coluna |
Tipo |
Descrição |
|---|---|---|
|
hdr_{dimension-name}_key_id |
int64 |
Sequência incrementada por registro. |
| hdr__from_timestamp | carimbo de data/hora |
A data e hora de início do UTC para essa versão do registro. Por exemplo, a coluna pode indicar a data em que um cliente começou a morar em um determinado endereço. Essa coluna permite que você:
Para uma dimensão de Tipo 2 com entidades desnormalizadas, esse é o carimbo de data/hora do conjunto de dados atualizado no ativo de dados de Armazenamento ou Transformação. |
| hdr__to_timestamp | carimbo de data/hora |
O carimbo de data/hora de término UTC da versão do registro. A coluna é usada para delimitar o intervalo de datas para uma determinada versão do registro. Por exemplo, a coluna pode indicar a data em que um cliente deixou de morar em um determinado endereço. Veja também a descrição da coluna hdr_from_timestamp acima. |
| hdr__operation | varchar(1) |
Operações de carga total:
Operações de processamento de alterações (usando tabelas de alterações):
Ações resultantes das operações de comparação e aplicação:
|
| hdr__was_current_from_timestamp | carimbo de data/hora |
Mostra a data e hora UTC de quando a última atualização foi aplicada ao registro. Essa coluna, junto com a coluna hdr__was_current_to_timestamp, permite que você analise dados por uma data específica, sabendo apenas o que você sabia na época. Por exemplo, digamos que todos os dias você calcule o total dos pedidos do dia anterior às 2h. Portanto, em 1º de dezembro, a soma total dos pedidos do dia anterior é de $1.000.000. No entanto, em 2 de dezembro, um registro é inserido informando que, em 30 de novembro, um pedido totalizando $500.000 foi feito. Portanto, o valor do pedido para 30 de novembro foi, na verdade, $1.500.000! No entanto, se você gerar um relatório para a soma total dos pedidos em 30 de novembro com base no que estava em vigor em 1º de dezembro às 2h, o resultado ainda seria de $1.000.000. |
| hdr__was_current_to_timestamp | carimbo de data/hora |
Essa coluna é preenchida quando um registro é substituído por um registro mais recente. Ele mostra a data e hora UTC de quando o registro foi processado e, portanto, não é mais o registro mais recente. Veja também a descrição da coluna hdr__was_current_from_timestamp acima. |