Armazenando conjuntos de dados

Você pode armazenar conjuntos de dados usando uma tarefa de armazenamento de dados. A tarefa de armazenamento de dados consome os dados que foram enviados para a área de pouso na nuvem por uma tarefa de aterrissagem de dados. Você pode usar as tabelas em um aplicativo de análise, por exemplo.

• Você pode criar uma tarefa de armazenamento de dados quando o status da tarefa de dados de aterrissagem for pelo menos Pronto para ser preparado.

• Você pode preparar uma tarefa de armazenamento de dados quando o status da tarefa de dados de destino for pelo menos Pronto para execução.

A tarefa de dados de armazenamento usará o mesmo modo de operação (Carregamento total ou Carregamento total e CDC) como a tarefa de dados de aterrissagem consumido. As propriedades de configuração são diferentes entre os dois modos de operação, assim como opções de monitoramento e controle. Se você usar uma tarefa de dados de aterrissagem do destino na nuvem apenas com carregamento total, a tarefa de dados de armazenamento criará exibições para as tabelas de aterrissagem em vez de gerar tabelas físicas.

Criando uma tarefa de armazenamento de dados

Você pode criar uma tarefa de armazenamento de dados de três maneiras:

• Clique em ... em uma tarefa de dados de destino e selecione Armazenar dados para criar uma tarefa de armazenamento de dados com base nesse ativo de dados de destino.

• Clicar em Adicionar novo e depois em Armazenar dados. Nesse caso, você precisará especificar qual tarefa de dados de aterrissagem usar.

• Quando você integra dados, uma tarefa de armazenamento de dados é criada. Ela está conectado à tarefa de dados de aterrissagem, também criada ao integrar dados.

  Para obter mais informações, consulte Integrando dados.

Quando você tiver criado a tarefa de armazenamento de dados:

1. Abra a tarefa de armazenamento de dados clicando em ... e selecionando Abrir.
   A tarefa de armazenamento de dados é aberta, e você pode visualizar os conjuntos de dados de saída com base nas tabelas do ativo de dados inicial.

2. Faça todas as alterações necessárias nos conjuntos de dados incluídos, como transformações, filtragem de dados ou adição de colunas.

   Para obter mais informações, consulte Gerenciando conjuntos de dados.

3. Depois de adicionar as transformações desejadas, você pode validar os conjuntos de dados clicando em Validar conjuntos de dados. Se a validação encontrar erros, corrija os erros antes de continuar.

   Para obter mais informações, consulte Validando e ajustando os conjuntos de dados.

4. Criar um modelo de dados

   Clique em Modelo para definir os relacionamentos entre os conjuntos de dados incluídos.

   Para obter mais informações, consulte Criando um modelo de dados.

5. Clique em Preparar para preparar a tarefa de dados e todos os artefatos necessários. Isso pode demorar um pouco.

   Você pode acompanhar o progresso em Progresso da preparação na parte inferior da tela.

6. Quando o status for exibido Pronto para execução, você poderá executar a tarefa de dados.

   Clique em Executar.

   A tarefa de dados agora começará a criar conjuntos de dados para armazenar os dados.

Mantendo dados históricos

Você pode manter os dados históricos de alterações tipo 2 para permitir que recrie facilmente os dados conforme eles foram observados em um momento específico. Isso cria um armazenamento de dados históricos completo (HDS).

• As dimensões de alteração lenta do tipo 2 são compatíveis.

• Quando um registro alterado é mesclado, ele cria um novo registro para armazenar os dados alterados e deixa o registro antigo intacto.

• Novos registros HDS são automaticamente marcados com data e hora, para permitir que você crie análises de tendências e outros data marts analíticos orientados por tempo.

Você pode ativar os dados históricos clicando em:

• Replicação com dados atuais e histórico de dados anteriores, nas Configurações ao integrar dados.

• Manter registros históricos de alterações e arquivamento de registros de alterações na caixa de diálogo Configurações de uma tarefa de armazenamento.

Os dados do HDS são armazenados na tabela Prior no esquema de dados interno. Você pode usar as exibições de histórico e exibições de histórico ao vivo no esquema de dados externo para visualizar dados históricos.

• A exibição de histórico mescla os dados da tabela atual e da tabela anterior. Essa exibição inclui todas as alterações mescladas.

• A exibição de histórico ao vivo mescla os dados da tabela Atual, da tabela Anterior e da tabela Alterações. Essa exibição também inclui todas as alterações que ainda não foram mescladas.

Para obter mais informações, consulte Arquitetura de conjunto de dados em um armazém de dados na nuvem.

Programando uma tarefa de armazenamento

Você pode programar uma tarefa de armazenamento para ser atualizada periodicamente.

• Se a tarefa de entrada de dados de aterrissagem estiver usando Carregamento total e CDC, você só poderá definir uma programação com base no tempo.

• Se a tarefa de entrada de dados de aterrissagem estiver usando Carregamento total, você poderá definir uma programação baseada no tempo ou definir a tarefa para ser executada quando a execução da tarefa de entrada de dados de aterrissagem for concluída.

  Nota informativaAo executar uma programação baseada no tempo com uma tarefa de entrada de dados de aterrissagem usando Carregamento total, considere que todas as tabelas concluídas na aterrissagem estão disponíveis enquanto a tarefa de aterrissagem ainda está em execução. Isso permite que você execute a aterrissagem e o armazenamento simultaneamente, o que pode melhorar o tempo total de carregamento.

Clique em ... em uma tarefa de dados e selecione Programação para criar uma programação. A configuração de programação padrão é herdada das configurações no projeto de dados. Para obter mais informações sobre as configurações padrão, consulte Valores padrão de armazenamento. Você sempre precisa definir Programação como Ativada para ativar a programação.

Programações baseadas no tempo

Você pode usar uma programação baseada no tempo para executar a tarefa de armazenamento de dados, independentemente do tipo de aterrissagem.

• Selecione Em momento específico em Executar a tarefa de dados.

Você pode definir uma programação por hora, dia, semana ou mês.

Programações baseadas em eventos

• Selecione Na conclusão bem-sucedida de qualquer tarefa de dados de entrada em Executar a tarefa de dados.

A tarefa de armazenamento será executada sempre que a tarefa de entrada de dados de destino for concluída com êxito.

Monitorando uma tarefa de armazenamento

Você pode monitorar o status e o progresso de uma tarefa de armazenamento clicando em Monitorar.

Para obter mais informações, consulte Monitorando uma tarefa de dados individual.

Solução de problemas com uma tarefa de dados de armazenamento

Quando houver problemas com uma ou mais tabelas em uma tarefa de dados de armazenamento, talvez seja necessário recarregar ou recriar os dados. Há algumas opções disponíveis para fazer isso. Considere qual opção usar na seguinte ordem:

1. Você pode recarregar o conjunto de dados na aterrissagem. O recarregamento do conjunto de dados na aterrissagem acionará o processo de comparação no armazenamento e corrigirá os dados, mantendo o histórico do tipo 2. Essa opção também deve ser considerada quando:

   • O carregamento completo foi realizado há muito tempo e há um grande número de alterações.

   • Se os registros da tabela de carregamento total e alteração que foram processados foram excluídos como parte da manutenção da área de aterrisagem.

   Aterrissagem de dados de fontes de dados

2. Você pode recarregar dados na tarefa de dados de armazenamento.

   Se os dados históricos estiverem ativados, uma recarga no armazenamento poderá causar perda de dados históricos. Se isso for um problema, considere recarregar a aterrissagem a partir da fonte.

   Carregando dados

3. Você pode recriar tabelas. Isso recria os conjuntos de dados da origem.

   Essa deve ser considerada a última opção, pois você também deve recriar todas as tarefas de dados downstream que consomem essa tarefa de dados.

   • Clique em ... e depois em Recriar tabelas.

Carregando dados

Você pode executar um recarregamento manual de tabelas. Isso é útil quando há problemas com uma ou mais tabelas.

1. Abra a tarefa de dados e selecione a guia Monitor.

2. Selecione as tabelas que deseja carregar.

3. Clique em Carregar tabelas.

O recarregamento ocorrerá na próxima vez que a tarefa for executada e é realizado por meio das seguintes ações:

1. Truncamento das tabelas.

2. Carregamento dos dados de aterrissagem nas tabelas.

3. Carregamento das alterações acumuladas desde o momento do recarregamento.

As tarefas downstream serão recarregadas para aplicar as alterações e para evitar retrocessos. Isso é executado fazendo o seguinte:

1. Comparando com a carga total e aplicando as alterações.

2. Aplicando as alterações após o recarregamento.

Você pode cancelar o recarregamento das tabelas que estão pendentes de recarregamento clicando em Cancelar recarregamento. Isso não afetará as tabelas que já foram recarregadas, e os recarregamentos que estiverem em andamento serão concluídos.

Em alguns casos, é recomendável recarregar o conjunto de dados na aterrissagem:

• Se os dados históricos estiverem ativados, uma recarga no armazenamento poderá causar perda de dados históricos. O recarregamento do conjunto de dados na aterrissagem acionará o processo de comparação no armazenamento e corrigirá os dados, mantendo o histórico do tipo 2.

• Quando o carregamento completo foi realizado há muito tempo e há um grande número de alterações.

• Se os registros da tabela de carregamento total e alteração que foram processados foram excluídos como parte da manutenção da área de aterrisagem.

Configurações de armazenamento

Você pode definir propriedades para a tarefa de armazenamento de dados quando a plataforma de dados é um data warehouse na nuvem. Se você usar Qlik Cloud como plataforma de dados, consulte Configurações de armazenamento para projetos de dados com o Qlik Cloud como plataforma de dados.

• Clique em Configurações.

Configurações gerais

• Banco de dados

  Banco de dados a ser usado na fonte de dados.

• Esquema da tarefa de dados

  Você pode alterar o nome do esquema da tarefa de dados de armazenamento. O nome padrão é o nome da tarefa de armazenamento.

• Esquema interno

  Você pode alterar o nome do esquema de ativo de dados de armazenamento interno. O nome padrão é o nome da tarefa de armazenamento com _internal anexado.

• Prefixo para todas as tabelas e visualizações

  Você pode definir um prefixo para todas as tabelas e exibições criadas com essa tarefa.

  Nota informativaVocê deve usar um prefixo exclusivo quando quiser usar um esquema de banco de dados em várias tarefas de dados.

• Histórico

  Você pode manter os dados históricos de alterações para permitir que você recrie facilmente os dados conforme eles foram observados em um momento específico. Você pode usar exibições de histórico e exibições de histórico ao vivo para ver dados históricos. Selecione Manter registros históricos e arquivo de registros de alterações para habilitar dados históricos de alterações.

• Ao comparar o armazenamento com a aterrisagem, você pode escolher como gerenciar os registros que não existem na aterrisagem.

  • Marcar como excluído

    Isso executará uma exclusão reversível de registros que não existem na aterrisagem.

  • Manter

    Isso manterá todos os registros que não existem na aterrisagem.

  Nota informativaOs conjuntos de dados na tarefa de armazenamento de dados devem ter um conjunto de chaves primárias. Caso contrário, todas as vezes que os dados de aterrissagem forem recarregados, uma carga inicial será executada na tarefa Armazenamento de dados.

Configurações de exibições

• Visualizações ao vivo

  Use visualizações ao vivo para ler as tabelas com o mínimo de latência.

  Para obter mais informações sobre visualizações ao vivo, consulte Usando exibições ao vivo.

  Nota informativaAs visualizações ao vivo são menos eficientes do que as visualizações padrão e requerem mais recursos, pois os dados aplicados precisam ser recalculados.

Configurações de tempo de execução

• Execução paralela

  Você pode definir o número máximo de conexões de dados para carregamento totais para um número de 1 a 5.

• Armazém

  O nome do armazém de dados na nuvem. Essa configuração é aplicável apenas para o Snowflake.

Configurações de armazenamento para projetos de dados com o Qlik Cloud como plataforma de dados

Você pode definir qual pasta usar no armazenamento quando a plataforma de dados for o Qlik Cloud como plataforma de dados.

1. Clique em Configurações.

2. Selecione qual pasta usar no armazenamento.

3. Clique em OK quando estiver pronto.

Operações na tarefa de armazenamento de dados

Você pode realizar as seguintes operações em uma tarefa de armazenamento de dados no menu de tarefas.

• Abrir

  Isso abre a tarefa de armazenamento de dados. É possível visualizar a estrutura da tabela e os detalhes sobre a tarefa de dados e monitorar o status do carregamento total e dos lotes de alterações.

• Editar

  Você pode editar o nome e a descrição da tarefa e adicionar tags.

• Excluir

  Você pode excluir a tarefa de dados.

• Preparar

  Isso prepara uma tarefa para execução. Isso inclui:

  • Validar que o design é válido.

  • Criar ou alterar as tabelas e exibições físicas para corresponder ao design.

  • Gerando o código SQL para a tarefa de dados

  • Criar ou alterar as entradas do catálogo para os conjuntos de dados de saída da tarefa.

  Você pode acompanhar o progresso em Progresso da preparação na parte inferior da tela.

• Validar conjuntos de dados

  Isso valida todos os conjuntos de dados incluídos na tarefa de dados.

  Expanda Validar e ajustar para ver todos os erros de validação e alterações de design.

• Recriar tabelas

  Isso recria os conjuntos de dados da origem.

  Você também deve recriar todas as tarefas de dados posteriores que consomem essa tarefa de dados.

• Parar

  Você pode interromper a operação da tarefa de dados. A tarefa de dados não continuará atualizando as tabelas.

  Nota informativaEssa opção está disponível quando a tarefa de dados está em execução.

• Reiniciar

  Você pode retomar a operação de uma tarefa de dados a partir do ponto em que ela foi interrompida.

  Nota informativaEssa opção está disponível quando a tarefa de dados é interrompida.

• Transformar dados

  Crie transformações reutilizáveis em nível de linha com base em regras e SQL personalizado. Isso cria uma tarefa de transformação de dados.

  Transformando dados

• Criar datamart

  Crie um datamart para aproveitar suas tarefas de dados. Isso cria uma tarefa de dados de Datamart.

  Criando e gerenciando datamarts

Limitações

• Se a tarefa de dados contiver conjuntos de dados e você alterar quaisquer parâmetros na conexão, por exemplo, nome de usuário, banco de dados ou esquema, supõe-se que os dados existam na nova localização. Se este não for o caso, você pode:

  • Mover os dados na origem para a nova localização.

  • Crie uma nova tarefa de dados com as mesmas configurações.