Ir para conteúdo principal

Preparando dados

A primeira etapa da transferência de dados é transferir os dados. Isso envolve a transferência de dados continuamente da fonte de dados local para uma área de aterrissagem usando uma tarefa do Qlik Replicate. A tarefa de replicação é controlada por um ativo de dados de aterrissagem no Qlik Cloud Serviços de dados.

Antes de criar um ativo de dados de aterrissagem, você precisa criar a tarefa do Qlik Replicate conforme descrito em Criar uma tarefa de replicação. Você também deve ter a função Pode consumir no espaço em que o recurso Enterprise Manager reside.

Você pode usar dois tipos diferentes de áreas de aterrissagem.

  • Amazon S3

    Quando você transfere dados para um bucket do Amazon S3, pode usá-los para gerar tabelas QVD prontas para análises.

  • Snowflake

    Quando você transfere dados ao Snowflake, pode armazenar tabelas Snowflake.

Criar e configurar um ativo de dados de aterrissagem

  1. Clique em Adicionar novo na página inicial do Serviços de dados e selecione Criar ativo de dados.
  2. No diálogo Criar ativo de dados, insira:

    • Nome: Nome do ativo de dados de aterrissagem.

    • Espaço: Espaço de dados no qual criar o ativo de dados de aterrissagem.

    • Tipo de ativo: Selecione Aterrissagem.

    Você pode adicionar tags que permitam encontrar ativos de dados com mais facilidade na página inicial do Serviços de dados .

    Selecione Abrir para abrir o ativo de dados de aterrissagem quando ele for criado.

    Clique em Criar.

  3. Clique em Selecionar tarefa Replicate.

  4. Selecione o recurso do Enterprise Manager que deseja usar.

    Dica: Esse é o recurso criado conforme descrito em Conectar o Qlik Cloud e o Qlik Enterprise Manager.
  5. Selecione o servidor Replicate que contém a tarefa que você deseja usar. Você pode selecionar um servidor específico ou Todos.

    A lista de tarefas de replicação disponíveis é preenchida quando você seleciona um servidor.

    Nota: A tarefa de replicação deve ter sido criada conforme descrito em Criar uma tarefa de replicação para estar disponível.
  6. Selecione a tarefa de replicação.

  7. Clique em Selecionar.

  8. Clique em Salvar.

O ativo de dados de aterrissagem na nuvem foi criado e seu status deve ser Pronto para executar, com uma indicação de que ele ainda não foi catalogado.

Agora você pode:

  • Executar o ativo de dados de aterrissagem na nuvem que inicia a replicação. O ativo também será catalogado.

  • Catalogar o ativo de dados de aterrissagem na nuvem. Isso disponibiliza o ativo de dados de aterrissagem na nuvem como fonte para um ativo de dados de armazenamento permanente, sem iniciar a transferência de dados.

    Clique em Catalogar para catalogar o ativo de dados.

    Aviso: Depois de catalogar o ativo de dados, não é possível fazer alterações que afetem a seleção da tabela ou a estrutura do ativo de dados. Você também não pode alterar a pasta de destino. Qualquer alteração requer que você recrie o ativo de dados e todos os ativos que o consomem e já estão catalogados.

Quando o ativo é salvo e catalogado, o status exibe Pronto para executar com uma indicação de que o ativo foi catalogado com êxito. Agora, você pode:

  • Visualizar a estrutura e os metadados das tabelas de ativos de dados.

    Clique em Tabelas.

  • Execute o ativo de dados para iniciar a tarefa de replicação que transfere dados continuamente da fonte de dados local para a área de aterrissagem.

    Clique em Executar.

  • Crie um ativo de dados de armazenamento com base neste ativo de dados de aterrissagem. O ativo de dados de armazenamento converte os dados na área de aterrissagem em tabelas prontas para análise. A replicação e a conversão não começarão até que os ativos de dados estejam em execução.

    Para obter mais informações, consulte Criando um ativo de dados para gerar tabelas QVD

Executando o ativo de dados de aterrissagem

Agora, você pode executar o ativo de dados de aterrissagem. Isso inicia a tarefa de replicação que transfere a fonte de dados local para a área de aterrissagem.

  1. Clique em Executar.

A replicação será iniciada agora, e a tarefa Qlik Replicate associada deve estar em execução. Em primeiro lugar, a fonte de dados completa é copiada e depois as alterações são rastreadas. Enquanto isso, o ativo de dados terá o status Em execução. Isso significa que as alterações são continuamente rastreadas e transferidas quando descobertas. Isso mantém atualizados os dados de aterrissagem na área de aterrissagem.

Na página inicial do Serviços de dados, você pode ver o status, a data e a hora de quando os dados de aterrissagem são atualizados e o número de tabelas com erro. Você também pode abrir o ativo de dados e selecionar a guia Tabelas para visualizar as informações básicas de metadados para as tabelas.

Você pode monitorar o progresso em detalhes abrindo a tarefa de replicação no Qlik Enterprise Manager e selecionando a exibição Monitorar.

Com o Qlik Cloud Landing (Amazon S3), se você carregar as tabelas, uma nova cópia do carregamento completo será criada. Isso significa que você pode carregar as tabelas sem problemas enquanto os aplicativos de destino estão lendo as alterações.

Operações no ativo de dados de aterrissagem

Você pode executar as seguintes operações em um ativo de dados de aterrissagem no menu de ativos.

  • Abrir

    Isso abre o ativo de dados de aterrissagem. É possível visualizar a estrutura da tabela e os detalhes sobre o ativo de dados.

  • Editar

    É possível editar o nome e a descrição do ativo e adicionar tags.

  • Parar

    É possível interromper a operação do ativo de dados. Isso interrompe a tarefa do Replicate, e a área de aterrissagem não é atualizada com os dados alterados.

  • Retomar

    É possível retomar a operação de um ativo de dados do ponto em que ela foi interrompida. Isso também retoma a operação da tarefa do Replicate.

  • Excluir

    É possível excluir o ativo de dados.

    Nota: Os dados na área de aterrissagem não são excluídos. Você precisa excluí-lo manualmente.

Recomendamos que você não opere a tarefa no Qlik Enterprise Manager, exceto para carregar tabelas.

Operações Carregar Destino na tarefa do Qlik Replicate

Se você precisar executar uma operação Carregar Destino na tarefa do Qlik Replicate, deve excluir e recriar os ativos de dados de aterrissagem e armazenamento que leem a partir desta tarefa para evitar perda de dados.

  1. Interrompa a tarefa do Replicate se ela ainda não tiver sido interrompida.

  2. Exclua o ativo de dados de aterrissagem e o ativo de dados de armazenamento.

  3. Crie um novo ativo de dados de aterrissagem usando a tarefa do Replicate.

  4. Crie um novo ativo de dados de armazenamento que consuma o ativo de dados de aterrissagem.

  5. Execute o novo ativo de dados de aterrissagem.

  6. Execute o novo ativo de armazenamento.

Manutenção da área de aterrissagem

A limpeza automática da área de aterrissagem não tem suporte. Isso pode afetar o desempenho.
Recomendamos que você execute limpezas manuais da carga completa antiga e altere os dados na área de aterrissagem.

  • Amazon S3

    Se houver várias pastas de dados de carregamento total, você poderá excluir todas elas, exceto a mais recente. Você também pode excluir as partições de dados alterados que foram processadas.

  • Snowflake

    Você pode excluir os registros da tabela de alterações que foram processados.