Integrando dados

A primeira etapa da criação de um pipeline de dados em um projeto de dados do Qlik Cloud Data Integration é a integração dos dados. Isso envolve a transferência de dados da fonte de dados local e o armazenamento de conjuntos de dados em formato otimizado para leitura. Você pode atualizar os dados com tratamento contínuo de alterações ou usar carregamentos programados.

Você cria a integração em uma única operação, mas ela é realizada em duas etapas.

• Aterrisando os dados

  Isso envolve a transferência de dados continuamente da fonte de dados local para uma área de aterrissagem usando uma tarefa de dados de aterrissagem.

  Aterrissagem de dados de fontes de dados

• Armazenando conjuntos de dados

  Isso envolve a leitura da carga inicial de dados de aterrissagem ou cargas incrementais e a aplicação dos dados em formato otimizado para leitura usando uma tarefa de dados de armazenamento.

  Armazenando conjuntos de dados

Depois de integrar os dados, você poderá usar os conjuntos de dados armazenados de várias maneiras.

• Você pode usar os conjuntos de dados em um aplicativo de análise.

• Você pode criar transformações.

• Você pode criar um datamart.

Integrar dados

Você inicia a integração de dados em um projeto de dados. Os conjuntos de dados serão armazenados no armazém de dados na nuvem definido no projeto de dados. Para obter mais informações sobre projetos de dados, consulte Criando um pipeline de dados.

1. Clique em Adicionar novo e depois em Integrar dados.

2. Adicione Nome e Descrição para a integração.

   Clique em Avançar.

3. Selecione a conexão de origem.

   Você pode selecionar uma conexão de origem existente ou criar uma nova conexão de dados com a origem.

   Para obter mais informações, consulte Estabelecendo conexões com fontes de dados.

   Clique em Avançar.

4. Selecionar dados para carregar.

   Para obter mais informações, consulte Selecionando dados.

   Clique em Avançar.

   A opção Configurações é exibida, na qual você pode selecionar o método de atualização e as configurações do histórico.

5. Selecione qual método usar para atualizar dados em Método de atualização:

   • Captura de dados de alterações (CDC)

     Se os seus dados também contiverem tabelas que não suportam CDC ou visualizações, dois pipelines de dados serão criados. Um pipeline com todas as tabelas compatíveis com CDC e outro pipeline com todas as outras tabelas e exibições usando a opção Recarregar e comparar.

   • Recarregar e comparar

6. Selecione se deseja replicar o histórico de dados anteriores além dos dados atuais no Histórico.

   Clique em Avançar quando estiver pronto.

7. Visualize as tarefas de dados criadas para integrar dados e renomeie-as, se preferir.

   Nota de dicaOs nomes são usados ao nomear esquemas de banco de dados no ativo de dados de armazenamento. Como um esquema só pode ser associado a uma tarefa, considere usar nomes exclusivos para evitar conflitos com ativos de dados em outros projetos de dados usando a mesma plataforma de dados.

8. Selecione se deseja abrir qualquer uma das tarefas de dados criadas ou retornar ao projeto de dados.

   Quando estiver pronto, clique em Concluir.

As tarefas de dados de integração foram criadas agora. Para começar a replicar dados, você precisa:

• Preparar e executar a tarefa de dados de aterrisagem.

  Para obter mais informações, consulte Aterrissagem de dados de fontes de dados.

• Preparar e executar a tarefa de dados de armazenamento.

  Para obter mais informações, consulte Armazenando conjuntos de dados

Selecionando dados

Você pode selecionar tabelas ou exibições específicas ou usar regras de seleção para incluir ou excluir grupos de tabelas.

Use % como curinga para definir um critério de seleção para esquemas e tabelas.

• %.% define todas as tabelas em todos os esquemas.

• Public.% define todas as tabelas no esquema Público.

Critérios de seleção fornece uma visualização com base em suas seleções.

Agora você pode:

• Crie uma regra para incluir ou excluir um grupo de tabelas com base nos critérios de seleção.

  Clique em Adicionar regra dos critérios de seleção para criar uma regra e selecione Incluir ou Excluir.

  Você pode ver a regra em Regras de seleção.

• Selecione um ou mais conjuntos de dados e clique em Adicionar conjuntos de dados selecionados.

  Você pode ver os conjuntos de dados adicionados em Conjuntos de dados explicitamente selecionados.

As regras de seleção se aplicam apenas ao conjunto atual de tabelas e exibições, não a tabelas e exibições que são adicionadas no futuro.