Apresentando o Qlik Cloud Data Integration

Você pode fornecer dados prontos para consumo para o Qlik Cloud ou para armazéns de dados na nuvem, como Snowflake, Google Cloud BigQuery, e Azure Synapse Analytics com o Qlik Cloud Data Integration. As fontes de dados podem ser locais ou na nuvem. Os dados podem ser mantidos atualizados sem intervenção manual usando a CDC (Change Data Capture) ou tecnologias de lote, como carregamentos agendados. Você pode criar um pipeline de dados, realizar transformações adequadas a um propósito e criar datamarts.

Você pode acessar a página inicial do Qlik Cloud Data Integration selecionando Integração de Dados no menu do iniciador ().

Para obter mais informações sobre a arquitetura do Qlik Cloud Data Integration, consulte Arquitetura de conjunto de dados em um armazém de dados na nuvem.

Opções de assinatura

As assinaturas do Qlik Cloud Data Integration são baseadas em um modelo de capacidade com o volume de Dados movidos como o medidor de valor primário.

O Qlik Cloud Data Integration está disponível em opções de assinatura de três níveis: Standard, Premium e Enterprise. As edições superiores fornecem fontes de dados e transformações mais avançadas. Todas as assinaturas incluem o Qlik Cloud Analytics Standard.

Para obter mais informações sobre as opções de assinatura, consulte Opções de assinatura do Qlik Cloud Data Integration.

Espaços de dados

Espaços de dados são áreas governadas do seu locatário do Qlik Cloud que são usados para criar e armazenar projetos de dados. Dentro do espaço, você também pode criar novas conexões de dados usando conectores e gerenciar o acesso aos gateways Data Movement. Todos os ativos de dados serão criados no espaço do projeto de dados ao qual pertencem.

Para obter mais informações, consulte Trabalhando em espaços no Qlik Cloud Data Integration.

Projetos de dados

Um projeto de dados é onde você cria seu fluxo de integração de dados, usando tarefas de dados. O projeto de dados está associado a uma plataforma de dados usada como destino para todas as saídas. Você pode criar um projeto de dados com qualquer um dos seguintes casos de uso:

• Pipeline de dados

  Crie um pipeline linear simples ou um pipeline complexo consumindo várias fontes de dados e gerando muitas saídas.

  Criando um pipeline de dados

• Replicação

  Replique dados de fontes de dados compatíveis para qualquer destino compatível ou envie dados para um data lake.

  Criando uma tarefa de replicação de dados

Tarefa de dados

Uma tarefa de dados é a principal unidade de trabalho em um projeto de dados. Você pode criar tarefas de dados dos seguintes tipos em um projeto de dados. Você cria uma nova tarefa de dados clicando em Adicionar novo na barra superior e, em seguida, clicando na tarefa apropriada.

Tarefas de dados em projetos de pipeline de dados

• Aterrisagem

  Copie dados de uma fonte de dados para uma área de aterrissagem. As fontes de dados podem ser locais ou na nuvem. A área de aterrisagem pode ser um destino na nuvem ou um compartimento de dados do Amazon S3 (somente ao criar conjuntos de dados QVD).

  É possível manter os dados atualizados sem intervenção manual usando CDC ou executando carregamentos totais que estão programados para serem repetidos periodicamente.

  Aterrissagem de dados de fontes de dados

• Dados registrados

  Registrar dados que já existem na plataforma de dados. Isso permite que você use dados integrados a outras ferramentas além do Qlik Cloud Data Integration, por exemplo, Qlik Replicate.

  Registrando dados que já estão na plataforma de dados

• Armazenamento

  Crie conjuntos de dados prontos para consumo em um data warehouse na nuvem, ou no Qlik Cloud, a partir dos dados copiados pela tarefa de dados de destino. Os conjuntos de dados podem ser mantidos atualizados com os aterrissagem de dados sem intervenção manual.

  Armazenando conjuntos de dados

• Transformar

  Crie transformações de dados reutilizáveis com base em regras e SQL personalizado como parte do seu pipeline de dados. Você pode realizar transformações em nível de linha e criar conjuntos de dados que são materializados como tabelas ou criados como exibições que realizam transformações em tempo real.

  Transformando dados

• Datamart

  Crie data marts para aproveitar suas tarefas de dados de Armazenamento ou tarefas de dados de Transformação. Você pode criar qualquer número de datamarts, dependendo das necessidades da sua empresa. Idealmente, seus datamarts devem conter repositórios de dados resumidos coletados para análise em uma seção ou unidade específica dentro de uma organização.

  Criando e gerenciando datamarts

Tarefas de dados em projetos de dados de replicação

• Replicação

  Replique dados de fontes de dados compatíveis para qualquer destino compatível.

  Replicando dados

• Aterrissagem do lake

  Aterrise dados em um data lake.

  Aterrisando dados em um data lake

Monitorando suas tarefas de dados

Você pode monitorar o status e o progresso das suas tarefas de dados com exibições de monitor. Uma exibição de monitor permite visualizar o status de todas as tarefas de dados no locatário ou um subconjunto de tarefas de dados com base em um filtro. Você pode criar diversas visualizações para monitorar diferentes aspectos dos seus pipelines de dados. Para obter mais informações, consulte Monitorando e operando suas tarefas de dados.

Conexões

Conexões de dados são usadas para permitir que as tarefas de dados acessem fontes de dados, armazenamento externo e plataformas de dados na nuvem para entrega de dados e transformações automáticas.

Conexões de dados só podem ser atualizadas pelo proprietário da conexão.

Exibindo suas conexões

Clique em Conexões de dados no menu do lado esquerdo da página inicial do Qlik Cloud Data Integration para ver todas as suas conexões de dados.

• Você pode editar as conexões que possui.

  Clique em ... e depois em Editar.

• Você pode testar uma conexão.

  Clique em ... e depois em Testar conexão.

• Você pode excluir uma conexão.

  Clique em ... e depois em Excluir.

Criando uma conexão

Para criar uma nova conexão, faça o seguinte:

• Clique em Adicionar novo na barra superior e clique em Conexão de dados.

• Clique em Criar novo, onde você seleciona uma conexão.

• Clique em Criar conexão, onde as conexões de origem estão listadas.

• Clique em Criar conexão na exibição Conexões de dados.

Você pode filtrar conectores em:

• Categoria

  Armazém de dados, Armazenamento em nuvem, Banco de dados e Aplicativo.

• Tipo

  Origem ou Destino.

Você também pode selecionar conectores usados recentemente.

Você precisará selecionar o tipo de fonte de dados e, em seguida, inserir o endereço e as informações de autenticação.

Veja também:

• Qlik Data Gateway - Data Movement.
• Estabelecendo conexões com fontes de dados