Criando um projeto do Qlik Open Lakehouse

Crie um projeto de pipeline do Qlik Open Lakehouse para ingerir dados de qualquer fonte. Armazene seus dados no formato de tabela aberta do Iceberg.

Pré-requisitos

Para criar um projeto do Qlik Open Lakehouse, você precisa de:

• Uma integração de rede para permitir que o Qlik provisione e gerencie recursos de computação em seu nome.

• Um cluster do lakehouse configurado para executar a tarefa de armazenamento de dados no seu projeto do Iceberg.

• Uma conexão com um catálogo de dados para usar como destino de dados para seu projeto ou os detalhes necessários para que você possa criar uma nova conexão.

Tarefas com suporte

As tarefas a seguir são compatíveis em um projeto do Qlik Open Lakehouse.

CDC e fontes de aplicativos SaaS

• Tarefa de aterrisagem de dados no lake

  Aterrisagem de dados em formato CSV no S3, desde qualquer fonte compatível com o Qlik, inclusive fluxos de dados de alto volume.

  Para obter mais informações, consulte Aterrisando dados para o Qlik Open Lakehouse.

• Tarefa de armazenamento de dados

  A tarefa de armazenamento de dados consome os dados aterrisados na nuvem pela tarefa de envio do Lake. A tarefa grava dados em tabelas do Iceberg para armazenamento e consulta eficientes.

• Para obter mais informações, consulte Armazenando conjuntos de dados.

• Tarefa de espelhamento de dados

  Espelhe tabelas do Iceberg da sua tarefa de armazenamento para o seu armazém de dados na nuvem. Os usuários podem consultar dados por meio de tabelas externas sem precisar migrar os dados para o seu armazém de dados na nuvem.

Fontes de streaming

• Tarefa de dados de aterrissagem de streaming

  Aterrise dados em formato Avro no S3, desde qualquer fonte compatível com o Qlik.

  Para obter mais informações, consulte Aterrisando dados de streaming para o Qlik Open Lakehouse

• Tarefa de transformação de dados de streaming

  A tarefa de transformação de dados de streaming consome os eventos aterrisados na nuvem pela tarefa de aterrisagem de streaming. A tarefa grava dados em tabelas do Iceberg para armazenamento e consulta eficientes, e também suporta transformações.

  Para obter mais informações, consulte Armazenando conjuntos de dados de streaming.

• Tarefa de espelhamento de dados

  Espelhe tabelas do Iceberg da sua tarefa de armazenamento de streaming para o seu armazém de dados na nuvem. Os usuários podem consultar dados por meio de tabelas externas sem precisar migrar os dados para o seu armazém de dados na nuvem.

Exemplo de criação de um projeto do Qlik Open Lakehouse

O exemplo a seguir cria um projeto de pipeline do Qlik Open Lakehouse, integra os dados desde uma fonte de CDC e os armazena em tabelas de formato Iceberg. Este exemplo cria um pipeline simples que pode ser expandido com a integração de mais fontes de dados. Você pode adicionar uma tarefa de espelhamento de dados para espelhar suas tabelas em seu armazém de dados sem duplicar os dados, ou usar este projeto como origem para um projeto que exija transformações em seu armazém de dados na nuvem.

Para criar um projeto do Qlik Open Lakehouse, faça o seguinte:

1. Na página inicial Integração de dados , clique em Criar pipeline e configure-o:

• Nome: digite o nome do projeto.

• Espaço: selecione o espaço ao qual o projeto pertencerá.

• Descrição: opcionalmente, insira uma descrição para o projeto.

2. Para Caso de uso, selecione Pipeline de dados.

3. Configure a Plataforma de dados:

• Plataforma de dados: selecione Qlik Open Lakehouse na lista.

• Conexão do catálogo de dados: na lista, selecione uma conexão existente ou clique em Criar nova para adicionar uma nova conexão de catálogo de dados.

• Conexão de destino de aterrisagem: selecione o compartimento S3 para aterrisagem dos dados ou clique em Criar novo para adicionar uma nova localização de compartimento.

• Cluster de computação de armazenamento: selecione o cluster de lakehouse que executará a tarefa de armazenamento.

4. Crie o projeto.

5. Siga as etapas do assistente de dados de integração. Para obter mais informações, consulte Integrando dados, que fornece instruções para fontes de CDC e de streaming.