Etapa 4: Criar um projeto do Qlik Open Lakehouse

Crie um projeto de pipeline do Qlik Open Lakehouse para ingerir dados de qualquer fonte. Armazene seus dados no formato de tabela aberta do Iceberg.

Pré-requisitos

Para criar um projeto do Qlik Open Lakehouse, você precisa de:

• Uma integração de rede para permitir que o Qlik provisione e gerencie recursos de computação em seu nome.

• Um cluster do lakehouse configurado para executar a tarefa de armazenamento de dados no seu projeto do Iceberg.

• Uma conexão com um catálogo de dados para usar como destino de dados para seu projeto ou os detalhes necessários para que você possa criar uma nova conexão.

Tarefas com suporte

As tarefas a seguir são compatíveis em um projeto do Qlik Open Lakehouse:

• Tarefa de dados de aterrisagem no lake

  Aterrisagem de dados em formato CSV no S3, desde qualquer fonte compatível com o Qlik, inclusive fluxos de dados de alto volume.

• Tarefa de armazenamento de dados

  A tarefa de armazenamento de dados consome os dados aterrisados na nuvem pela tarefa de envio do Lake. A tarefa grava dados em tabelas do Iceberg para armazenamento e consulta eficientes.

• Tarefa de dados de espelhamento

  Espelhe as tabelas do Iceberg de seu Qlik Open Lakehouse para Snowflake. Os usuários podem consultar dados por meio de tabelas externas sem a necessidade de migrar os dados para o Snowflake.

Exemplo de criação de um projeto do Qlik Open Lakehouse

O exemplo a seguir cria um projeto de pipeline do Qlik Open Lakehouse, integra os dados e os armazena em tabelas de formato Iceberg. Este exemplo cria um pipeline simples que pode ser expandido com a integração de mais fontes de dados. Você pode adicionar uma tarefa de dados de espelhamento para espelhar suas tabelas no Snowflake sem duplicar dados ou usar esse projeto como fonte de dados para um projeto que exija transformações no Snowflake.

Para criar um projeto do Qlik Open Lakehouse, faça o seguinte:

1. Na página inicial Integração de dados , clique em Criar pipeline e configure-o:

• Nome: digite o nome do projeto.

• Espaço: selecione o espaço ao qual o projeto pertencerá.

• Descrição: opcionalmente, insira uma descrição para o projeto.

2. Para Caso de uso, selecione Pipeline de dados.

3. Configure a Plataforma de dados:

• Plataforma de dados: selecione Qlik Open Lakehouse na lista.

• Conexão do catálogo de dados: na lista, selecione uma conexão existente ou clique em Criar nova para adicionar uma nova conexão de catálogo de dados.

• Conexão de destino de aterrisagem: selecione o compartimento S3 para aterrisagem dos dados ou clique em Criar novo para adicionar uma nova localização de compartimento.

• Cluster de computação de armazenamento: selecione o cluster de lakehouse que executará a tarefa de armazenamento.

4. Crie o projeto.

5. Siga as etapas do assistente de dados de integração. Para obter mais informações, consulte Integrando dados.