Criando conjuntos de dados a partir de um projeto de pipeline

Last updated: 01/09/2026

Até o momento, os tipos compatíveis para o cálculo de qualidade são CSV, TXT, Parquet, QVD, XLS e XLSX, dentro destes limites:

• CSV/TXT até 1 GB
• Parquet até 1 GB
• QVD até 1 GB
• XLS/XLSX até 100 MB

Para arquivos Parquet, a qualidade dos dados é suportada apenas para esquemas planos. Campos aninhados (LISTA, MAPA, ESTRUTURA) não são suportados.

A qualidade dos dados não é compatível com conjuntos de dados baseados em arquivos que excedam esses limites. Se o seu arquivo Excel contiver várias pastas, o cálculo de qualidade será feito apenas na primeira pasta.

1. Em Qlik Talend Data Integration > Conexões, clique em Criar conexão.

2. Configure seu acesso ao banco de dados usando as credenciais de um usuário que tenha permissões suficientes e acesso às tabelas que você deseja importar.

3. No Qlik Cloud Analytics, clique em Criar e, em seguida, em Conexão de dados.

4. Configure seu acesso ao mesmo banco de dados de anteriormente, usando de preferência as credenciais do mesmo usuário ou um que tenha pelo menos as permissões READ nas tabelas.

5. (apenas para o Snowflake) No campo Função, você deve inserir uma função que corresponda a uma função existente criada no banco de dados Snowflake e que tenha os seguintes privilégios nesses objetos.

   • USAGE on WAREHOUSE

   • USAGE on DATABASE

   • USAGE on SCHEMA

   • CREATE TABLE on SCHEMA

   • CREATE FUNCTION on SCHEMA

   • CREATE VIEW on SCHEMA

   • SELECT on TABLE

6. (somente para Databricks) No Databricks, você deve definir os seguintes privilégios no banco de dados:

   • CREATE TABLE

   • CREATE VOLUME

   • MODIFY

   • LER VOLUME

   • SELECT

   • USE SCHEMA

   • GRAVAR VOLUME

7. De volta à página inicial do Qlik Talend Data Integration, clique em Criar novo e em Projeto de pipeline.

8. Use sua conexão da etapa 2 como fonte para seu projeto e comece a construir seu pipeline. Consulte Criando e gerenciando projetos de pipeline de dados para mais informações.

9. Em qualquer ponto do pipeline, selecione uma tarefa de dados, vá para Configurações e, em seguida, para a guia Catálogo, onde você pode selecionar a caixa de seleção Publicar no Catálogo.

   Isso significa que esta versão do conjunto de dados será publicada no Catálogo quando o projeto de pipeline for preparado e executado. Também é possível marcar esta opção no nível do projeto.

10. Execute seu projeto de dados.

Após a execução do seu projeto de pipeline, o novo conjunto de dados será adicionado ao Catálogo e você poderá acessar indicadores de qualidade e mais detalhes sobre seu conteúdo. Essa configuração também possibilita usar os conjuntos de dados como fonte para aplicativos de análise.

Você pode adicionar quantos conjuntos de dados forem necessários antes de criar seu produto de dados. Como o Catálogo pode ser acessado tanto pelo hub do Qlik Talend Data Integration quanto pelo hub do Qlik Cloud Analytics Services, você pode abrir seus conjuntos de dados no local de sua preferência e a conexão correta será usada dependendo do contexto.