Configurações do projeto de pipeline de dados

Você pode alterar as configurações de um projeto de pipeline de dados no Qlik Talend Data Integration. As propriedades são comuns ao projeto e a todas as tarefas de dados incluídas. Algumas configurações apenas estão disponíveis para plataformas de dados específicas.

• Clique em Configurações no projeto.

Plataforma de dados

Você pode alterar as seguintes configurações:

• Conexão

  Conexão para o projeto.

• Conexão com a área de preparação

  Essa opção não está disponível quando a plataforma de dados é o Snowflake.

Metadados

Você pode definir um sufixo para artefatos internos e sufixos padrão para exibições que são criadas.

• Preferências de artefatos internos

  Defina o sufixo a ser usado para esquemas usados para armazenar artefatos internos em Sufixo do esquema.

• Sufixos de visualizações externas

  Defina sufixos padrão para exibições criadas nas tarefas de dados incluídas no projeto.

Valores padrão da tarefa de dados

Você pode definir valores padrão para tarefas de dados que estão incluídas no projeto. Ao criar uma tarefa de dados, você pode alterar o valor.

Você pode definir o banco de dados padrão para criar artefatos de destino para todos os tipos de tarefas de dados.

Valores padrão de aterrissagem

• Servidor proxy ao usar o gateway de Data Movement

  Você pode optar por usar um servidor proxy quando o gateway de Movimentação de dados se conecta ao data warehouse de nuvem e à área de armazenamento.

  Para obter mais informações sobre como configurar o gateway de Movimentação de dados para usar um servidor proxy, consulte Configurando o locatário do Qlik Cloud e um servidor proxy.

  • Usar proxy para conectar-se ao data warehouse de nuvem

    Nota informativaDisponível ao usar o Snowflake, o Google BigQuery e o Databricks.

  • Usar proxy para conectar ao armazenamento

    Nota informativaDisponível ao usar o Azure Synapse Analytics, o Amazon Redshift e o Databricks.

Valores padrão de armazenamento

• Armazenamento de dados históricos (Tipo 2)

  Você pode manter os dados históricos de alterações para permitir que você recrie facilmente os dados conforme eles foram observados em um momento específico. Você pode usar exibições de histórico e exibições de histórico ao vivo para ver os dados históricos.

• Visualizações ao vivo

  Exibições ao vivo mostram uma exibição para cada tabela de origem selecionada que mescla a tabela com as alterações da tabela de alterações. Isso fornece às consultas uma exibição ao vivo dos dados sem ter que esperar pelo próximo ciclo de aplicação.

Banco de dados padrão

Você pode usar o banco de dados padrão do projeto ou especificar outro banco de dados.

Catálogo

• Publicar no catálogo

  Selecione esta opção para publicar esta versão dos dados no Catálogo como um conjunto de dados. O conteúdo do Catálogo será atualizado na próxima vez que você preparar esta tarefa.

Transformar os valores padrão

• Armazenamento de dados históricos (Tipo 2)

  Você pode manter os dados históricos de alterações para permitir que você recrie facilmente os dados conforme eles foram observados em um momento específico. Você pode usar exibições de histórico e exibições de histórico ao vivo para ver os dados históricos.

Materialização

• Não materializado (somente exibições)

  Selecione esta opção para criar apenas visualizações que executam transformações dinamicamente.

• Materializado (tabelas e visualizações)

  Selecione esta opção para criar tabelas e visualizações.

Banco de dados padrão

Você pode usar o banco de dados padrão do projeto ou especificar outro banco de dados.

Catálogo

• Publicar no catálogo

  Selecione esta opção para publicar esta versão dos dados no Catálogo como um conjunto de dados. O conteúdo do Catálogo será atualizado na próxima vez que você preparar esta tarefa.

Valores padrão do Data Mart

Banco de dados padrão

Você pode usar o banco de dados padrão do projeto ou especificar outro banco de dados.

Catálogo

• Publicar no catálogo

  Selecione esta opção para publicar esta versão dos dados no Catálogo como um conjunto de dados. O conteúdo do Catálogo será atualizado na próxima vez que você preparar esta tarefa.

Valores padrão de dados registrados

Banco de dados padrão

Você pode usar o banco de dados padrão do projeto ou especificar outro banco de dados.

Catálogo

• Publicar no catálogo

  Selecione esta opção para publicar esta versão dos dados no Catálogo como um conjunto de dados. O conteúdo do Catálogo será atualizado na próxima vez que você preparar esta tarefa.

Configurações de carga incremental

Essas configurações estão disponíveis quando Incremental usando marca d'água alta é selecionado.

• Alterar tabelas

  Se as alterações estiverem na mesma tabela, selecione As alterações estão na mesma tabela.

  Caso contrário, desmarque As alterações estão na mesma tabela e especifique um padrão de tabela de alterações.

• Coluna de marca d'água

  Defina o nome da coluna de marca d'água em Nome.

• Coluna "Data inicial"

  Você pode indicar a "Data inicial" pela hora de início ou usando uma coluna selecionada.

  Se você selecionar a coluna "Data inicial" selecionada, deverá definir um padrão "Data inicial".

• Exclusões reversíveis

  Você pode incluir exclusões reversíveis nas alterações selecionando As alterações incluem exclusões reversíveis e definindo uma expressão de indicação.

  A expressão de indicação deve ser avaliada como True se a alteração for uma exclusão reversível

  Exemplo: ${is_deleted} = 1

• Imagem anterior

  Você pode filtrar os registros da imagem anterior nas alterações das tabelas de alterações selecionando Antes da imagem e definindo uma expressão de indicação.

  A expressão de indicação deve ser avaliada como True se a linha contiver a imagem antes da atualização.

  Exemplo: ${header__change_oper} = 'B'

Tempo de execução

Você pode definir configurações padrão de desempenho em tempo de execução para ativos de dados incluídos no projeto.

Valores padrão de aterrissagem

• Você pode definir o número máximo de conexões de banco de dados em Execução paralela.

Valores padrão de armazenamento

• Você pode definir as configurações de programação padrão para uma programação baseada no tempo. Esse será o valor padrão para cada tarefa de armazenamento criada.

• Você pode definir o data warehouse padrão se a plataforma do projeto for o Snowflake.

Transformar os valores padrão

• Você pode definir as configurações de programação padrão para uma programação baseada no tempo ou Na conclusão bem-sucedida de qualquer tarefa de dados de entrada. Esse será o valor padrão para cada tarefa de transformação criada.

• Você pode definir o data warehouse padrão se a plataforma do projeto for o Snowflake.

Valores padrão do Data Mart

• Você pode definir as configurações de programação padrão para uma programação baseada em tempo ou Na conclusão bem-sucedida de qualquer tarefa de dados de entrada. Esse será o valor padrão para cada tarefa de datamart criada.

• Você pode definir o data warehouse padrão se a plataforma do projeto for o Snowflake.