Armazenando conjuntos de dados de streaming

As seguintes configurações de tarefa de transformação de streaming aplicam-se a projetos do Qlik Open Lakehouse que utilizam uma fonte de streaming.

Você pode armazenar e transformar dados de streaming usando a tarefa de transformação de dados de streaming. Dados de streaming geralmente contêm estruturas aninhadas e arrays que exigem nivelamento, e recursos de transformação são necessários durante a fase de armazenamento. Esses recursos estão disponíveis para a tarefa de transformação de streaming, permitindo que você aplique transformações imediatamente após a aterrissagem dos seus dados de streaming.

Configurações de armazenamento

Você pode definir propriedades para a tarefa de transformação de streaming quando a plataforma de dados é o Qlik Open Lakehouse.

• Clique em Configurações.

Configurações gerais

• Esquema de tarefa

  Você pode alterar o nome do esquema da tarefa de transformação de streaming. O nome padrão é o nome da tarefa de armazenamento.

• Esquema interno

  Você pode alterar o nome do esquema de ativo de dados de armazenamento interno. O nome padrão é o nome da tarefa de armazenamento com _internal anexado.

• Prefixo para todas as tabelas e visualizações

  Você pode definir um prefixo para todas as tabelas e exibições criadas com essa tarefa.

  Nota informativaVocê deve usar um prefixo exclusivo quando quiser usar um esquema de banco de dados em várias tarefas de dados.

• Pasta para uso

  Você pode alterar a pasta de armazenamento da tarefa de transformação de streaming.

• Carregar configurações para novos conjuntos de dados

  • Anexar apenas

    Adiciona novos registros sem modificar os dados existentes. As restrições chave não são aplicadas se chegarem registros duplicados.

  • Aplicar alterações (Mesclar)

    Atualiza os registros existentes e insere novos registros com base em campos chave.

    Se você selecionar mesclar alterações, você também pode selecionar o seguinte:

    • Excluir registros de forma lógica, fornecendo uma expressão de exclusão

      Defina uma expressão de exclusão para marcar registros para exclusão.

    • Manter registros históricos (Tipo 2)

      Manter versões anteriores de registros alterados.

• Desaninhar colunas

  • Preservar colunas aninhadas

    Selecione para preservar dados aninhados.

  • Desaninhar em colunas separadas

    O comportamento padrão é desaninhamento em colunas separadas.

• Partição de tabelas de destino

  • Nenhuma partição

    Novas tabelas são criadas sem partições.

  • Particionar por data do evento

    Novas tabelas são particionadas pela data em que os eventos são ingeridos.

Configurações de tempo de execução

• Cluster do Lakehouse

  Você pode alterar o cluster do lakehouse, mas ele deve suportar cargas de trabalho de streaming ou cargas de trabalho mistas.

Configurações de evolução do esquema

• Adicionar colunas no nível raiz

  Essa configuração se aplica quando novas colunas são adicionadas à tarefa de aterrisagem de streaming no nível raiz.

  • Aplicar ao destino

    Adiciona automaticamente novas colunas de nível raiz da tarefa de aterrissagem de streaming para a tarefa de transformação de streaming. Esta é a configuração padrão.

  • Ignorar

    Não adiciona novas colunas de nível raiz.

  • Interromper tarefa

    Para a tarefa de transformação se uma nova coluna de nível raiz for detectada na tarefa de aterrissagem de streaming.

• Adicionar colunas às estruturas

  Essa configuração se aplica quando novos campos são adicionados dentro de uma estrutura aninhada existente na tarefa de aterrisagem de streaming.

  • Aplicar ao destino

    Adiciona automaticamente novos campos a estruturas existentes na tarefa de transformação de streaming se forem adicionados à estrutura de aterrissagem.

  • Ignorar

    Não adiciona novos campos a estruturas existentes.

  • Interromper tarefa

    Interrompe a tarefa de transformação se um novo campo for adicionado a uma estrutura na tarefa de aterrisagem de streaming.

• Alterar tipo de dados do campo

  • Ignorar

    Não altera o tipo de dados.

  • Interromper tarefa

    Interrompe a tarefa de transformação se for detectada uma alteração no tipo de dados na tarefa de aterrisagem de streaming.