Archiviazione di set di dati in flusso

Le seguenti impostazioni dell'attività di trasformazione in flusso si applicano ai progetti Qlik Open Lakehouse che utilizzano una sorgente di flusso.

È possibile archiviare e trasformare i dati in flusso utilizzando l'attività di trasformazione dati in flusso. I dati in flusso spesso contengono strutture nidificate e array che richiedono l'appiattimento, e le capacità di trasformazione sono necessarie durante la fase di archiviazione. Queste capacità sono disponibili per l'attività di trasformazione in flusso, consentendo di applicare le trasformazioni immediatamente dopo il trasferimento dei dati in flusso.

Impostazioni di archiviazione

È possibile impostare le proprietà per l'attività dati di Trasforma dati in streaming quando la piattaforma dati è Qlik Open Lakehouse.

• Fare clic su Impostazioni.

Impostazioni generali

• Schema attività

  È possibile modificare il nome dello schema dell'attività di Trasforma dati in streaming. Il nome predefinito è il nome dell'attività di archiviazione.

• Schema interno

  È possibile modificare il nome dello schema asset di dati di archiviazione interno. Il nome predefinito è il nome dell'attività di archiviazione con _internal aggiunto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Cartella da utilizzare

  È possibile modificare la cartella di archiviazione dell'attività di Trasforma dati in streaming.

• Carica impostazioni per i nuovi set di dati

  • Aggiungi solo

    Aggiunge nuovi record senza modificare i dati esistenti.I vincoli chiave non vengono applicati se arrivano record duplicati.

  • Applica modifiche (Unisci)

    Aggiorna i record esistenti e ne inserisce di nuovi in base ai campi chiave.

    Se si sceglie di unire le modifiche, è possibile selezionare anche quanto segue:

    • Elimina record in modo soft fornendo un'espressione di eliminazione

      Definire un'espressione di eliminazione per contrassegnare i record per l'eliminazione.

    • Mantieni i record storici (Tipo 2)

      Mantieni le versioni precedenti dei record modificati.

• Annullamento annidamento colonna

  • Mantieni colonne annidate

    Seleziona per preservare i dati nidificati.

  • Annulla annidamento in colonne separate

    Il comportamento predefinito è quello di denidificare in colonne separate.

• Partizione tabelle di destinazione

  • Nessuna partizione

    Le nuove tabelle vengono create senza partizioni.

  • Partizione per data evento

    Le nuove tabelle vengono partizionate in base alla data di acquisizione degli eventi.

Impostazioni del tempo di esecuzione

• Cluster lakehouse

  È possibile modificare il cluster lakehouse, ma deve supportare carichi di lavoro in streaming o misti.

Impostazioni di evoluzione dello schema

• Aggiungi colonne a livello radice

  Questa impostazione viene applicata quando nuove colonne vengono aggiunte all'attività di trasferimento in flusso a livello radice.

  • Applica alla destinazione

    Aggiunge automaticamente nuove colonne a livello radice dall'attività di trasferimento in flusso all'attività di trasformazione in flusso. Questa è l'impostazione predefinita.

  • Ignora

    Non aggiunge nuove colonne a livello radice.

  • Arresta attività

    Interrompe l'attività di trasformazione se viene rilevata una nuova colonna a livello radice nell'attività di trasferimento in flusso.

• Aggiungi colonne alle strutture

  Questa impostazione viene applicata quando i nuovi campi vengono aggiunti all'interno di una struttura annidata esistente nell'attività di trasferimento in flusso.

  • Applica alla destinazione

    Aggiunge automaticamente nuovi campi alle strutture esistenti nell'attività di trasformazione in flusso se vengono aggiunti alla struttura di trasferimento.

  • Ignora

    Non aggiunge nuovi campi alle strutture esistenti.

  • Arresta attività

    Interrompe l'attività di trasformazione se un nuovo campo viene aggiunto a una struttura nell'attività di trasferimento in streaming.

• Cambia tipo di dati campo

  • Ignora

    Non modifica il tipo di dati.

  • Arresta attività

    Interrompe l'attività di trasformazione se viene rilevata una modifica del tipo di dati nell'attività di trasferimento in streaming.