Archiviazione di set di dati in flusso

Le seguenti impostazioni dell'attività di trasformazione in flusso si applicano ai progetti Qlik Open Lakehouse che utilizzano una sorgente di flusso.

È possibile archiviare e trasformare i dati in flusso utilizzando l'attività di trasformazione dati in flusso. I dati in flusso spesso contengono strutture nidificate e array che richiedono l'appiattimento, e le capacità di trasformazione sono necessarie durante la fase di archiviazione. Queste capacità sono disponibili per l'attività di trasformazione in flusso, consentendo di applicare le trasformazioni immediatamente dopo il trasferimento dei dati in flusso.

Gestione della granularità del set di dati

È possibile appiattire strutture nidificate e array per aumentare la granularità. La granularità viene visualizzata nella vista Set di dati. Fare clic su per modificare la granularità:

• La selezione di un campo da un array farà sì che la tabella di destinazione includa una riga per elemento. Questo aumenterà il numero di righe nel target.

• È necessario selezionare i campi dallo stesso percorso di array. La selezione di campi da percorsi diversi genererà un errore di convalida.

• I tipi di dati visualizzati riflettono la granularità selezionata. Ad esempio, un ARRAY<INT> diventa INT quando viene appiattito. Per ulteriori informazioni, vedere Mappature del tipo di dati.

Eliminazione di un'attività

È possibile eliminare l'attività di dati se non è in esecuzione e non ci sono dipendenze da attività downstream nello stesso progetto.

• Nella vista Progetto pipeline del progetto, fare clic su su un'attività e selezionare Elimina.

Anche gli artefatti (tabelle e viste) creati dall'attività verranno eliminati, a meno che non si scelga di mantenerli.

Visualizzazione delle informazioni sull'attività

Fare clic su sulla barra dei menu per visualizzare le informazioni sull'attività, ad esempio:

• Proprietario

• Spazio

• Piattaforma dati

• ID progetto

• ID tempo di esecuzione attività dati

Impostazioni di Trasformazione flusso

È possibile impostare le proprietà per l'attività dati di Trasforma dati in streaming quando la piattaforma dati è Qlik Open Lakehouse.

• Fare clic su Impostazioni.

Impostazioni generali

• Schema attività

  È possibile modificare il nome dello schema dell'attività di Trasforma dati in streaming. Il nome predefinito è il nome dell'attività di archiviazione.

• Schema interno

  È possibile modificare il nome dello schema asset di dati di archiviazione interno. Il nome predefinito è il nome dell'attività di archiviazione con _internal aggiunto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Cartella da usare

  È possibile modificare la cartella di archiviazione dell'attività di Trasforma dati in streaming.

• Carica impostazioni per i nuovi set di dati

  • Aggiungi solo

    Aggiunge nuovi record senza modificare i dati esistenti. I vincoli chiave non vengono applicati se arrivano record duplicati.

  • Applica modifiche

    Aggiorna i record esistenti e ne inserisce di nuovi in base ai campi chiave.

    Se si sceglie di unire le modifiche, è possibile selezionare anche quanto segue:

    • Elimina record in modo soft fornendo un'espressione di eliminazione

      Definire un'espressione di eliminazione per contrassegnare i record per l'eliminazione.

    • Mantieni i record storici (Tipo 2)

      Mantieni le versioni precedenti dei record modificati.

• Annullamento annidamento colonna

  • Mantieni colonne annidate

    Seleziona per preservare i dati nidificati.

  • Separa in colonne distinte

    Il comportamento predefinito è quello di denidificare i dati in colonne separate.

• Partizione tabelle di destinazione

  Nota informaticaQuesta opzione è disponibile solo quando Solo aggiunta è selezionato in Impostazioni di caricamento.

  • Nessuna partizione

    Le nuove tabelle vengono create senza partizioni.

  • Partizione per data evento

    Le nuove tabelle vengono partizionate in base alla data di acquisizione degli eventi.

• Gestione modifiche dati

  Nota informaticaQuesta opzione è disponibile solo quando Applica modifiche è selezionato in Impostazioni di caricamento.

  • Includi eliminazioni temporanee: Immettere un'espressione per definire quali record contrassegnare per l'eliminazione.

  • Crea un archivio dati cronologico (Tipo 2): In questo modo verranno mantenute le versioni precedenti dei record modificati.

• Gestione della conservazione

  • Nessuna rimozione delle partizioni

  • Rimozione partizione snapshot corrente

Definizioni di tabella

• hdr__from_timestamp

  Quando questa opzione è abilitata, la colonna di intestazione hdr__from_timestamp apparirà nelle viste standard. Inoltre, quando si seleziona Partiziona per data di acquisizione dell'evento nella procedura guidata di onboarding, hdr__from_timestamp verrà utilizzata come colonna di partizione predefinita.

  Nota informaticaLe viste cronologia includono sempre tutte le colonne di intestazione della vista standard, indipendentemente da questa impostazione.

Impostazioni del tempo di esecuzione

• Cluster lakehouse

  È possibile modificare il cluster lakehouse, ma deve supportare carichi di lavoro in streaming o misti.

Impostazioni di evoluzione dello schema

• Aggiungi nuovi set di dati

  Questa impostazione viene applicata quando nuovi set di dati vengono aggiunti all'attività di trasferimento in flusso.

  Nota informaticaDisponibile solo quando si esegue lo streaming di letture di trasferimento da Kafka.

  • Applica alla destinazione

    Aggiunge automaticamente nuovi set di dati dall'attività di trasferimento in flusso all'attività di trasformazione in flusso. Questa è l'impostazione predefinita.

  • Ignora

    Non aggiunge nuovi set di dati.

• Aggiungi colonne a livello radice

  Questa impostazione viene applicata quando nuove colonne vengono aggiunte all'attività di trasferimento in flusso a livello radice.

  • Applica alla destinazione

    Aggiunge automaticamente nuove colonne a livello radice dall'attività di trasferimento in flusso all'attività di trasformazione in flusso. Questa è l'impostazione predefinita.

  • Ignora

    Non aggiunge nuove colonne a livello radice.

  • Arresta attività

    Interrompe l'attività di trasformazione se viene rilevata una nuova colonna a livello radice nell'attività di trasferimento in flusso.

• Aggiungi colonne alle strutture

  Questa impostazione viene applicata quando i nuovi campi vengono aggiunti all'interno di una struttura annidata esistente nell'attività di trasferimento in flusso.

  • Applica alla destinazione

    Aggiunge automaticamente nuovi campi alle strutture esistenti nell'attività di trasformazione in flusso se vengono aggiunti alla struttura di trasferimento.

  • Ignora

    Non aggiunge nuovi campi alle strutture esistenti.

  • Arresta attività

    Interrompe l'attività di trasformazione se un nuovo campo viene aggiunto a una struttura nell'attività di trasferimento in streaming.

• Cambia tipo di dati campo

  • Ignora

    Non modifica il tipo di dati.

  • Arresta attività

    Interrompe l'attività di trasformazione se viene rilevata una modifica del tipo di dati nell'attività di trasferimento in streaming.

Impostazioni set di dati

Le seguenti impostazioni sono disponibili per tutti i set di dati nella vista Progettazione > Set di dati.

Fare clic su accanto al dataset e seleziona Impostazioni.

• Gestione caricamento dati

  Seleziona la modalità in cui i dati vengono caricati nella tabella di destinazione.

  • Aggiungi solo

    Aggiunge nuovi record senza modificare i dati esistenti. I vincoli chiave non vengono applicati se arrivano record duplicati.

  • Applica modifiche

    Aggiorna i record esistenti e ne inserisce di nuovi in base ai campi chiave.

• Gestione modifiche dati

  Nota informaticaQuesta opzione è disponibile solo quando Applica modifiche è selezionato in Impostazioni di caricamento.

  • Includi eliminazioni logiche: immettere un'espressione per definire quali record contrassegnare per l'eliminazione. Deve essere un'espressione che restituisce True se la modifica è un'eliminazione temporanea.

    Esempio: operation = 'D'

  • Crea un archivio dati cronologico (Tipo 2): In questo modo verranno mantenute le versioni precedenti dei record modificati.

• Colonne partizione

  Nota informaticaQuesta opzione è disponibile solo quando Solo aggiunta è selezionato in Impostazioni di caricamento.

  Facoltativamente, è possibile selezionare le colonne di partizione per ottimizzare le prestazioni.

  Fare clic su Aggiungi colonna per aggiungere una colonna di partizione, quindi selezionare una Trasformazione e impostare un Parametro se necessario.

• Gestione conservazione   

  La rimozione delle partizioni elimina le partizioni più vecchie rispetto al periodo di conservazione. Ciò non elimina fisicamente i dati e non ha un impatto immediato sugli snapshot più vecchi. I dati più vecchi potrebbero essere disponibili negli snapshot più vecchi fino alla loro scadenza.

  Nota informaticaViene visualizzato solo se la partizione ha almeno una colonna di tipo data o datetime.

  • Nessuna rimozione delle partizioni

  • Rimozione partizione snapshot corrente

• Colonne di ordinamento

  Nota informaticaQuesta opzione è disponibile solo quando Solo aggiunta è selezionato in Impostazioni di caricamento.

  Facoltativamente, è possibile specificare le colonne in base alle quali i dati verranno ordinati in ogni file della tabella Iceberg. Durante l'acquisizione dei dati, Iceberg utilizza queste colonne per ordinare i record. La definizione di chiavi di ordinamento sulle colonne utilizzate frequentemente nelle query migliora la località dei dati, con conseguente miglioramento delle prestazioni di lettura e una compressione più efficiente. Le chiavi di ordinamento configurate correttamente assicurano che i dati siano organizzati in modo ottimale per l'esecuzione di query.

  Fare clic su Aggiungi colonna per aggiungere una colonna di ordinamento, quindi impostare l'ordine di ordinamento.

• Durata scadenza snapshot

  Questa impostazione controlla per quanto tempo le snapshot vengono conservate, il che incide in modo significativo sulle dimensioni della tabella e sui costi di archiviazione. Per le tabelle aggiornate di frequente, si consiglia di definire una durata più breve per ridurre i costi di archiviazione.

  Nota informaticaInserire 0 per disattivare la scadenza della snapshot.

• Intestazioni di visualizzazione standard

  • Eredita dalle impostazioni dell'attività dati

    Questa è l'opzione predefinita. Disabilita se vuoi impostare colonne di intestazione specifiche solo per questo set di dati.

  • hdr__from_timestamp

    Quando questa opzione è abilitata, la colonna di intestazione hdr__from_timestamp apparirà nelle viste standard. Inoltre, quando si seleziona Partiziona per data di acquisizione dell'evento nella procedura guidata di onboarding, hdr__from_timestamp verrà utilizzata come colonna di partizione predefinita.

    Nota informaticaLe viste cronologia includono sempre tutte le colonne di intestazione della vista standard, indipendentemente da questa impostazione.