Impostazioni di trasferimento su lake in streaming

Le seguenti impostazioni dell'attività di trasferimento su lake in streaming si applicano ai progetti Qlik Open Lakehouse che utilizzano una sorgente di streaming.

Generali

Cartella da utilizzare
Selezionare la cartella da utilizzare durante il trasferimento dei dati nell'area di staging.

• Cartella predefinita

  Viene creata una cartella con il nome predefinito: <nome progetto>/<nome attività di dati>.

• Cartella radice

  Archivia i dati nella cartella radice dell'archivio.

• Cartella

  Specifica un nome di cartella da utilizzare.

Conservazione cartella
Selezionare per quanto tempo conservare i dati:

• I dati e i metadati non vengono eliminati: Né i dati né i metadati vengono eliminati.

• Elimina dati e metadati dopo il periodo di conservazione: I dati e i metadati vengono eliminati dopo il periodo di conservazione,

• Elimina i metadati al termine del periodo di conservazione. I dati vengono eliminati dal sistema esterno.I dati vengono eliminati definitivamente dopo la scadenza di questo periodo. I metadati vengono eliminati, ma i dati sottostanti, ad esempio l'oggetto S3, non vengono eliminati da Qlik.

Leggi dati da
Selezionare quando acquisire i dati da:

• Inizia da ora

  Acquisire solo gli eventi che arrivano all'avvio della pipeline.

• Inizia dall'evento verificatosi per primo (predefinito)

  Acquisisci tutti i dati storici.

Tipo di contenuto
Selezionare il formato di file dall'elenco, ad esempio, JSON o CSV. Questa operazione può essere modificata dopo l'esecuzione dell'attività ricreando l'attività. Vedere Tipi di contenuto per i dettagli di ciascun formato di file.

Evoluzione dello schema

Nuovo argomento/flussoSelezionare come gestire i nuovi flussi/argomenti.

• Aggiungi alla destinazione: Se si caricano tutte le tabelle in una singola tabella di destinazione, i nuovi dati vengono aggiunti a questa tabella. Se si carica ogni argomento in un dataset diverso, un nuovo argomento viene aggiunto a un nuovo dataset.

• Ignora: I nuovi dati non vengono aggiunti alla destinazione.

Tempo di esecuzione

Numero di lettori

• Apache Kafka: Selezionare il numero di lettori da utilizzare. Il valore deve essere compreso tra 1 e 1.000.

• Amazon Kinesis: Selezionare il numero di shard del flusso.

• Amazon S3: Questa impostazione non è applicabile alle origini di flusso S3.

Cluster lakehouse
Selezionare il cluster di flusso. Le attività di trasferimento in streaming e le attività di trasformazione in streaming non devono trovarsi sullo stesso cluster, ma devono trovarsi sulla stessa integrazione di rete.

Tipi di contenuto

Le seguenti impostazioni si applicano a ciascun formato di file.

• JSON

  • Questo è il formato di file predefinito se non diversamente definito.

• CSV e TSV

  • La prima riga contiene le intestazioni: Selezionato per impostazione predefinita per specificare che la prima riga contiene il record di intestazione.

  • Riga di intestazione (Facoltativo): Se la prima riga non è l'intestazione, definire i nomi delle intestazioni.

  • Delimitatore: Selezionare il delimitatore predefinito se non è quello predefinito (virgola per CSV, tabulazione per TSV). 

  • Carattere di escape virgolette: Selezionare il carattere di escape virgolette predefinito se non è una virgoletta doppia come definito per impostazione predefinita. 

  • Valore nullo (Facoltativo): Immettere il valore nullo di sostituzione.

  • Consenti intestazioni duplicate: Se due colonne hanno lo stesso nome, la seconda viene aggiunta con un nome diverso.

• Parquet, Avro e ORC

  • Non sono richieste impostazioni aggiuntive.

• Regex

  • Modello: Immettere il modello di espressione regolare.

  • Multilinea: Opzione selezionata per impostazione predefinita.

• Dividi righe:

  • Regex: Inserisci l'espressione regolare per la suddivisione.