Inställningar för mellanlagring av strömmande datasjö

Följande inställningar för mellanlagringsuppgifter för strömmande datasjö gäller för Qlik Open Lakehouse-projekt som använder en strömningskälla.

Allmänt

Mapp som ska användas
Välj vilken mapp som ska användas när data mellanlagras i mellanlagringsområdet.

• Standardmapp

  Detta skapar en mapp med standardnamnet: <projektnamn>/<datauppgiftens namn>.

• Rotmapp

  Lagra data i lagringens rotmapp.

• Mapp

  Ange namnet på mappen som ska användas.

Mapplagring
Välj hur länge data ska behållas:

• Data och metadata tas inte bort: Varken data eller metadata tas bort.

• Ta bort data och metadata efter lagringsperioden: Data och metadata tas bort efter att lagringsperioden har passerats,

• Ta bort metadata efter kvarhållningsperioden. Datan raderas av ett externt system.Datan raderas permanent efter att denna period har löpt ut. Metadatan rensas men den underliggande datan, till exempel S3-objektet, raderas inte av Qlik.

Läsa in data från
Välj när data ska matas in från:

• Börja nu

  Mata endast in de händelser som anländer när pipelinen startar.

• Börja från den första händelsen (standard)

  Mata in alla historiska data.

Innehållstyp
Välj filformatet från listan, till exempel JSON eller CSV. Detta kan ändras efter att uppgiften har körts genom att återskapa uppgiften. Se Innehållstyper för detaljer för varje filformat.

Utveckling av schema

Nytt ämne/strömVälj hur nya strömmar/ämnen ska hanteras.

• Lägg till i mål: Om du läser in alla tabeller till en enda måltabell läggs nya data till i den här tabellen. Om du läser in varje ämne till en annan datamängd läggs ett nytt ämne till i en ny datamängd.

• Ignorera: Nya data läggs inte till i målet.

Körtid

Antal läsare

• Apache Kafka: Välj antal läsare att använda. Värdet måste vara mellan 1 och 1 000.

• Amazon Kinesis: Välj antal strömshards.

• Amazon S3: Denna inställning är inte tillämplig för S3-strömningskällor.

Datasjöhuskluster
Välj strömningsklustret. Streaming-mellanlagringsuppgiften och Streaming Transform-uppgifterna behöver inte vara på samma kluster, men måste vara på samma nätverksintegration.

Innehållstyper

Följande inställningar gäller för varje filformat.

• JSON

  • Detta är standardfilformatet om det inte definieras på annat sätt.

• CSV och TSV

  • Första raden innehåller rubriker: Markeras som standard för att ange att den första raden innehåller rubrikposten.

  • Rubrikrad (Valfritt): Om den första raden inte är rubriken, definiera rubriknamnen.

  • Avgränsare: Välj standardavgränsaren om detta inte är standard (komma för CSV, tab för TSV). 

  • Citattecken för escape-tecken: Välj standardtecknet för citattecken om detta inte är ett dubbelt citattecken som definierats som standard. 

  • Null-värde (Valfritt): Ange ersättningsvärdet för null.

  • Tillåt dubbla rubriker: Om två kolumner har samma namn läggs den andra till med ett annat namn.

• Parquet, Avro och ORC

  • Inga ytterligare inställningar kräver konfiguration.

• Regex

  • Mönster: Ange mönstret för det reguljära uttrycket.

  • Flera rader: Valt som standard.

• Dela rader:

  • Regex: Ange det reguljära uttrycket för uppdelningen.