Instellingen voor Streaming lake-tussenopslag

De volgende taakinstellingen voor Streaming lake-tussenopslag zijn van toepassing op Qlik Open Lakehouse-projecten die een streamingbron gebruiken.

Algemeen

Te gebruiken map
Selecteer de map die u wilt gebruiken bij het tijdelijk opslaan van gegevens in het tussenopslaggebied.

• Standaardmap

  Hiermee wordt een map gemaakt met de standaardnaam: <projectnaam>/<gegevenstaaknaam>.

• Hoofdmap

  Sla gegevens op in de hoofdmap van de opslag.

• Map

  Geef een mapnaam op om te gebruiken.

Map bewaren
Selecteer hoe lang de gegevens moeten worden bewaard:

• Gegevens en metagegevens worden niet verwijderd: Noch de gegevens, noch de metagegevens worden verwijderd.

• Gegevens en metagegevens verwijderen na de bewaarperiode: Gegevens en metagegevens worden verwijderd nadat de bewaarperiode is verstreken,

• Verwijder metagegevens na de bewaarperiode. De gegevens worden verwijderd door een extern systeem.De gegevens worden permanent verwijderd nadat deze periode is verstreken. De metagegevens worden opgeschoond, maar de onderliggende gegevens, bijvoorbeeld het S3-object, worden niet verwijderd door Qlik.

Gegevens lezen vanuit
Selecteer wanneer de gegevens moeten worden opgenomen:

• Beginnen vanaf nu

  Alleen de gebeurtenissen opnemen die arriveren wanneer de pijplijn begint.

• Beginnen vanaf de vroegste gebeurtenis (standaard)

  Alle historische gegevens opnemen.

Inhoudstype
Selecteer de bestandsindeling uit de lijst, bijvoorbeeld JSON of CSV. Dit kan worden gewijzigd nadat de taak is uitgevoerd door de taak opnieuw te maken. Zie Inhoudstypen voor details over elke bestandsindeling.

Schema-evolutie

Nieuw onderwerp/streamSelecteer hoe nieuwe streams/onderwerpen moeten worden verwerkt.

• Toevoegen aan doel: Als u alle tabellen naar één doeltabel laadt, worden nieuwe gegevens aan deze tabel toegevoegd. Als u elk onderwerp naar een andere dataset laadt, wordt een nieuw onderwerp aan een nieuwe dataset toegevoegd.

• Negeren: Nieuwe gegevens worden niet aan het doel toegevoegd.

Uitvoeringstijd

Aantal lezers

• Apache Kafka: Selecteer het aantal te gebruiken lezers. De waarde moet tussen 1 en 1.000 liggen.

• Amazon Kinesis: Selecteer het aantal stream-shards.

• Amazon S3: Deze instelling is niet van toepassing op S3-streamingbronnen.

Lakehouse-cluster
Selecteer het streamingcluster. De Streaming tussenopslagtaak en Streaming Transform-taken hoeven niet op hetzelfde cluster te staan, maar moeten wel op dezelfde netwerkintegratie staan.

Inhoudstypen

De volgende instellingen zijn van toepassing op elk bestandsformaat.

• JSON

  • Dit is het standaard bestandsformaat, tenzij anders gedefinieerd.

• CSV en TSV

  • Eerste rij bevat headers: Standaard geselecteerd om aan te geven dat de eerste rij de headerrecord bevat.

  • Headerrij (Optioneel): Als de eerste rij niet de header is, definieert u de headernamen.

  • Scheidingsteken: Selecteer het standaardscheidingsteken als dit niet de standaard is (komma voor CSV, tab voor TSV). 

  • Teken voor aanhalingsteken-escape: Selecteer het standaardteken voor aanhalingsteken-escape als dit geen dubbel aanhalingsteken is zoals standaard gedefinieerd. 

  • Null-waarde (Optioneel): Voer de vervangende null-waarde in.

  • Dubbele headers toestaan: Als twee kolommen dezelfde naam hebben, wordt de tweede toegevoegd met een andere naam.

• Parquet, Avro en ORC

  • Er hoeven geen aanvullende instellingen te worden geconfigureerd.

• Reguliere expressie

  • Patroon: Voer het reguliere expressiepatroon in.

  • Meerdere regels: Standaard geselecteerd.

• Regels splitsen:

  • Regex: Voer de reguliere expressie voor de splitsing in.