Streaming gegevensverzamelingen opslaan

De volgende instellingen voor streamingtransformatie-taken zijn van toepassing op Qlik Open Lakehouse projecten die een streamingbron gebruiken.

U kunt streaminggegevens opslaan en transformeren met behulp van de Streaming Gegevens transformeren-taak. Streaminggegevens bevatten vaak geneste structuren en arrays die moeten worden afgevlakt, en transformatiemogelijkheden zijn nodig tijdens de opslagfase. Deze mogelijkheden zijn beschikbaar voor de Streamingtransformatie-taak, zodat u transformaties onmiddellijk na de tussenopslag van uw streaminggegevens kunt toepassen.

Opslaginstellingen

U kunt eigenschappen instellen voor de Streaming-transformatiegegevenstaak wanneer het gegevensplatform Qlik Open Lakehouse is.

• Klik op Instellingen.

Algemene instellingen

• Taakschema

  U kunt de naam wijzigen van het schema van de Streaming-transformatiegegevenstaak. De standaardnaam is de naam van de opslagtaak.

• Intern schema

  U kunt de naam van het interne schema van de opslaggegevensasset wijzigen. De standaardnaam is de naam van de opslagtaak met _internal toegevoegd.

• Prefix voor alle tabellen en weergaven

  U kunt een prefix instellen voor alle tabellen en weergaven die met deze taak zijn gemaakt.

  InformatieU moet een unieke prefix gebruiken als u een databaseschema in verschillende gegevenstaken wilt gebruiken.

• Te gebruiken map

  U kunt de opslagmap van de Streaming-transformatiegegevenstaak wijzigen.

• Laadinstellingen voor nieuwe gegevensverzamelingen

  • Alleen toevoegen

    Voegt nieuwe records toe zonder bestaande gegevens te wijzigen.Sleutelbeperkingen worden niet afgedwongen als dubbele records binnenkomen.

  • Wijzigingen toepassen (Merge)

    Werkt bestaande records bij en voegt nieuwe records in op basis van sleutelvelden.

    Als u ervoor kiest om wijzigingen samen te voegen, kunt u ook het volgende selecteren:

    • Records voorlopig verwijderen door een verwijderingsuitdrukking op te geven

      Definieer een verwijderingsuitdrukking om records te markeren voor verwijdering.

    • Historische records bewaren (Type 2)

      Eerdere versies van gewijzigde records bewaren.

• Kolom unnesten

  • Geneste kolommen behouden

    Selecteer om geneste gegevens te behouden.

  • Unnesten in afzonderlijke kolommen

    Het standaardgedrag is om te ontvouwen in afzonderlijke kolommen.

• Doeltabellenpartitie

  • Geen partitie

    Nieuwe tabellen worden gemaakt zonder partities.

  • Partitie op gebeurtenisdatum

    Nieuwe tabellen worden gepartitioneerd op basis van de datum waarop gebeurtenissen worden opgenomen.

Runtime-instellingen

• Lakehouse-cluster

  U kunt het lakehouse-cluster wijzigen, maar dit moet ondersteuning bieden voor streaming-workloads of gemengde workloads.

Instellingen voor schema-evolutie

• Kolommen toevoegen op het hoofdniveau

  Deze instelling is van toepassing wanneer nieuwe kolommen worden toegevoegd aan de streaming-tussenopslagtaak op het hoofdniveau.

  • Toepassen op doel

    Voegt automatisch nieuwe kolommen op hoofdniveau toe van de Streaming-tussenopslagtaak aan de Streaming-transformatie-taak. Dit is de standaardinstelling.

  • Negeren

    Voegt geen nieuwe kolommen op hoofdniveau toe.

  • Taak stoppen

    Stopt de transformatie-taak als een nieuwe kolom op hoofdniveau wordt gedetecteerd in de stream-tussenopslagtaak.

• Kolommen toevoegen aan structuren

  Deze instelling is van toepassing als nieuwe velden worden toegevoegd binnen een bestaande geneste structuur in de stream-tussenopslagtaak.

  • Toepassen op doel

    Voegt automatisch nieuwe velden toe aan bestaande structuren in de Streaming-transformatie-taak als ze worden toegevoegd aan de tussenopslagstructuur.

  • Negeren

    Voegt geen nieuwe velden toe aan bestaande structuren.

  • Taak stoppen

    Stopt de transformatietaak als een nieuw veld wordt toegevoegd aan een structuur in de Streaming-tussenopslagtaak.

• Gegevenstype van veld wijzigen

  • Negeren

    Wijzigt het gegevenstype niet.

  • Taak stoppen

    Stopt de transformatietaak als een wijziging van het gegevenstype wordt gedetecteerd in de Streaming-tussenopslagtaak.