Streaming gegevensverzamelingen opslaan

De volgende instellingen voor streamingtransformatie-taken zijn van toepassing op Qlik Open Lakehouse projecten die een streamingbron gebruiken.

U kunt streaminggegevens opslaan en transformeren met behulp van de Streaming Gegevens transformeren-taak. Streaminggegevens bevatten vaak geneste structuren en arrays die moeten worden afgevlakt, en transformatiemogelijkheden zijn nodig tijdens de opslagfase. Deze mogelijkheden zijn beschikbaar voor de Streamingtransformatie-taak, zodat u transformaties onmiddellijk na de tussenopslag van uw streaminggegevens kunt toepassen.

Beheer van gegevenssetgranulariteit

U kunt geneste structuren en arrays afvlakken om de granulariteit te vergroten. Granulariteit wordt weergegeven in de gegevenssetweergave. Klik op om de granulariteit te bewerken:

• Het selecteren van een veld uit een array zal ertoe leiden dat de doeltabel één rij per element bevat. Dit zal het aantal rijen in het doel verhogen.

• U moet velden selecteren uit hetzelfde arraypad. Het selecteren van velden uit verschillende paden zal een validatiefout veroorzaken.

• Weergegeven gegevenstypen weerspiegelen de geselecteerde granulariteit. Bijvoorbeeld, een ARRAY<INT> wordt INT wanneer deze wordt afgevlakt. Ga voor meer informatie naar Toewijzingen van gegevenstypen.

Taakinformatie weergeven

Klik op in de menubalk om taakinformatie weer te geven, zoals:

• Eigenaar

• Ruimte

• Gegevensplatform

• Project-id

• Runtime-id gegevenstaak

Instellingen voor Streaming transformeren

Opslaginstellingen

U kunt eigenschappen instellen voor de Streaming-transformatiegegevenstaak wanneer het gegevensplatform Qlik Open Lakehouse is.

• Klik op Instellingen.

Algemene instellingen

• Taakschema

  U kunt de naam wijzigen van het schema van de Streaming-transformatiegegevenstaak. De standaardnaam is de naam van de opslagtaak.

• Intern schema

  U kunt de naam van het interne schema van de opslaggegevensasset wijzigen. De standaardnaam is de naam van de opslagtaak met _internal toegevoegd.

• Prefix voor alle tabellen en weergaven

  U kunt een prefix instellen voor alle tabellen en weergaven die met deze taak zijn gemaakt.

  InformatieU moet een unieke prefix gebruiken als u een databaseschema in verschillende gegevenstaken wilt gebruiken.

• Te gebruiken map

  U kunt de opslagmap van de Streaming-transformatiegegevenstaak wijzigen.

• Laadinstellingen voor nieuwe gegevensverzamelingen

  • Alleen toevoegen

    Voegt nieuwe records toe zonder bestaande gegevens te wijzigen.Sleutelbeperkingen worden niet afgedwongen als dubbele records binnenkomen.

  • Wijzigingen toepassen

    Werkt bestaande records bij en voegt nieuwe records in op basis van sleutelvelden.

    Als u ervoor kiest om wijzigingen samen te voegen, kunt u ook het volgende selecteren:

    • Records voorlopig verwijderen door een verwijderingsuitdrukking op te geven

      Definieer een verwijderingsuitdrukking om records te markeren voor verwijdering.

    • Historische records bewaren (Type 2)

      Eerdere versies van gewijzigde records bewaren.

• Kolom unnesten

  • Geneste kolommen behouden

    Selecteer om geneste gegevens te behouden.

  • Unnesten in afzonderlijke kolommen

    Het standaardgedrag is om gegevens te ontvouwen in afzonderlijke kolommen.

• Doeltabellenpartitie

  InformatieDeze optie is alleen beschikbaar wanneer Alleen toevoegen is geselecteerd in Laadinstellingen.

  • Geen partitie

    Nieuwe tabellen worden gemaakt zonder partities.

  • Partitie op gebeurtenisdatum

    Nieuwe tabellen worden gepartitioneerd op basis van de datum waarop gebeurtenissen worden opgenomen.

• Verwerking van gegevenswijziging

  InformatieDeze optie is alleen beschikbaar wanneer Wijzigingen toepassen is geselecteerd in Laadinstellingen.

  • Zachte verwijderingen opnemen: Voer een expressie in om te definiëren welke records moeten worden gemarkeerd voor verwijdering.

  • Een historische gegevensopslag maken (Type 2): Hiermee worden eerdere versies van gewijzigde records bewaard.

• Retentiebeheer

  • Geen partitieverwijdering

  • Partitieverwijdering voor huidig snapshot

Runtime-instellingen

• Lakehouse-cluster

  U kunt het lakehouse-cluster wijzigen, maar dit moet ondersteuning bieden voor streaming-workloads of gemengde workloads.

Instellingen voor schema-evolutie

• Kolommen toevoegen op het hoofdniveau

  Deze instelling is van toepassing wanneer nieuwe kolommen worden toegevoegd aan de streaming-tussenopslagtaak op het hoofdniveau.

  • Toepassen op doel

    Voegt automatisch nieuwe kolommen op hoofdniveau toe van de Streaming-tussenopslagtaak aan de Streaming-transformatie-taak. Dit is de standaardinstelling.

  • Negeren

    Voegt geen nieuwe kolommen op hoofdniveau toe.

  • Taak stoppen

    Stopt de transformatie-taak als een nieuwe kolom op hoofdniveau wordt gedetecteerd in de stream-tussenopslagtaak.

• Kolommen toevoegen aan structuren

  Deze instelling is van toepassing als nieuwe velden worden toegevoegd binnen een bestaande geneste structuur in de stream-tussenopslagtaak.

  • Toepassen op doel

    Voegt automatisch nieuwe velden toe aan bestaande structuren in de Streaming-transformatie-taak als ze worden toegevoegd aan de tussenopslagstructuur.

  • Negeren

    Voegt geen nieuwe velden toe aan bestaande structuren.

  • Taak stoppen

    Stopt de transformatietaak als een nieuw veld wordt toegevoegd aan een structuur in de Streaming-tussenopslagtaak.

• Gegevenstype van veld wijzigen

  • Negeren

    Wijzigt het gegevenstype niet.

  • Taak stoppen

    Stopt de transformatietaak als een wijziging van het gegevenstype wordt gedetecteerd in de Streaming-tussenopslagtaak.

Instellingen van gegevensverzameling

De volgende instellingen zijn beschikbaar voor alle datasets in de Ontwerpweergave > Datasets.

Klik op naast de dataset en selecteer Instellingen.

• Verwerking van gegevenslading

  Selecteert hoe gegevens worden geladen in de doeltabel.

  • Alleen toevoegen

    Voegt nieuwe records toe zonder bestaande gegevens te wijzigen.Sleutelbeperkingen worden niet afgedwongen als dubbele records binnenkomen.

  • Wijzigingen toepassen

    Werkt bestaande records bij en voegt nieuwe records in op basis van sleutelvelden.

• Verwerking van gegevenswijziging

  InformatieDeze optie is alleen beschikbaar wanneer Wijzigingen toepassen is geselecteerd in Laadinstellingen.

  • Zachte verwijderingen opnemen: Voer een expressie in om te definiëren welke records moeten worden gemarkeerd voor verwijdering. Dit moet een expressie zijn die resulteert in Waar als de wijziging een zachte verwijdering is.

    Voorbeeld: operation = 'D'

  • Een historische gegevensopslag maken (Type 2): Hiermee worden eerdere versies van gewijzigde records bewaard.

• Partitiekolom

  Optioneel kunt u partitiekolommen selecteren om de prestaties te optimaliseren.

  Klik op Kolom toevoegen om een partitiekolom toe te voegen, selecteer vervolgens een Transformatie en stel een Parameter in indien vereist.

• Retentiebeheer

  Partitie-pruning verwijdert partities die ouder zijn dan de retentieperiode. Dit verwijdert de gegevens niet fysiek en heeft geen onmiddellijke invloed op oudere snapshots. Oudere gegevens kunnen beschikbaar zijn in oudere snapshots totdat ze zijn verlopen.

  InformatieWordt alleen weergegeven als de partitie ten minste één datum- of datumtijdkolom heeft.

  • Geen partitieverwijdering

  • Partitieverwijdering voor huidig snapshot

• Kolommen sorteren

  InformatieDeze optie is alleen beschikbaar wanneer Alleen toevoegen is geselecteerd in Laadinstellingen.

  U kunt optioneel de kolommen opgeven op basis waarvan gegevens worden gesorteerd binnen elk bestand van uw Iceberg-tabel. Tijdens de gegevensopname gebruikt Iceberg deze kolommen om records te ordenen. Het definiëren van sorteersleutels voor kolommen die vaak in query's worden gebruikt, verbetert de gegevenslokaliteit. Dit resulteert in snellere leesprestaties en efficiëntere compressie. Goed geconfigureerde sorteersleutels zorgen ervoor dat uw gegevens optimaal zijn georganiseerd voor queryprestaties.

  Klik op Kolom toevoegen om een sorteerkolom toe te voegen en stel vervolgens de sorteervolgorde in.

• Verloopduur snapshot

  Deze instelling bepaalt hoe lang snapshots worden bewaard, wat een aanzienlijke invloed heeft op de tabelgrootte en opslagkosten. Voor tabellen die regelmatig worden bijgewerkt, wordt een kortere duur aangeraden om de opslagkosten te verlagen.

  InformatieVoer 0 in om verloop van snapshot uit te schakelen.