Lagra strömmande dataset

Följande inställningar för uppgiften Strömmande transformering gäller för Qlik Open Lakehouse-projekt som använder en strömmande källa.

Du kan lagra och transformera strömmande data med uppgiften Strömmande transformera data. Strömmande data innehåller ofta nästlade strukturer och matriser som kräver tillplattning, och transformeringsfunktioner behövs under lagringsfasen. Dessa funktioner är tillgängliga för uppgiften Strömmande transformering, vilket gör att du kan tillämpa transformeringar omedelbart efter mellanlagring av dina strömmande data.

Hantera datasetets granularitet

Du kan platta till nästlade strukturer och matriser för att öka granulariteten. Granularitet visas i vyn Dataset. Klicka på för att redigera granularitet:

• Om du väljer ett fält från en matris kommer måltabellen att inkludera en rad per element. Detta ökar antalet rader i målet.

• Du måste välja fält från samma matrissökväg. Om du väljer fält från olika sökvägar genereras ett valideringsfel.

• Visade datatyper återspeglar den valda granulariteten. Till exempel blir en ARRAY<INT> INT när den plattas till. Mer information finns i Mappningar av datatyper.

Ta bort en uppgift

Du kan ta bort datauppgiften om den inte körs och det inte finns några beroenden till efterföljande uppgifter i samma projekt.

• I projektvyn Pipelineprojekt klickar du på på en uppgift och väljer Ta bort.

Artefakter (tabeller och vyer) som skapats av uppgiften kommer också att tas bort, om du inte väljer att behålla dem.

Visa uppgiftsinformation

Klicka på i menyraden för att visa uppgiftsinformation, till exempel:

• Ägare

• Utrymme

• Dataplattform

• Projekt-id

• Körnings-ID för datauppgift

Inställningar för Strömmande transformering

Du kan ställa in egenskaper för uppgiften Strömmande transformera data när dataplattformen är Qlik Open Lakehouse.

• Klicka på Inställningar.

Allmänna inställningar

• Uppgiftsschema

  Du kan ändra namnet på uppgiftsschemat för Strömmande transformering. Standardnamnet är namnet på lagringsuppgiften.

• Internt schema

  Du kan ändra namnet på det interna lagringens datatillgångsschema. Standardnamnet är namnet på lagringsuppgiften med _internal tillagt.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Mapp att använda

  Du kan ändra lagringsmappen för uppgiften Strömmande transformering.

• Laddningsinställningar för nya dataset

  • Endast lägg till

    Lägger till nya poster utan att ändra befintliga data. Nyckelbegränsningar tillämpas inte om dubblettposter anländer.

  • Tillämpa ändringar

    Uppdaterar befintliga poster och infogar nya poster baserat på nyckelfält.

    Om du väljer att slå samman ändringar kan du även välja följande:

    • Mjuk radera poster genom att ange raderingsuttryck

      Definiera ett raderingsuttryck för att markera poster för radering.

    • Behåll historiska poster (Typ 2)

      Behåll tidigare versioner av ändrade poster.

• Avnästla kolumner

  • Bevara nästlade kolumner

    Välj för att bevara nästlade data.

  • Avnästla till separata kolumner

    Standardbeteendet är att avnästla data till separata kolumner.

• Måltabellspartition

  Anteckning om informationDet här alternativet är endast tillgängligt när Endast lägg till har valts i Laddningsinställningar.

  • Ingen partition

    Nya tabeller skapas utan partitioner.

  • Partitionera efter händelsedatum

    Nya tabeller partitioneras efter det datum då händelserna matas in.

• Hantering av dataändringar

  Anteckning om informationDet här alternativet är endast tillgängligt när Tillämpa ändringar har valts i Laddningsinställningar.

  • Inkludera mjuka raderingar: Ange ett uttryck för att definiera vilka poster som ska markeras för radering.

  • Skapa ett historiskt datalager (Typ 2): Detta behåller tidigare versioner av ändrade poster.

• Kvarhållningshantering

  • Ingen partitionsrensning

  • Partitionsrensning för aktuell ögonblicksbild

Tabelldefinitioner

• hdr__from_timestamp

  När det här alternativet är aktiverat kommer rubrikkolumnen hdr__from_timestamp att visas i standardvyer. Dessutom, när Partitionera efter händelseinläsningsdatum väljs i introduktionsguiden, kommer hdr__from_timestamp att användas som standardpartitionskolumn.

  Anteckning om informationHistorikvyer inkluderar alltid alla rubrikkolumner för standardvyer, oavsett denna inställning.

Körningsinställningar

• Lakehouse-kluster

  Du kan ändra lakehouse-klustret, men detta måste stödja strömmande arbetsbelastningar eller blandade arbetsbelastningar.

Inställningar för schemautveckling

• Lägg till kolumner på rotnivå

  Den här inställningen gäller när nya kolumner läggs till i uppgiften för strömmande mellanlagring på rotnivå.

  • Tillämpa på mål

    Lägger automatiskt till nya kolumner på rotnivå från uppgiften Strömmande mellanlagring till uppgiften Strömmande transformering. Detta är standardinställningen.

  • Ignorera

    Lägger inte till nya kolumner på rotnivå.

  • Stoppa uppgift

    Stoppar transformeringsuppgiften om en ny kolumn på rotnivå upptäcks i uppgiften för strömmande mellanlagring.

• Lägg till kolumner i strukturer

  Den här inställningen gäller när nya fält läggs till inuti en befintlig nästlad struktur i uppgiften för strömmande mellanlagring.

  • Tillämpa på mål

    Lägger automatiskt till nya fält i befintliga strukturer i uppgiften Strömmande transformering om de läggs till i mellanlagringsstrukturen.

  • Ignorera

    Lägger inte till nya fält i befintliga strukturer.

  • Stoppa uppgift

    Stoppar transformeringsuppgiften om ett nytt fält läggs till i en struktur i uppgiften Strömmande mellanlagring.

• Ändra fältdatatyper

  • Ignorera

    Ändrar inte datatypen.

  • Stoppa uppgift

    Stoppar transformeringsuppgiften om en ändring av datatyp upptäcks i uppgiften Strömmande mellanlagring.

Datasetinställningar

Följande inställningar är tillgängliga för alla dataset i vyn Design > Dataset.

Klicka på bredvid datasetet och välj Inställningar.

• Hantering av dataladdning

  Väljer hur data laddas in i måltabellen.

  • Endast lägg till

    Lägger till nya poster utan att ändra befintliga data. Nyckelbegränsningar tillämpas inte om dubblettposter anländer.

  • Tillämpa ändringar

    Uppdaterar befintliga poster och infogar nya poster baserat på nyckelfält.

• Hantering av dataändringar

  Anteckning om informationDet här alternativet är endast tillgängligt när Tillämpa ändringar har valts i Laddningsinställningar.

  • Inkludera mjuka raderingar: Ange ett uttryck för att definiera vilka poster som ska markeras för radering. Detta bör vara ett uttryck som valideras till Sant (True) om ändringen är en mjuk radering.

    Exempel: operation = 'D'

  • Skapa ett historiskt datalager (Typ 2): Detta behåller tidigare versioner av ändrade poster.

• Partitionskolumner

  Valfritt kan du välja partitionskolumner för att optimera prestandan.

  Klicka på Lägg till kolumn för att lägga till en partitionskolumn, välj sedan en Transformering och ställ in en Parameter om det behövs.

• Kvarhållningshantering   

  Partitionsrensning tar bort partitioner som är äldre än kvarhållningsperioden. Detta raderar inte data fysiskt och påverkar inte äldre ögonblicksbilder omedelbart. Äldre data kan vara tillgängliga i äldre ögonblicksbilder tills de har löpt ut.

  Anteckning om informationVisas endast om partitionen har minst en datum- eller datumtidskolumn.

  • Ingen partitionsrensning

  • Partitionsrensning för aktuell ögonblicksbild

• Sortera kolumner

  Anteckning om informationDet här alternativet är endast tillgängligt när Endast lägg till har valts i Laddningsinställningar.

  Valfritt kan du ange de kolumner efter vilka data ska sorteras i varje fil i din Iceberg-tabell. Under datainmatning använder Iceberg dessa kolumner för att ordna poster. Att definiera sorteringsnycklar på kolumner som ofta används i frågor förbättrar datalokaliteten, vilket resulterar i snabbare läsprestanda och effektivare komprimering. Korrekt konfigurerade sorteringsnycklar säkerställer att dina data är optimalt organiserade för frågeprestanda.

  Klicka på Lägg till kolumn för att lägga till en sorteringskolumn och ställ sedan in sorteringsordningen.

• Varaktighet för utgång av ögonblicksbild

  Den här inställningen styr hur länge ögonblicksbilder behålls, vilket avsevärt påverkar tabellstorlek och lagringskostnader. För tabeller som uppdateras ofta rekommenderas en kortare varaktighet för att hjälpa till att minska lagringskostnaderna.

  Anteckning om informationAnge 0 för att inaktivera utgång av ögonblicksbild.

• Standardvy-rubriker

  • Ärv från datauppgiftsinställningar

    Detta är standard. Inaktivera om du vill ställa in specifika rubrikkolumner endast för detta dataset.

  • hdr__from_timestamp

    När det här alternativet är aktiverat kommer rubrikkolumnen hdr__from_timestamp att visas i standardvyer. Dessutom, när Partitionera efter händelseinläsningsdatum väljs i introduktionsguiden, kommer hdr__from_timestamp att användas som standardpartitionskolumn.

    Anteckning om informationHistorikvyer inkluderar alltid alla rubrikkolumner för standardvyer, oavsett denna inställning.