Lagra strömmande datauppsättningar

Följande inställningar för strömmande transformeringsuppgifter gäller för Qlik Open Lakehouse projekt som använder en strömmande källa.

Du kan lagra och transformera strömmande data med uppgiften Strömmande transformera data. Strömmande data innehåller ofta kapslade strukturer och matriser som kräver utplattning, och transformeringsfunktioner behövs under lagringsfasen. Dessa funktioner är tillgängliga för uppgiften Strömmande transformering, vilket gör att du kan tillämpa transformeringar omedelbart efter mellanlagring av dina strömmande data.

Hantera detaljnivå för datamängd

Du kan platta ut kapslade strukturer och matriser för att öka detaljnivån. Detaljnivån visas i datamängdsvyn. Klicka på för att redigera detaljnivån:

• Om du väljer ett fält från en matris kommer måltabellen att inkludera en rad per element. Detta kommer att öka antalet rader i målet.

• Du måste välja fält från samma matrisväg. Om du väljer fält från olika sökvägar uppstår ett valideringsfel.

• Visade datatyper återspeglar den valda detaljnivån. Till exempel blir en ARRAY<INT> till INT när den plattas ut. Mer information finns i Datatypsmappningar.

Ta bort en uppgift

Du kan ta bort datauppgiften om den inte körs och det inte finns några beroenden till efterföljande uppgifter i samma projekt.

• I projektvyn Pipelineprojekt klickar du på på en uppgift och väljer Ta bort.

Artefakter (tabeller och vyer) som skapats av uppgiften kommer också att tas bort, om du inte väljer att behålla dem.

Visa uppgiftsinformation

Klicka på i menyraden för att visa uppgiftsinformation, till exempel:

• Ägare

• Utrymme

• Dataplattform

• Projekt-id

• Körnings-ID för datauppgift

Inställningar för transformering av dataströmmar

Lagringsinställningar

Du kan ställa in egenskaper för strömningstransformeringsdatauppgiften när dataplattformen är Qlik Open Lakehouse.

• Klicka på Inställningar.

Allmänna inställningar

• Uppgiftsschema

  Du kan byta namn på schemat för strömningstransformeringsuppgiften. Standardnamnet är namnet på lagringsuppgiften.

• Internt schema

  Du kan ändra namnet på datatillgångsschemat för intern lagring. Standardnamnet är namnet på lagringsuppgiften med _internal som tillägg.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Mapp som ska användas

  Du kan ändra lagringsmappen för strömningstransformeringsuppgiften.

• Hämta inställningar för nya datauppsättningar

  • Endast tillägg

    Lägger till nya poster utan att ändra befintliga data.Nyckelbegränsningar tillämpas inte om dubblettposter uppstår.

  • Tillämpa ändringar

    Uppdaterar befintliga poster och infogar nya poster baserat på nyckelfält.

    Om du väljer att sammanfoga ändringar kan du även välja följande:

    • Mjukradera poster genom att ange ett raderingsuttryck

      Definiera ett raderingsuttryck för att markera poster för radering.

    • Behåll historiska poster (Typ 2)

      Behåll tidigare versioner av ändrade poster.

• Avnästling av kolumner

  • Behåll nästlade kolumner

    Välj att bevara kapslad data.

  • Avnästla till separata kolumner

    Standardbeteendet är att avkapsla data till separata kolumner.

• Måltabellspartitionering

  Anteckning om informationDet här alternativet är bara tillgängligt när Endast lägg till är valt i Inläsningsinställningar.

  • Ingen partition

    Nya tabeller skapas utan partitioner.

  • Partitionera efter händelsedatum

    Nya tabeller partitioneras efter datumet då händelser matas in.

• Hantering av dataförändring

  Anteckning om informationDet här alternativet är endast tillgängligt när Tillämpa ändringar är valt i Inläsningsinställningar.

  • Inkludera mjuka borttagningar: Ange ett uttryck för att definiera vilka poster som ska markeras för borttagning.

  • Skapa ett historiskt datalager (Typ 2): Detta kommer att behålla tidigare versioner av ändrade poster.

• Hantering av lagring

  • Ingen partitionsrensning

  • Rensning av partitioner för aktuell ögonblicksbild

Inställningar för körtid

• Datasjöhuskluster

  Du kan ändra lakehouse-klustret, men det måste stödja strömbaserade arbetsbelastningar eller blandade arbetsbelastningar.

Inställningar för schemautveckling

• Lägg till kolumner på rotnivå

  Den här inställningen gäller när nya kolumner läggs till i den strömmande mellanlagringsuppgiften på rotnivå.

  • Tillämpa på mål

    Lägger automatiskt till nya kolumner på rotnivå från den strömmande mellanlagringsuppgiften till den strömmande transformeringsuppgiften. Detta är standardinställningen.

  • Ignorera

    Lägger inte till nya kolumner på rotnivå.

  • Stoppa uppgift

    Stoppar transformeringsuppgiften om en ny kolumn på rotnivå upptäcks i strömmande mellanlagringsuppgiften.

• Lägg till kolumner i strukturer

  Den här inställningen gäller när nya fält läggs till i en befintlig nästlad struktur i den strömmande mellanlagringsuppgiften.

  • Tillämpa på mål

    Lägger automatiskt till nya fält i befintliga strukturer i strömmande transformeringsuppgiften om de läggs till i mellanlagringsstrukturen.

  • Ignorera

    Lägger inte till nya fält i befintliga strukturer.

  • Stoppa uppgift

    Stoppar transformeringsuppgiften om ett nytt fält läggs till i en struktur i Streaming-mellanlagringsuppgiften.

• Ändra datatyp för fält

  • Ignorera

    Ändrar inte datatypen.

  • Stoppa uppgift

    Stoppar transformeringsuppgiften om en ändring av datatypen upptäcks i Streaming-mellanlagringsuppgiften.

Inställningar för datauppsättningar

Följande inställningar är tillgängliga för alla datamängder i vyn Design > Datamängder.

Klicka på bredvid datamängden och välj Inställningar.

• Hantering av dataladdning

  Välj hur data ska laddas in i måltabellen.

  • Endast tillägg

    Lägger till nya poster utan att ändra befintliga data.Nyckelbegränsningar tillämpas inte om dubblettposter uppstår.

  • Tillämpa ändringar

    Uppdaterar befintliga poster och infogar nya poster baserat på nyckelfält.

• Hantering av dataförändring

  Anteckning om informationDet här alternativet är endast tillgängligt när Tillämpa ändringar är valt i Inläsningsinställningar.

  • Inkludera mjuka borttagningar: Ange ett uttryck för att definiera vilka poster som ska markeras för borttagning. Detta bör vara ett uttryck som utvärderas till Sant om ändringen är en mjuk borttagning.

    Exempel: operation = 'D'

  • Skapa ett historiskt datalager (Typ 2): Detta kommer att behålla tidigare versioner av ändrade poster.

• Partitionskolumner

  Du kan valfritt välja partitionskolumner för att optimera prestanda.

  Klicka på Lägg till kolumn för att lägga till en partitionskolumn, välj sedan en Transformering och ange en Parameter om det behövs.

• Hantering av lagring

  Partitionsbeskärning tar bort partitioner som är äldre än lagringsperioden. Detta raderar inte data fysiskt och påverkar inte äldre ögonblicksbilder omedelbart. Äldre data kan vara tillgängliga i äldre ögonblicksbilder tills de har gått ut.

  Anteckning om informationVisas endast om partitionen har minst en datum- eller datetime-kolumn.

  • Ingen partitionsrensning

  • Rensning av partitioner för aktuell ögonblicksbild

• Sortera kolumner

  Anteckning om informationDet här alternativet är endast tillgängligt när Endast lägg till är valt i Inläsningsinställningar.

  Du kan också ange kolumnerna som data ska sorteras efter i varje fil i din Iceberg-tabell. Under datainläsning använder Iceberg dessa kolumner för att ordna poster. Genom att ange sorteringsnycklar för kolumner som ofta används i frågor förbättras lokalitet för dataåtkomst, vilket leder till snabbare inläsning och effektivare datakomprimering. Korrekt konfigurerade sorteringsnycklar säkerställer att dina data organiseras på ett optimalt sätt för frågehantering.

  Klicka på Lägg till kolumn för att lägga till en sorteringskolumn och ange sedan sorteringsordningen.

• Giltighetstid för ögonblicksbild

  Den här inställningen styr hur länge ögonblicksbilder behålls, vilket har en betydande inverkan på tabellstorlek och lagringskostnader. För tabeller som uppdateras ofta rekommenderas en kortare lagringstid för att minska lagringskostnaderna.

  Anteckning om informationAnge 0 för att förhindra att ögonblicksbilder försvinner.