Transformera data

Du kan skapa återanvändbara och regelbaserade datatransformeringar som en del av din data-pipeline. Du kan utföra transformeringar som en del av din data-onboarding, eller skapa återanvändbara datauppgifter för transformering. Du kan utföra transformeringar på radnivå, inkludera SQL-transformeringar och designa komplexa transformeringsflöden. De resulterande datauppsättningarna kan antingen materialiseras som tabeller eller skapas som vyer som utför transformeringar i farten.

• Du kan utföra explicita transformeringar av datauppsättningar eller skapa globala regler som transformerar flera datauppsättningar. Du kan också filtrera en datauppsättning för att skapa en delmängd av rader.

• Du kan lägga till SQL-transformeringar. En SQL-transformering låter dig mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla transformeringar.

• Du kan lägga till visuella transformeringsflöden med källor, processorer och mål för att definiera komplexa eller enkla transformeringar.

En datauppgift för transformering innehåller tre vyer:

• Transformera

  Den här vyn visar alla transformeringar för att visualisera flödet från källdatauppsättning till måldatauppsättning.

• Datauppsättningar

  Den här vyn visar alla grundläggande transformeringar på datauppsättningarna, såsom att filtrera data eller lägga till kolumner, samt regler för att utföra globala transformeringar.

• Modell

  Den här vyn låter dig skapa en datamodell med relationerna mellan de inkluderade datauppsättningarna. För mer information, se Skapa en datamodell.

Förutom att lagra tabeller i datalagret kan du också lagra tabeller som Iceberg-tabeller som hanteras av dataplattformen. Detta alternativ är för närvarande endast tillgängligt för Snowflake-projekt. Detta är möjligt genom att välja Snowflake-hanterade Iceberg-tabeller under Tabelltyp i uppgiftsinställningarna.

Skapa en datauppgift för transformering

Det enklaste sättet att skapa en datauppgift för transformering är att klicka på ... på en datauppgift för lagring och sedan välja Transformera data.

Du kan också klicka på Skapa i ett projekt och välja Transformera data. I det här fallet måste du definiera vilken källdatauppgift som ska användas.

1. Definiera dina källdata och mål i Transformera.

   Du kan antingen:

   • Utföra transformeringar av datauppsättningar

     Välj källdatauppsättningar och klicka på Lägg till i mål för att lägga till dem i Mål.

     Du kan sedan utföra grundläggande transformeringar på datauppsättningarna, såsom att filtrera data eller lägga till kolumner, i Datauppsättningar.

     För mer information, se Hantera datauppsättningar.

   • Lägga till en SQL-transformering

     Välj källdatauppsättningar och klicka på Lägg till SQL-transformering.

     En SQL-transformering låter dig mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla transformeringar.

     För mer information, se Lägga till SQL-transformeringar.

   • Lägga till ett transformeringsflöde

     Välj källdatauppsättningar och klicka på Lägg till transformeringsflöde.

     Flödesdesignern låter dig skapa ett transformeringsflöde med källor, processorer och mål för att definiera komplexa eller enkla transformeringar.

     För mer information, se Lägga till transformationsflöden.

2. Du kan också lägga till fler datauppsättningar från andra datauppgifter för lagring genom att klicka på Välj källdata.

   Du kan lägga till datauppsättningar från det aktuella projektet eller från ett annat projekt. För att lägga till datauppsättningar från ett annat projekt:

   • Du måste ha minst rollen Kan konsumera i utrymmet för det konsumerade projektet.

   • Båda projekten måste vara på samma dataplattform.

   Om det valda projektet är under versionskontroll kan du välja vilken gren som ska användas som källa. För mer information om pipelines över flera projekt, se Bygga pipelines över flera projekt.

3. När du har lagt till de transformeringar du vill ha, validera datauppsättningarna genom att klicka på Validera datauppsättningar. Om valideringen hittar fel, åtgärda felen innan du fortsätter.

   För mer information, se Validera och justera datauppsättningarna.

4. Skapa en datamodell

   Klicka på Modell för att ställa in relationerna mellan de inkluderade datauppsättningarna.

   För mer information, se Skapa en datamodell.

5. Klicka på Förbered för att förbereda datauppgiften och alla nödvändiga artefakter. Detta kan ta en liten stund.

   Du kan följa förloppet under Förberedelseförlopp i den nedre delen av skärmen.

   Anteckning om informationInnan du förbereder en uppgift ska du stoppa alla uppgifter som ligger direkt nedströms.

6. När statusen visar Förberedd kan du köra datauppgiften.

   Klicka på ... och sedan på Kör.

Datauppgiften kommer nu att börja skapa datauppsättningar för att transformera data.

Använda vyn Transformera

I Transformera visas alla transformeringar för att visualisera flödet från källdatauppsättning till måldatauppsättning.

• Välj en transformering för att se vilka källdatauppsättningar som används och vilka måldatauppsättningar som skapas.

• Välj en källa för att se alla transformeringar där den används och alla resulterande mål.

• Välj ett mål för att se vilka källdatauppsättningarna är och vilken transformering som skapade denna måldatauppsättning.

Du kan ändra följande inställningar genom att klicka på Visningsalternativ:

• Filtrera efter transformeringstyp

  Visa endast transformeringar av en eller två transformeringstyper.

• Filter

  Visa alla transformeringar eller bara den valda transformeringen. Du måste välja en transformering för att aktivera det här alternativet.

• Densitet

  Välj om du vill visa transformeringar med en kompakt layout eller en bred layout som använder mer utrymme.

Använda vyn Datauppsättningar

I Datauppsättningar kan du visa och redigera alla måldatauppsättningar i transformeringsuppgiften.

Se även Hantera datauppsättningar för mer information.

Lägga till en måldatauppsättning

Du kan lägga till fler måldatauppsättningar i transformeringsuppgiften.

1. Klicka på .

2. Ange Namn och valfritt Beskrivning för datauppsättningen.

3. Välj en källdatauppsättning från de datauppsättningar som är tillgängliga i uppgiften i Källdatauppsättning.

   Anteckning om tipsDu kan välja Ingen källdatauppsättning för att skapa en tom datauppsättning som inte är ansluten till någon källa. Du kan lägga till kolumner i datauppsättningen under designen, men du måste ansluta till en källdatauppsättning innan du kan förbereda uppgiften.

Måldatauppsättningen har nu lagts till.

Ändra källdatauppsättningen

Du kan ändra källdatauppsättningen för en måldatauppsättning.

1. Klicka på efter Källa: [namn på källdatauppsättning].

2. Välj en annan källdatauppsättning från de datauppsättningar som är tillgängliga i uppgiften i Källdatauppsättning.

   Anteckning om tipsDu kan välja Ingen källdatauppsättning för att koppla bort måldatauppsättningen från källan. Du kan redigera datauppsättningen under designen, men du måste ansluta till en källdatauppsättning innan du kan förbereda uppgiften.

Lägga till nya kolumner

Du kan lägga till nya kolumner i måldatauppsättningen.

• Lägga till en ny kolumn från grunden

  Klicka på + Lägg till.

  Ange ett namn för kolumnen och ställ in ett uttryck för att definiera kolumndata.

  För mer information, se Lägga till kolumner i en datauppsättning.

• Lägga till en kolumn från källan

  Klicka på bredvid Lägg till och välj Lägg till kolumn från källa.

  Välj en kolumn från källdatauppsättningen.

Ändra ordning på kolumner

Du kan ändra ordningspositionen för en kolumn.

1. Välj en kolumn.

2. Klicka på och sedan på Ändra ordning.

3. Använd pilarna för att flytta kolumnen uppåt eller nedåt.

4. Stäng Ändra ordningstal när du är klar.

Skapa transformeringsregler

Du kan skapa återanvändbara transformeringsregler för att utföra global transformering på datauppsättningar.

För mer information om att skapa regler, se Skapa regler för att omvandla datauppsättningar.

Filtrera en datauppsättning

Du kan filtrera data för att skapa en delmängd av rader, om det behövs.

• Klicka på och sedan på Filtrera.

För mer information om filtrering, se Filtrera en datauppsättning.

Schemalägga en transformeringsuppgift

Du kan schemalägga en transformeringsuppgift så att den uppdateras regelbundet. Du kan ställa in ett tidsbaserat schema eller ställa in uppgiften så att den körs när indatauppgifter har slutförts.

Klicka på ... på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i projektet. För mer information om standardinställningar, se Omvandla standardvärden.

Du måste alltid ställa in Schemaläggning på På för att aktivera schemat.

Tidsbaserade scheman

Du kan använda ett tidsbaserat schema för att köra uppgiften oavsett när de olika indatakällorna uppdateras.

• Välj Vid specifik tidpunkt i Kör datauppgiften.

Du kan ställa in ett schema per timme, dag, vecka eller månad.

Händelsebaserade scheman

Du kan använda ett händelsebaserat schema för att köra uppgiften när indatauppgifter har slutförts.

• Välj Vid specifik händelse i Kör datauppgiften.

Du kan välja om du vill köra uppgiften när någon av indatauppgifterna har slutförts framgångsrikt, eller när någon av ett urval av indatauppgifter har slutförts framgångsrikt.

Övervaka en transformeringsuppgift

Du kan övervaka status och förlopp för en transformeringsuppgift genom att klicka på Övervaka.

För mer information, se Övervaka en enskild datauppgift.

Ladda om data

Du kan utföra en manuell omladdning av tabeller om data materialiseras som fysiska tabeller. Detta är användbart när det finns problem med en eller flera tabeller.

1. Öppna datauppgiften och välj fliken Övervaka.

2. Välj de tabeller som du vill ladda om.

3. Klicka på Ladda om tabeller.

Omladdningen kommer att ske nästa gång uppgiften körs. Omladdningsprocessen beter sig olika beroende på historikinställningen och transformeringstypen för varje datauppsättning. Detta innebär att omladdningsprocessen kan skilja sig mellan datauppsättningar i en datauppgift.

• Transformeringar av datauppsättningar laddas om genom att trunkera och ladda.

• SQL-transformeringar och transformeringsflöden kan laddas om genom att trunkera och ladda, eller genom att jämföra och tillämpa. Bästa praxis är att jämföra och tillämpa.

  Ladda om en datauppsättning baserad på SQL-transformering eller transformeringsflöde

Du kan avbryta omladdningen för tabeller som väntar på omladdning genom att klicka på Avbryt omladdning. Detta påverkar inte tabeller som redan har laddats om, och omladdningar som för närvarande körs kommer att slutföras.

Nedströmsuppgifter kommer att laddas om för att tillämpa ändringar och för att undvika bakåtdatering.

Påverkan nedströms beror på vilken typ av omladdningsåtgärd som utförs och typen av omedelbar nedströmsdatauppsättning. Standardbearbetning innebär att datauppsättningen kommer att reagera och bearbeta data med den konfigurerade metoden för den specifika datauppsättningen.

Exempel: Ladda om en datauppsättning via trunkera och ladda

• Om nästa datauppsättning använder transformeringar av datauppsättningar kommer den att laddas om vid nästa körning via en trunkera och ladda.

• Om nästa datauppsättning är en SQL-transformering eller ett transformeringsflöde kommer den att laddas om med hjälp av jämför och tillämpa.

Ladda om en datauppsättning utan historik

I det här fallet finns det ingen historik att ta hänsyn till. För att minska bearbetningen på målet utförs omladdningen genom att:

1. Trunkera tabellerna.

2. Ladda aktuella data från uppströmsdatauppgiften.

Nedströmsuppgifter kommer att laddas om för att tillämpa ändringar.

Ladda om en datauppsättning med historik aktiverad

Omladdningen utförs genom att:

1. Trunkera aktuella, tidigare och ändringstabeller.

2. Ladda data från uppströmsdatauppgiften, inklusive tidigare tabeller.

Ladda om en datauppsättning baserad på SQL-transformering eller transformeringsflöde

• Trunkera och ladda om

  Anteckning om informationDet här alternativet kan orsaka förlust av historik.

  1. Trunkera de aktuella tabellerna och ändringstabellerna.

  2. Köra frågan och ladda den till de aktuella tabellerna.

• Ladda om och jämför

  1. Köra frågan och jämföra den med de aktuella tabellerna.

  2. Lägga till ändringar.

Ta bort en uppgift

Du kan ta bort datauppgiften om den inte körs och det inte finns några beroenden till efterföljande uppgifter i samma projekt.

• I projektvyn Pipelineprojekt klickar du på på en uppgift och väljer Ta bort.

Artefakter (tabeller och vyer) som skapats av uppgiften kommer också att tas bort, om du inte väljer att behålla dem.

Visa uppgiftsinformation

Klicka på i menyraden för att visa uppgiftsinformation, till exempel:

• Ägare

• Utrymme

• Dataplattform

• Projekt-id

• Körnings-ID för datauppgift

Transformeringsinställningar

Du kan ställa in egenskaper för datauppgiften för transformering.

• Klicka på Inställningar.

Allmänna inställningar

• Databas

  Databas att använda i datakällan.

• Uppgiftsschema

  Du kan ändra namnet på datauppgiftsschemat. Standardnamnet är namnet på uppgiften.

• Internt schema

  Du kan ändra namnet på det interna lagringsschemat. Standardnamnet är namnet på uppgiften med tillägget "__internal".

• Standardversalisering av schemanamn

  Du kan ställa in standardversalisering för alla schemanamn. Om din databas är konfigurerad för att tvinga fram versalisering kommer det här alternativet inte att ha någon effekt.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Materialiserad

  Du kan välja att endast skapa vyer som utför transformeringar i farten (Icke-materialiserad), eller skapa både tabeller och vyer (Materialiserad).

• Historiskt datalager (Typ 2)

  Du kan behålla historiska ändringsdata för att enkelt kunna återskapa data som de såg ut vid en specifik tidpunkt. Du kan använda historikvyer och live-historikvyer för att se historiska data.

• Publicera i katalogen

  Välj det här alternativet för att publicera den här versionen av data till Katalogen som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

  Mer information om Katalog finns i Förstå data med hjälp av katalogverktyg.

Körningsinställningar

• Parallell körning

  Du kan ställa in det maximala antalet kopplingar för fullständiga laddningar till ett nummer från 1 till 5.

• Lager

  Namnet på molndatalagret.

Inställningar för vytyp

Inställningarna för vytyp är endast tillämpliga för Snowflake.

• Standardvyer

  Använd Standardvyer i de flesta fall.

• Säkra Snowflake-vyer

  Använd säkra Snowflake-vyer för vyer som är avsedda för datasekretess eller skydd av känslig information, till exempel vyer som skapats för att begränsa åtkomsten till känsliga data som inte bör exponeras för alla användare av de underliggande tabellerna.

  Anteckning om information Säkra Snowflake-vyer kan köras långsammare än Standardvyer.

Inställningar för tabelltyp

Dessa inställningar är endast tillgängliga i projekt med Snowflake som dataplattform.

• Tabelltyp

  Du kan välja vilken typ av tabell som ska användas:

  • Snowflake-tabeller

  • Iceberg-tabeller som hanteras av Snowflake

    Du måste ange standardnamnet på den externa volymen i Snowflake external volume.

• Mapp att använda i molnet

  Välj vilken mapp som ska användas när data mellanlagras i mellanlagringsområdet.

  • Standardmapp

    Detta skapar en mapp med standardnamnet: <projektnamn>/<datauppgiftens namn>.

  • Rotmapp

    Lagra data i lagringens rotmapp.

  • Mapp

    Ange namnet på mappen som ska användas.

• Synka med Snowflake Open Catalog

  Aktivera detta för att låta Snowflake Open Catalog hantera filerna i fillagringen i molnet.

Bästa praxis

• Det är inte möjligt att byta källa för en datauppsättning i en data mart om fakta och dimensioner har lagts till. Om du vill vara flexibel kan du lägga till en föregående Transformera-uppgift med icke-materialiserade vyer som kan användas för att byta källor och även för att ha en modell för alla källuppgifter.

Begränsningar

• Det är inte möjligt att ändra datatyper i en datauppgift för transformering när alternativet Icke-materialiserad är valt.

• Ursprung på fältnivå är inte tillgängligt för datauppsättningar som skapats i SQL-transformeringar eller transformeringsflöden.

• Att använda Lägg till i mål för att läsa från en Qlik Open LakehouseSpegla-uppgift inställd på Endast lägg till stöds inte.

  Som en lösning kan du läsa data med hjälp av en SQL-transformering eller ett transformeringsflöde.