Transformera data

Du kan skapa återanvändbara och regelbaserade datatransformeringar som en del av din datapipeline. Du kan utföra transformeringar som en del av din data-onboarding, eller skapa återanvändbara datauppgifter för transformering. Du kan utföra transformeringar på radnivå, inkludera SQL-transformeringar och designa komplexa transformeringsflöden. De resulterande datamängderna kan antingen materialiseras som tabeller eller skapas som vyer som utför transformeringar i farten.

• Du kan utföra explicita transformeringar av datamängder eller skapa globala regler som transformerar flera datamängder. Du kan också filtrera en datamängd för att skapa en delmängd av rader.

• Du kan lägga till SQL-transformeringar. En SQL-transformering låter dig mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla transformeringar.

• Du kan använda SQL-arbetsbänken för att utforska data över förberedda uppgifter och validera SQL-frågor i kontexten av ditt projekt. Mer information finns i Utforska data med SQL Workbench.

• Du kan lägga till visuella transformeringsflöden med källor, processorer och mål för att definiera komplexa eller enkla transformeringar.

En datauppgift för transformering innehåller tre vyer:

• Transformera

  Den här vyn visar alla transformeringar för att visualisera flödet från källdatamängd till måldatamängd.

• Datamängder

  Den här vyn visar alla grundläggande transformeringar på datamängderna, såsom att filtrera data eller lägga till kolumner, samt regler för att utföra globala transformeringar.

• Modell

  Den här vyn låter dig skapa en datamodell med relationerna mellan de inkluderade datamängderna. Mer information finns i Skapa en datamodell.

Förutom att lagra tabeller i datalagret kan du också lagra tabeller som Iceberg-tabeller som hanteras av dataplattformen. Detta alternativ är för närvarande endast tillgängligt för Snowflake-projekt. Detta är möjligt genom att välja Snowflake-hanterade Iceberg-tabeller under Tabelltyp i uppgiftsinställningarna.

Skapa en datauppgift för transformering

Det enklaste sättet att skapa en datauppgift för transformering är att klicka på ... på en datauppgift för lagring och sedan välja Transformera data.

Du kan också klicka på Skapa i ett projekt och välja Transformera data. I det här fallet måste du definiera vilken källdatauppgift som ska användas.

1. Definiera dina källdata och mål i Transformera.

   Du kan antingen:

   • Utföra transformeringar av datamängder

     Välj källdatamängder och klicka på Lägg till i mål för att lägga till dem i Mål.

     Du kan sedan utföra grundläggande transformeringar på datamängderna, såsom att filtrera data eller lägga till kolumner, i Datamängder.

     Mer information finns i Hantera datauppsättningar.

   • Lägga till en SQL-transformering

     Välj källdatamängder och klicka på Lägg till SQL-transformering.

     En SQL-transformering låter dig mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla transformeringar.

     Mer information finns i Lägga till SQL-transformeringar.

   • Lägga till ett transformeringsflöde

     Välj källdatamängder och klicka på Lägg till transformeringsflöde.

     Flödesdesignern låter dig skapa ett transformeringsflöde med källor, processorer och mål för att definiera komplexa eller enkla transformeringar.

     Mer information finns i Lägga till transformationsflöden.

2. Du kan också lägga till fler datamängder från andra datauppgifter för lagring genom att klicka på Välj källdata.

   Du kan lägga till datamängder från det aktuella projektet eller från ett annat projekt. För att lägga till datamängder från ett annat projekt:

   • Du måste ha minst rollen Kan konsumera i utrymmet för det konsumerade projektet.

   • Båda projekten måste vara på samma dataplattform.

   Om det valda projektet är under versionshantering kan du välja vilken gren som ska användas som källa. Mer information om pipelines över flera projekt finns i Bygga pipelines över flera projekt.

3. När du har lagt till de transformeringar som du vill ha, validerar du datamängderna genom att klicka på Validera datamängder. Om valideringen hittar fel, åtgärda felen innan du fortsätter.

   Mer information finns i Validera och justera datauppsättningarna.

4. Skapa en datamodell

   Klicka på Modell för att ställa in relationerna mellan de inkluderade datamängderna.

   Mer information finns i Skapa en datamodell.

5. Klicka på Förbered för att förbereda datauppgiften och alla nödvändiga artefakter. Detta kan ta en liten stund.

   Du kan följa förloppet under Förberedelseförlopp i den nedre delen av skärmen.

   Anteckning om informationInnan du förbereder en uppgift ska du stoppa alla uppgifter som ligger direkt nedströms.

6. När statusen visar Förberedd kan du köra datauppgiften.

   Klicka på ... och sedan på Kör.

Datauppgiften kommer nu att börja skapa datamängder för att transformera data.

Använda vyn Transformera

I Transformera visas alla transformeringar för att visualisera flödet från källdatamängd till måldatamängd.

• Välj en transformering för att se vilka källdatamängder som används och vilka måldatamängder som skapas.

• Välj en källa för att se alla transformeringar där den används och alla resulterande mål.

• Välj ett mål för att se vilka källdatamängderna är och vilken transformering som skapade denna måldatamängd.

Du kan ändra följande inställningar genom att klicka på Visningsalternativ:

• Filtrera efter transformeringstyp

  Visa endast transformeringar av en eller två transformeringstyper.

• Filter

  Visa alla transformeringar eller bara den valda transformeringen. Du måste välja en transformering för att aktivera det här alternativet.

• Densitet

  Välj om du vill visa transformeringar med en kompakt layout eller en bred layout som använder mer utrymme.

Använda vyn Datamängder

I Datamängder kan du visa och redigera alla måldatamängder i transformeringsuppgiften.

Se även Hantera datauppsättningar för mer information.

Lägga till en måldatamängd

Du kan lägga till fler måldatamängder i transformeringsuppgiften.

1. Klicka på .

2. Ange Namn och valfritt Beskrivning för datamängden.

3. Välj en källdatamängd från de datamängder som är tillgängliga i uppgiften i Källdatamängd.

   Anteckning om tipsDu kan välja Ingen källdatamängd för att skapa en tom datamängd som inte är ansluten till någon källa. Du kan lägga till kolumner i datamängden under designen, men du måste ansluta till en källdatamängd innan du kan förbereda uppgiften.

Måldatamängden har nu lagts till.

Ändra källdatamängden

Du kan ändra källdatamängden för en måldatamängd.

1. Klicka på efter Källa: [namn på källdatamängd].

2. Välj en annan källdatamängd från de datamängder som är tillgängliga i uppgiften i Källdatamängd.

   Anteckning om tipsDu kan välja Ingen källdatamängd för att koppla bort måldatamängden från källan. Du kan redigera datamängden under designen, men du måste ansluta till en källdatamängd innan du kan förbereda uppgiften.

Lägga till nya kolumner

Du kan lägga till nya kolumner i måldatamängden.

• Lägga till en ny kolumn från grunden

  Klicka på + Lägg till.

  Ange ett namn för kolumnen och ställ in ett uttryck för att definiera kolumndata.

  Mer information finns i Lägga till kolumner i en datauppsättning.

• Lägga till en kolumn från källan

  Klicka på bredvid Lägg till och välj Lägg till kolumn från källa.

  Välj en kolumn från källdatamängden.

Ändra ordning på kolumner

Du kan ändra ordningspositionen för en kolumn.

1. Välj en kolumn.

2. Klicka på och sedan på Ändra ordning.

3. Använd pilarna för att flytta kolumnen uppåt eller nedåt.

4. Stäng Ändra ordning när du är klar.

Skapa transformeringsregler

Du kan skapa återanvändbara transformeringsregler för att utföra global transformering på datamängder.

Mer information om att skapa regler finns i Skapa regler för att transformera dataset.

Filtrera en datamängd

Du kan filtrera data för att skapa en delmängd av rader, om det behövs.

• Klicka på och sedan på Filtrera.

Mer information om filtrering finns i Filtrera ett dataset.

Schemalägga en transformeringsuppgift

Du kan schemalägga en transformeringsuppgift så att den uppdateras regelbundet. Du kan ställa in ett tidsbaserat schema eller ställa in uppgiften så att den körs när indatauppgifter har slutförts.

Klicka på ... på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i projektet. Mer information om standardinställningar finns i Standardvärden för transformering.

Du måste alltid ställa in Schemaläggning på På för att aktivera schemat.

Tidsbaserade scheman

Du kan använda ett tidsbaserat schema för att köra uppgiften oavsett när de olika indatakällorna uppdateras.

• Välj Vid specifik tidpunkt i Kör datauppgiften.

Du kan ställa in ett schema per timme, dag, vecka eller månad.

Händelsebaserade scheman

Du kan använda ett händelsebaserat schema för att köra uppgiften när indatauppgifter har slutförts.

• Välj Vid specifik händelse i Kör datauppgiften.

Du kan välja om du vill köra uppgiften när någon av indatauppgifterna har slutförts framgångsrikt, eller när någon av ett urval av indatauppgifter har slutförts framgångsrikt.

Övervaka en transformeringsuppgift

Du kan övervaka status och förlopp för en transformeringsuppgift genom att klicka på Övervaka.

Mer information finns i Övervakning av en enskild datauppgift.

Ladda om data

Du kan utföra en manuell omladdning av tabeller om data är materialiserade som fysiska tabeller. Detta är användbart när det finns problem med en eller flera tabeller.

1. Öppna datauppgiften och välj fliken Övervaka.

2. Välj de tabeller som du vill ladda om.

3. Klicka på Ladda om tabeller.

Omladdningen kommer att ske nästa gång uppgiften körs. Omladdningsprocessen beter sig olika beroende på historikinställningen och transformeringstypen för varje datamängd. Detta innebär att omladdningsprocessen kan skilja sig mellan datamängder i en datauppgift.

• Transformeringar av datamängder laddas om genom att trunkera och ladda.

• SQL-transformeringar och transformeringsflöden kan laddas om genom att trunkera och ladda, eller genom att jämföra och tillämpa. Det är bästa praxis att jämföra och tillämpa.

  Ladda om en datamängd baserad på SQL-transformering eller transformeringsflöde

Du kan avbryta omladdningen för tabeller som väntar på omladdning genom att klicka på Avbryt omladdning. Detta påverkar inte tabeller som redan har laddats om, och omladdningar som för närvarande körs kommer att slutföras.

Nedströmsuppgifter kommer att laddas om för att tillämpa ändringar och för att undvika bakåtdatering.

Påverkan nedströms beror på vilken typ av omladdningsåtgärd som utförs och typen av omedelbar nedströmsdatamängd. Standardbearbetning innebär att datamängden kommer att reagera och bearbeta data med den konfigurerade metoden för den specifika datamängden.

Exempel: Ladda om en datamängd via trunkera och ladda

• Om nästa datamängd använder transformeringar av datamängder kommer den att laddas om vid nästa körning via en trunkera och ladda.

• Om nästa datamängd är en SQL-transformering eller ett transformeringsflöde kommer den att laddas om med hjälp av jämför och tillämpa.

Ladda om en datamängd utan historik

I det här fallet finns det ingen historik att ta hänsyn till. För att minska bearbetningen på målet utförs omladdningen genom att:

1. Trunkera tabellerna.

2. Ladda aktuella data från uppströmsdatauppgiften.

Nedströmsuppgifter kommer att laddas om för att tillämpa ändringar.

Ladda om en datamängd med historik aktiverad

Omladdningen utförs genom att:

1. Trunkera aktuella, tidigare och ändringstabeller.

2. Ladda data från uppströmsdatauppgiften, inklusive tidigare tabeller.

Ladda om en datamängd baserad på SQL-transformering eller transformeringsflöde

• Trunkera och ladda om

  Anteckning om informationDet här alternativet kan orsaka förlust av historik.

  1. Trunkera de aktuella tabellerna och ändringstabellerna.

  2. Köra frågan och ladda den till de aktuella tabellerna.

• Ladda om och jämför

  1. Köra frågan och jämföra den med de aktuella tabellerna.

  2. Lägga till ändringar.

Ta bort en uppgift

Du kan ta bort datauppgiften om den inte körs och det inte finns några beroenden till efterföljande uppgifter i samma projekt.

• I projektvyn Pipelineprojekt klickar du på på en uppgift och väljer Ta bort.

Artefakter (tabeller och vyer) som skapats av uppgiften kommer också att tas bort, om du inte väljer att behålla dem.

Visa uppgiftsinformation

Klicka på i menyraden för att visa uppgiftsinformation, till exempel:

• Ägare

• Utrymme

• Dataplattform

• Projekt-id

• Körnings-ID för datauppgift

Transformeringsinställningar

Du kan ställa in egenskaper för datauppgiften för transformering.

• Klicka på Inställningar.

Allmänna inställningar

• Databas

  Databas att använda i datakällan.

• Uppgiftsschema

  Du kan ändra namnet på datauppgiftsschemat. Standardnamnet är namnet på uppgiften.

• Internt schema

  Du kan ändra namnet på det interna lagringsschemat. Standardnamnet är namnet på uppgiften med tillägget "__internal".

• Standardversalisering av schemanamn

  Du kan ställa in standardversalisering för alla schemanamn. Om din databas är konfigurerad för att tvinga fram versalisering kommer det här alternativet inte att ha någon effekt.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Materialiserad

  Du kan välja att endast skapa vyer som utför transformeringar i farten (Icke-materialiserad), eller skapa både tabeller och vyer (Materialiserad).

• Historiskt datalager (typ 2)

  Du kan behålla historiska ändringsdata för att enkelt kunna återskapa data som de såg ut vid en specifik tidpunkt. Du kan använda historikvyer och live-historikvyer för att se historiska data.

• Publicera i katalogen

  Välj det här alternativet för att publicera den här versionen av data till Katalogen som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

  Mer information om Katalog finns i Förstå data med hjälp av katalogverktyg.

Körningsinställningar

• Parallell körning

  Du kan ställa in det maximala antalet kopplingar för fullständiga laddningar till ett nummer från 1 till 5.

• Lager

  Namnet på molndatalagret.

Inställningar för vytyp

Inställningarna för vytyp är endast tillämpliga för Snowflake.

• Standardvyer

  Använd standardvyer i de flesta fall.

• Säkra Snowflake-vyer

  Använd säkra Snowflake-vyer för vyer som är avsedda för datasekretess eller skydd av känslig information, till exempel vyer som skapats för att begränsa åtkomsten till känsliga data som inte bör exponeras för alla användare av de underliggande tabellerna.

  Anteckning om information Säkra Snowflake-vyer kan köras långsammare än standardvyer.

Inställningar för tabelltyp

Dessa inställningar är endast tillgängliga i projekt med Snowflake som dataplattform.

• Tabelltyp

  Du kan välja vilken typ av tabell som ska användas:

  • Snowflake-tabeller

  • Iceberg-tabeller som hanteras av Snowflake

    Du måste ange standardnamnet på den externa volymen i Snowflake external volume.

• Mapp att använda i molnet

  Välj vilken mapp som ska användas när data mellanlagras i mellanlagringsområdet.

  • Standardmapp

    Detta skapar en mapp med standardnamnet: <projektnamn>/<datauppgiftens namn>.

  • Rotmapp

    Lagra data i lagringens rotmapp.

  • Mapp

    Ange namnet på mappen som ska användas.

• Synka med Snowflake Open Catalog

  Aktivera detta för att låta Snowflake Open Catalog hantera filerna i fillagringen i molnet.

Bästa praxis

• Det är inte möjligt att byta källa för en datamängd i ett datatorg om fakta och dimensioner har lagts till. Om du vill vara flexibel kan du lägga till en föregående Transformera-uppgift med icke-materialiserade vyer som kan användas för att byta källor och även för att ha en modell för alla källuppgifter.

Begränsningar

• Det är inte möjligt att ändra datatyper i en datauppgift för transformering när alternativet Icke-materialiserad är valt.

• Ursprung på fältnivå är inte tillgängligt för datamängder som skapats i SQL-transformeringar eller transformeringsflöden.

• Att använda Lägg till i mål för att läsa från en Qlik Open LakehouseSpeglings-uppgift inställd på Endast lägg till stöds inte.

  Som en lösning kan du läsa data med hjälp av en SQL-transformering eller ett transformeringsflöde.