Omvandla data

Du kan skapa återanvändbara och regelbaserade dataomvandlingar som en del av din datapipeline. Du kan utföra omvandlingar som en del av din registrering av data eller skapa återanvändbara datauppgifter för omvandlingar. Du kan utföra omvandlingar på radnivå och skapa datauppsättningar som antingen materialiseras som tabeller eller skapas som vyer som utför omvandlingar omgående.

• Du kan utföra explicita omvandlingar av datauppsättningar eller skapa globala regler som omvandlar flera datauppsättningar. Du kan också filtrera en datauppsättning för att skapa en delmängd av rader.

• Du kan lägga till SQL-omvandlingar. Med en SQL-omvandling kan du mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla omvandlingar.

• Du kan lägga till visuella transformeringsflöden med källor, processorer och mål för att definiera komplexa eller enkla transformeringar.

En datatransformeringsuppgift innehåller tre vyer:

• Transformering

  I den här vyn visas alla transformeringar för att visualisera flödet från källdatauppsättning till måldatauppsättning.

• Datauppsättningar

  I den här vyn visas alla grundläggande transformeringar av datauppsättningar, som exempelvis filtrera data eller lägga till kolumner, samt regler för att utföra globala transformeringar.

• Modell

  I den här vyn kan du skapa en datamodell med relationerna mellan de inkluderade datauppsättningarna.

Skapa en datatransformeringsuppgift

Det enklaste sättet att skapa en transformeringsdatauppgift är att klicka på … på en lagringsdatauppgift och sedan välja Transform data.

Du kan också klicka på Skapa i ett projekt och välja Transformera data. I det här fallet måste du definiera vilken källdatauppgift som ska användas.

1. Definiera dina källdata och mål i Transform.

   Du kan göra något av följande:

   • Utföra omvandlingar av datauppsättningar

     Välj källdatauppsättningar och klicka på Lägg till mål för att lägga till dem i Mål.

     Därefter kan du utföra grundläggande transformeringar på datauppsättningarna, exempelvis filtrera data eller lägga till kolumner i Datauppsättningar.

     Mer information finns i Hantera datauppsättningar.

   • Lägga till en SQL-omvandling

     Välj källdatauppsättningar och klicka på Lägg till SQL-omvandling.

     Med en SQL-omvandling kan du mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla omvandlingar.

     Mer information finns i Lägga till SQL-transformeringar.

   • Lägga till transformeringsflöde

     Välj källdatauppsättningar och klicka på Lägg till transformeringsflöde.

     Med flow designer kan du skapa ett transformationsflöde med källor, processorer och mål för att definiera komplexa eller enkla omvandlingar.

     Mer information finns i Lägga till transformationsflöden.

   Anteckning om tipsDu kan också lägga till fler datauppsättningar från andra lagringsdatauppgifter genom att klicka på Select source data.

2. När du har lagt till de omvandlingar du vill ha validerar du datauppsättningarna genom att klicka på Validera datauppsättningar. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.

   Mer information finns i Validera och justera datauppsättningarna.

3. Skapa en datamodell

   Klicka på Model för att ställa in relationerna mellan de inkluderade datauppsättningarna.

   Mer information finns i Skapa en datamodell.

4. Klicka på Förbered för att förbereda dataarbetsuppgiften och alla nödvändiga artefakter. Detta kan ta lite tid.

   Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

5. När statusen visar Prepared kan du köra datauppgiften.

   Klicka på … och sedan på Run.

Datauppgiften kommer nu att börja skapa datauppsättningar för att omvandla data.

Använda vyn Transformering

I vyn Transformering visas alla transformeringar för att visualisera flödet från källdatauppsättning till måldatauppsättning.

• Välj en transformering för att se vilka källdatauppsättningar som används och vilka måldatauppsättningar som skapas.

• Välj en källa för att se alla transformeringar där den används, och alla resulterande mål.

• Välj ett mål för att se vilka källdatauppsättningar som används och vilken transformering som har skapat den här måldatauppsättningen.

Du kan ändra följande inställningar genom att klicka på Visa alternativ:

• Filtrera efter transformeringstyp

  Visa endast transformeringar av en eller två transformeringstyper.

• Filtrera

  Visa alla transformeringar eller bara den valda transformeringen. Du måste välja en transformering för att aktivera detta alternativ.

• Täthet

  Välj om du vill visa transformeringar med en kompakt layout, eller en bred layout som tar upp mer utrymme.

Använd vyn Datauppsättningar

I Datauppsättningar kan du visa och redigera alla datauppsättningar i transformeringsuppgiften.

Mer information finns i Hantera datauppsättningar.

Lägga till en måldatauppsättning

Du kan lägga till fler måldatauppsättningar till transformeringsuppgiften.

1. Klicka på Lägg till datauppsättning.

2. Ange Namn och, om du vill, Beskrivning för datauppsättningen.

3. Välj en källdatauppsättning från de datauppsättningar som finns tillgängliga i uppgiften i Källdatauppsättning.

   Anteckning om tipsDu kan välja Ingen källdatauppsättning för att skapa ett tomt dataset som inte är kopplat till någon källa. Du kan lägga till kolumner i datauppsättningen under designen, men du måste koppla en källdatauppsättning innan du kan förbereda uppgiften.

Måldatauppsättningen är nu tillagd.

Byta källdatauppsättning

Du kan byta källdatauppsättningen för en måldatauppsättning.

1. Klicka på efter Källa: [namn på källdatauppsättningen].

2. Välj en annan källdatauppsättning från de datauppsättningar som finns tillgängliga i uppgiften i Källdatauppsättning.

   Anteckning om tipsDu kan välja Ingen källdatauppsättning för att koppla bort måldatasetet från källan. Du kan redigera datauppsättningen under designen, men du måste koppla en källdatauppsättning innan du kan förbereda uppgiften.

Lägga till kolumner

Du kan lägga till nya kolumner i måldatauppsättningen.

• Lägg till en ny kolumn från början

  Klicka på + Lägg till.

  Ange ett namn för kolumnen och ange ett uttryck för att definiera kolumnens data.

  Mer information finns i Lägga till kolumner i en datauppsättning.

• Lägg till en kolumn från källan

  Klicka på bredvid Lägg till och välj Lägg till kolumn från källa.

  Välj en kolumn från källdatauppsättningen.

Flytta om kolumner

Du kan ändra ordningplacering för en kolumn.

1. Välj en kolumn

2. Klicka på och sedan Flytta om.

3. Använd pilarna för att flytta kolumnen uppåt eller nedåt.

4. Stäng Ändra ordningstal när du är klar.

Skapa transformeringsregler

Du kan skapa återanvändbara transformeringsregler för att utföra global transformering av datauppsättningar.

Mer information om att skapa regler finns i Skapa regler för att omvandla datauppsättningar.

Filtrera en datauppsättning

Du kan vid behov filtrera data för att skapa en delmängd av rader.

• Klicka på och sedan Filtrera.

Mer information om filter hittar du i Filtrera en datauppsättning.

Schemalägga en transformeringsuppgift

Du kan schemalägga en transformeringsuppgift så att den uppdateras regelbundet. Du kan ställa in ett tidsbaserat schema, eller ställa in uppgiften att köras när indatauppgifter har slutförts.

Klicka på ... på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i projektet. Mer information om standardinställningar finns i Omvandla standardvärden.

Du måste alltid sätta Schemaläggning till På för att aktivera schemat.

Tidsbaserade scheman

Du kan använda ett tidsbaserat schema för att köra uppgiften oavsett när de olika indatakällorna uppdateras.

• Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan skapa ett schema med intervall på dagar, veckor eller månader.

Händelsebaserade scheman

Du kan använda ett händelsebaserat schema som körs när indatauppgifterna har slutförts.

• Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan välja om du vill köra uppgiften när någon av indatauppgifterna har slutförts, eller när någon uppgift i ett urval av indatauppgifter har slutförts.

Övervaka en omvandlingsuppgift

Du kan övervaka statusen och förloppet för en omvandlingsuppgift genom att klicka på Monitor.

Mer information finns i Övervaka en enskild datauppgift.

Ladda data

Du kan utföra en manuell laddning av tabeller om data materialiseras som fysiska tabeller. Detta är användbart när det finns problem med en eller flera tabeller.

1. Öppna datauppgiften och välj fliken Övervaka.

2. Välj tabellerna du vill ladda.

3. Klicka på Ladda tabeller.

Laddningen sker nästa gång uppgiften körs. Laddningsprocessen fungerar annorlunda beroende på historikinställningen och typen av omvandling för varje datauppsättning. Detta innebär att laddningsprocessen kan skilja sig åt mellan datauppsättningar i en datauppgift.

• Transformering av datauppsättningar laddas genom trunkering och laddning.

• SQL-transformeringar och transformeringsflöden laddas genom att trunkera och ladda, eller genom att jämföra och tillämpa. Bästa praxis är att jämföra och tillämpa.

  Ladda en datauppsättning baserat på SQL-omvandling eller omvandlingsflöde

Du kan avbryta laddningen för tabeller som väntar på laddning genom att klicka på Avbryt laddning. Detta kommer inte att påverka tabeller som redan har laddats och laddningar som körs för tillfället kommer att slutföras.

Uppgifter nedströms laddas för att ändringar ska tillämpas och antedatering undvikas.

Påverkan nedströms beror på typen av utförd laddningsåtgärd och typ av datauppsättning omedelbart nedströms. Standardbearbetning innebär att datauppsättningen kommer att reagera och bearbeta data med den konfigurerade metoden för den specifika datauppsättningen.

Exempel: Ladda en datauppsättning via trunkera och ladda

• Om nästa datauppsättning använder transformeringar av datauppsättningar kommer den att laddas vid nästa körning via trunkera och ladda.

• Om nästa datauppsättning är en SQL-transformering eller ett transformeringsflöde kommer den att laddas med jämför och tillämpa.

Ladda en datauppsättning utan historik

I det här fallet finns det ingen historik att ta hänsyn till. För att begränsa bearbetningen på målet utförs laddningen genom att:

1. Trunkera tabellerna.

2. Ladda aktuell data från datauppgiften uppströms.

Uppgifter nedströms laddas för att ändringar ska tillämpas.

Ladda en datauppsättning med historik aktiverad.

Laddningen utförs genom att:

1. Trunkera aktuella, föregående och ändringstabeller.

2. Ladda data från datauppgiften uppströms, inklusive föregående tabeller.

Ladda en datauppsättning baserat på SQL-omvandling eller omvandlingsflöde

• Trunkerar och laddar

  Anteckning om informationI det här alternativet kan historik gå förlorad.

  1. Trunkera aktuella och ändringstabeller.

  2. Köra frågan och ladda den till de aktuella tabellerna.

• Ladda och jämför

  1. Köra frågan och jämför den med de aktuella tabellerna.

  2. Lägga till ändringar.

Inställningar för omvandling

Du kan ställa in egenskaper för omvandlingsdatauppgiften.

• Klicka på Settings.

Allmänna inställningar

• Databas

  Databas som ska användas i datakällan.

• Uppgiftsschema

  Du kan byta namn på schemat för datauppgiften. Standardnamnet är namnet på uppgiften.

• Internt schema

  Du kan ändra namnet på datauppgiftsschemat för intern lagring. Standardnamnet är namnet på uppgiften med __internal som tillägg.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Materialiserad

  Du kan välja om du bara vill skapa vyer som utför omvandlingar omgående (Non-materialized), eller skapa både tabeller och vyer (Materialized).

• Historik

  Du kan spara historiska ändringsdata så att du enkelt kan återskapa data som de såg ut vid en viss tidpunkt. Du kan använda historiska vyer och historiska livevyer för att se historiska data.

Inställningar för körtid

• Parallell körning

  Du kan ställa in det maximala antalet kopplingar för fullständig laddning till ett tal mellan 1 och 5.

• Lager

  Namnet på molndatalagret.

Kataloginställningar

• Publicera i katalogen

  Välj det här alternativet för att publicera den här versionen av data till Katalogen som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Mer information om Katalog finns i Förstå data med hjälp av katalogverktyg.

Begränsningar

• Det är inte möjligt att ändra datatyper i en omvandlingsdatauppgift när alternativet Non-materialized är valt.

• Ursprung på fältnivå är inte tillgängligt för datauppsättningar som har skapats i SQL-transformeringar eller transformeringsflöden.