Omvandla data

Du kan skapa återanvändbara och regelbaserade dataomvandlingar som en del av din datapipeline. Du kan utföra omvandlingar som en del av din registrering av data eller skapa återanvändbara datauppgifter för omvandlingar. Du kan utföra omvandlingar på radnivå och skapa datauppsättningar som antingen materialiseras som tabeller eller skapas som vyer som utför omvandlingar omgående.

• Du kan utföra explicita omvandlingar av datauppsättningar eller skapa globala regler som omvandlar flera datauppsättningar. Du kan också filtrera en datauppsättning för att skapa en delmängd av rader.

• Du kan lägga till SQL-omvandlingar. Med en SQL-omvandling kan du mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla omvandlingar.

• Du kan lägga till visuella transformationsflöden med källor, processorer och mål för att definiera komplexa eller enkla omvandlingar.

Skapa en transformeringsdatauppgift

Det enklaste sättet att skapa en transformeringsdatauppgift är att klicka på … på en lagringsdatauppgift och sedan välja Transform data.

Du kan också klicka på Lägg till ny i ett dataprojekt och välja Transformera data. I det här fallet måste du definiera vilken källdatauppgift som ska användas.

1. Definiera dina källdata och mål i Transform.

   Du kan göra något av följande:

   • Utföra omvandlingar av datauppsättningar

     Välj källdatauppsättningar och klicka på Lägg till mål för att lägga till dem i Mål.

     Därefter kan du utföra grundläggande transformeringar på datauppsättningarna, exempelvis filtrera data eller lägga till kolumner i Datauppsättningar.

     Mer information finns i Hantera datauppsättningar.

   • Lägga till en SQL-omvandling

     Välj källdatauppsättningar och klicka på Lägg till SQL-omvandling.

     Med en SQL-omvandling kan du mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla omvandlingar.

     Mer information finns i Lägga till SQL-transformeringar.

   • Lägga till transformeringsflöde

     Välj källdatauppsättningar och klicka på Lägg till transformeringsflöde.

     Med flow designer kan du skapa ett transformationsflöde med källor, processorer och mål för att definiera komplexa eller enkla omvandlingar.

     Mer information finns i Lägga till transformationsflöden.

   Anteckning om tipsDu kan också lägga till fler datauppsättningar från andra lagringsdatauppgifter genom att klicka på Select source data.

2. När du har lagt till de omvandlingar du vill ha validerar du datauppsättningarna genom att klicka på Validera datauppsättningar. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.

   Mer information finns i .

3. Skapa en datamodell

   Klicka på Model för att ställa in relationerna mellan de inkluderade datauppsättningarna.

   Mer information finns i Skapa en datamodell.

4. Klicka på Förbered för att förbereda dataarbetsuppgiften och alla nödvändiga artefakter. Detta kan ta lite tid.

   Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

5. När statusen visar Prepared kan du köra datauppgiften.

   Klicka på … och sedan på Run.

Datauppgiften kommer nu att börja skapa datauppsättningar för att omvandla data.

Schemalägga en transformeringsuppgift

Du kan schemalägga en transformeringsuppgift så att den uppdateras regelbundet. Du kan ställa in ett tidsbaserat schema, eller ställa in uppgiften att köras när indatauppgifter har slutförts.

Klicka på ... på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i projektet. Mer information om standardinställningar finns i Omvandla standardvärden.

Du måste alltid sätta Schemaläggning till På för att aktivera schemat.

Tidsbaserade scheman

Du kan använda ett tidsbaserat schema för att köra uppgiften oavsett när de olika indatakällorna uppdateras.

• Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan skapa ett schema med intervall på dagar, veckor eller månader.

Händelsebaserade scheman

Du kan använda ett händelsebaserat schema som körs när indatauppgifterna har slutförts.

• Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan välja om du vill köra uppgiften när någon av indatauppgifterna har slutförts, eller när någon uppgift i ett urval av indatauppgifter har slutförts.

Övervaka en omvandlingsuppgift

Du kan övervaka statusen och förloppet för en omvandlingsuppgift genom att klicka på Monitor.

Mer information finns i Övervaka en enskild datauppgift.

Ladda data

Du kan utföra en manuell laddning av tabeller om data materialiseras som fysiska tabeller. Detta är användbart när det finns problem med en eller flera tabeller.

1. Öppna datauppgiften och välj fliken Övervaka.

2. Välj tabellerna du vill ladda.

3. Klicka på Ladda tabeller.

Laddningen sker nästa gång uppgiften körs. Laddningsprocessen fungerar annorlunda beroende på historikinställningen och typen av omvandling för varje datauppsättning. Detta innebär att laddningsprocessen kan skilja sig åt mellan datauppsättningar i en datauppgift.

• Transformering av datauppsättningar laddas genom trunkering och laddning.

• SQL-transformeringar och transformeringsflöden laddas genom att trunkera och ladda, eller genom att jämföra och tillämpa. Bästa praxis är att jämföra och tillämpa.

Du kan avbryta laddningen för tabeller som väntar på laddning genom att klicka på Avbryt laddning. Detta kommer inte att påverka tabeller som redan har laddats och laddningar som körs för tillfället kommer att slutföras.

Uppgifter nedströms laddas för att ändringar ska tillämpas och antedatering undvikas.

Påverkan nedströms beror på typen av utförd laddningsåtgärd och typ av datauppsättning omedelbart nedströms. Standardbearbetning innebär att datauppsättningen kommer att reagera och bearbeta data med den konfigurerade metoden för den specifika datauppsättningen.

Exempel: Ladda en datauppsättning via trunkera och ladda

• Om nästa datauppsättning använder transformeringar av datauppsättningar kommer den att laddas vid nästa körning via trunkera och ladda.

• Om nästa datauppsättning är en SQL-transformering eller ett transformeringsflöde kommer den att laddas med jämför och tillämpa.

Ladda en datauppsättning utan historik

I det här fallet finns det ingen historik att ta hänsyn till. För att begränsa bearbetningen på målet utförs laddningen genom att:

1. Trunkera tabellerna.

2. Ladda aktuell data från datauppgiften uppströms.

Uppgifter nedströms laddas för att ändringar ska tillämpas.

Ladda en datauppsättning med historik aktiverad.

Laddningen utförs genom att:

1. Trunkera aktuella, föregående och ändringstabeller.

2. Ladda data från datauppgiften uppströms, inklusive föregående tabeller.

Ladda en datauppsättning baserat på SQL-transformering eller transformeringsflöde

• Trunkerar och laddar

  Anteckning om informationI det här alternativet kan historik gå förlorad.

  1. Trunkera aktuella och ändringstabeller.

  2. Köra frågan och ladda den till de aktuella tabellerna.

• Ladda och jämför

  1. Köra frågan och jämför den med de aktuella tabellerna.

  2. Lägga till ändringar.

Inställningar för transformering

Du kan ställa in egenskaper för omvandlingsdatauppgiften.

• Klicka på Settings.

Allmänna inställningar

• Databas

  Databas som ska användas i datakällan.

• Datauppgiftsschema

  Du kan byta namn på schemat för datalagringsuppgiften. Standardnamnet är store.

• Internt schema

  Du kan ändra namnet på datauppgiftsschemat för intern lagring. Standardnamnet är store__internal.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Materialiserad

  Du kan välja om du bara vill skapa vyer som utför omvandlingar omgående (Non-materialized), eller skapa både tabeller och vyer (Materialized).

• Historik

  Du kan spara historiska ändringsdata så att du enkelt kan återskapa data som de såg ut vid en viss tidpunkt. Du kan använda historiska vyer och historiska livevyer för att se historiska data.

Inställningar för körtid

• Parallell körning

  Du kan ställa in det maximala antalet kopplingar för fullständig laddning till ett tal mellan 1 och 5.

• Lager

  Namnet på molndatalagret.

Begränsningar

• Det är inte möjligt att ändra datatyper i en omvandlingsdatauppgift när alternativet Non-materialized är valt.

• Icke materialiserade SQL-baserade datauppsättningar ger enbart den fullständiga resultatuppsättningen, inkrementell filtrering stöds inte. Icke materialiserade SQL-baserade datauppsättningar ger också endast aktuella data och bevarar inga historiska poster.