Omvandla data
Du kan skapa återanvändbara och regelbaserade dataomvandlingar som en del av din datapipeline. Du kan utföra omvandlingar som en del av din registrering av data eller skapa återanvändbara datauppgifter för omvandlingar. Du kan utföra omvandlingar på radnivå och skapa datauppsättningar som antingen materialiseras som tabeller eller skapas som vyer som utför omvandlingar omgående.
Du kan utföra explicita omvandlingar per datauppsättning eller skapa globala regler som omvandlar flera datauppsättningar. Du kan också filtrera en datauppsättning för att skapa en delmängd av rader.
Skapa en omvandlingsdatauppgift
Det enklaste sättet att skapa en omvandlingsdatauppgift är att klicka på … på en lagringsdatauppgift och sedan välja Transform data.
Du kan också klicka på Add new i ett dataprojekt och välja Transform data. I det här fallet måste du definiera vilken källdatauppgift som ska användas.
-
Definiera dina källdata i Transform dataset.
Välj källdatauppsättningar och klicka på Add för att lägga till dem i Output.
Du kan lägga till en SQL-transformation genom att välja en datauppsättning och klicka på Add SQL-based dataset.
Lägga till SQL-baserade datauppsättningar Lägga till SQL-baserade datauppsättningar
Anteckning om tipsDu kan också lägga till fler datauppsättningar från andra lagringsdatatillgångar genom att klicka på Select source data. -
Gör alla nödvändiga ändringar i de inkluderade datauppsättningarna, t.ex. omvandlingar, filtrering av data eller tillägg av kolumner.
Mer information finns i Hantera datauppsättningar.
-
När du har lagt till de omvandlingar du vill ha kan du validera datauppsättningarna genom att klicka på Validate datasets. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.
Mer information finns i Validera och justera datauppsättningarna.
-
Skapa en datamodell
Klicka på Model för att ställa in relationerna mellan de inkluderade datauppsättningarna.
Mer information finns i Skapa en datamodell.
-
Klicka på Förbered för att förbereda dataarbetsuppgiften och alla nödvändiga artefakter. Detta kan ta lite tid.
Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.
-
När statusen visar Prepared kan du köra datauppgiften.
Klicka på … och sedan på Run.
Datauppgiften kommer nu att börja skapa datauppsättningar för att omvandla data.
Lägga till SQL-baserade datauppsättningar
Du kan inkludera SQL-baserade tabeller i omvandlingsuppgifter. I en SQL-baserad tabell kan du mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla omvandlingar.
Mer information finns i Lägga till SQL-transformeringar.
-
I Transform dataset väljer du de datauppsättningar som ska ingå i frågan och klickar sedan på Add SQL-based table.
Schemalägga en omvandlingsuppgift
Du kan schemalägga en omvandlingsuppgift så att den uppdateras regelbundet. Du kan ställa in ett tidsbaserat schema, eller ställa in uppgiften att köras när indatauppgifter har slutförts.
Klicka på … på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i dataprojektet. Mer information om standardinställningar finns i Omvandla standardvärden.
Du måste alltid sätta Schemaläggning till På för att aktivera schemat.
Tidsbaserade scheman
Du kan använda ett tidsbaserat schema för att köra uppgiften oavsett när de olika indatakällorna uppdateras.
-
Välj Vid en specifik tidpunkt i Kör datauppgift.
Du kan skapa ett schema med intervall på dagar, veckor eller månader.
Händelsebaserade scheman
Du kan använda ett händelsebaserat schema som körs när indatauppgifterna har slutförts.
-
Välj Vid en specifik tidpunkt i Kör datauppgift.
Du kan välja om du vill köra uppgiften när någon av indatauppgifterna har slutförts, eller när någon uppgift i ett urval av indatauppgifter har slutförts.
Övervaka en omvandlingsuppgift
Du kan övervaka statusen och förloppet för en omvandlingsuppgift genom att klicka på Monitor.
Mer information finns i Övervaka en enskild datauppgift.
Inställningar för omvandling
Du kan ställa in egenskaper för omvandlingsdatauppgiften.
Klicka på Settings.
Allmänna inställningar
Databas
Databas som ska användas i datakällan.
Datauppgiftsschema
Du kan byta namn på schemat för datalagringsuppgiften. Standardnamnet är store.
Internt schema
Du kan ändra namnet på datauppgiftsschemat för intern lagring. Standardnamnet är store__internal.
- Prefix för alla tabeller och vyer
Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.
Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter. Materialiserad
Du kan välja om du bara vill skapa vyer som utför omvandlingar omgående (Non-materialized), eller skapa både tabeller och vyer (Materialized).
Historik
Du kan spara historiska ändringsdata så att du enkelt kan återskapa data som de såg ut vid en viss tidpunkt. Du kan använda historiska vyer och historiska livevyer för att se historiska data.
Inställningar för körtid
Parallell körning
Du kan ställa in det maximala antalet datakopplingar för fullständig laddning till ett tal mellan 1 och 5.
Lager
Namnet på molndatalagret.
Begränsningar
Det är inte möjligt att ändra datatyper i en omvandlingsdatauppgift när alternativet Non-materialized är valt.
Icke materialiserade SQL-baserade datauppsättningar ger enbart den fullständiga resultatuppsättningen, inkrementell filtrering stöds inte. Icke materialiserade SQL-baserade datauppsättningar ger också endast aktuella data och bevarar inga historiska poster.