Gå till huvudinnehåll Gå till ytterligare innehåll

Omvandla data

Du kan skapa återanvändbara och regelbaserade dataomvandlingar som en del av din datapipeline. Du kan utföra omvandlingar som en del av din registrering av data eller skapa återanvändbara datauppgifter för omvandlingar. Du kan utföra omvandlingar på radnivå och skapa datauppsättningar som antingen materialiseras som tabeller eller skapas som vyer som utför omvandlingar omgående.

Du kan utföra explicita omvandlingar per datauppsättning eller skapa globala regler som omvandlar flera datauppsättningar. Du kan också filtrera en datauppsättning för att skapa en delmängd av rader.

Anteckning om informationDatauppgifternas funktion är beroende av ägaren. Mer information om nödvändiga roller och behörigheter finns i Roller och behörigheter i datautrymmen.

Skapa en omvandlingsdatauppgift

Det enklaste sättet att skapa en omvandlingsdatauppgift är att klicka på på en lagringsdatauppgift och sedan välja Transform data.

Du kan också klicka på Add new i ett dataprojekt och välja Transform data. I det här fallet måste du definiera vilken källdatauppgift som ska användas.

  1. Definiera dina källdata i Transform dataset.

    Välj källdatauppsättningar och klicka på Add för att lägga till dem i Output.

    Du kan lägga till en SQL-transformation genom att välja en datauppsättning och klicka på Add SQL-based dataset.

    Lägga till SQL-baserade datauppsättningar Lägga till SQL-baserade datauppsättningar

    Anteckning om tipsDu kan också lägga till fler datauppsättningar från andra lagringsdatatillgångar genom att klicka på Select source data.
  2. Gör alla nödvändiga ändringar i de inkluderade datauppsättningarna, t.ex. omvandlingar, filtrering av data eller tillägg av kolumner.

    Mer information finns i Hantera datauppsättningar.

  3. När du har lagt till de omvandlingar du vill ha kan du validera datauppsättningarna genom att klicka på Validate datasets. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.

    Mer information finns i Validera och justera datauppsättningarna.

  4. Skapa en datamodell

    Klicka på Model för att ställa in relationerna mellan de inkluderade datauppsättningarna.

    Mer information finns i Skapa en datamodell.

  5. Klicka på Förbered för att förbereda dataarbetsuppgiften och alla nödvändiga artefakter. Detta kan ta lite tid.

    Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

  6. När statusen visar Prepared kan du köra datauppgiften.

    Klicka på och sedan på Run.

Datauppgiften kommer nu att börja skapa datauppsättningar för att omvandla data.

Anteckning om informationDet är inte möjligt att ändra vilka datauppsättningar som ingår när du har börjat generera datauppsättningar.

Lägga till SQL-baserade datauppsättningar

Du kan inkludera SQL-baserade tabeller i omvandlingsuppgifter. I en SQL-baserad tabell kan du mata in en SQL SELECT-fråga i en pipeline för att definiera komplexa eller enkla omvandlingar.

Mer information finns i Lägga till SQL-transformeringar.

  • I Transform dataset väljer du de datauppsättningar som ska ingå i frågan och klickar sedan på Add SQL-based table.

Schemalägga en omvandlingsuppgift

Du kan schemalägga en omvandlingsuppgift så att den uppdateras regelbundet. Du kan ställa in ett tidsbaserat schema, eller ställa in uppgiften att köras när indatauppgifter har slutförts.

Klicka på på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i dataprojektet. Mer information om standardinställningar finns i Omvandla standardvärden.

Du måste alltid sätta Schemaläggning till för att aktivera schemat.

Anteckning om informationOm alla datauppsättningar i uppgiften är icke-materialiserade finns det inget att köra eftersom omvandlingen utförs direkt med vyer. Du kan fortfarande skapa ett schema för en icke-materialiserad omvandlingsuppgift som ska köras när schemaläggningsvillkoren är uppfyllda. Uppgiften kommer att slutföras direkt vilket kan utlösa en uppgift nedströms, till exempel en datamart. På så sätt kan du bygga upp ett händelsebaserat pipelineschema som omfattar icke-materialiserade omvandlingar utan att pipelineflödet avbryts.

Tidsbaserade scheman

Du kan använda ett tidsbaserat schema för att köra uppgiften oavsett när de olika indatakällorna uppdateras.

  • Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan skapa ett schema med intervall på dagar, veckor eller månader.

Händelsebaserade scheman

Du kan använda ett händelsebaserat schema som körs när indatauppgifterna har slutförts.

  • Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan välja om du vill köra uppgiften när någon av indatauppgifterna har slutförts, eller när någon uppgift i ett urval av indatauppgifter har slutförts.

Anteckning om informationUppgiften körs inte om någon indatauppgift eller uppgift nedströms körs när schemat utlöses. Uppgiften hoppas över tills nästa schemalagda körning.

Övervaka en omvandlingsuppgift

Du kan övervaka statusen och förloppet för en omvandlingsuppgift genom att klicka på Monitor.

Mer information finns i Övervaka en enskild datauppgift.

Anteckning om informationNär en datauppsättning som baseras på SQL-transformation laddas om på grund av en laddning av en uppgift uppströms laddas den alltid genom att jämföra och tillämpa. Om du vill trunkera och ladda den måste du skicka en specifik laddning för de berörda tabellerna. I det här fallet måste du även ta hänsyn till effekten på tabeller nedströms.

Inställningar för omvandling

Du kan ställa in egenskaper för omvandlingsdatauppgiften.

  • Klicka på Settings.

Anteckning om varningOm uppgiften redan har körts måste du återskapa datauppsättningarna om du ändrar en annan inställning än Runtime-inställningar.

Allmänna inställningar

  • Databas

    Databas som ska användas i datakällan.

  • Datauppgiftsschema

    Du kan byta namn på schemat för datalagringsuppgiften. Standardnamnet är store.

  • Internt schema

    Du kan ändra namnet på datauppgiftsschemat för intern lagring. Standardnamnet är store__internal.

  • Prefix för alla tabeller och vyer

    Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

    Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.
  • Materialiserad

    Du kan välja om du bara vill skapa vyer som utför omvandlingar omgående (Non-materialized), eller skapa både tabeller och vyer (Materialized).

  • Historik

    Du kan spara historiska ändringsdata så att du enkelt kan återskapa data som de såg ut vid en viss tidpunkt. Du kan använda historiska vyer och historiska livevyer för att se historiska data.

Inställningar för körtid

  • Parallell körning

    Du kan ställa in det maximala antalet datakopplingar för fullständig laddning till ett tal mellan 1 och 5.

  • Lager

    Namnet på molndatalagret.

Begränsningar

  • Det är inte möjligt att ändra datatyper i en omvandlingsdatauppgift när alternativet Non-materialized är valt.

  • Icke materialiserade SQL-baserade datauppsättningar ger enbart den fullständiga resultatuppsättningen, inkrementell filtrering stöds inte. Icke materialiserade SQL-baserade datauppsättningar ger också endast aktuella data och bevarar inga historiska poster.

Mer information

Var den här sidan till hjälp för dig?

Om du hittar några fel på denna sida eller i innehållet – ett stavfel, ett steg som saknas eller ett tekniskt fel – berätta för oss så att vi kan blir bättre!