Hantera datauppsättningar

Du kan hantera de datauppsättningar som ingår i datauppgifterna Mellanlagring, Lagring, Transformera, Data mart, Strömmande mellanlagring, Strömmande transformering och Replikering för att skapa transformeringar, filtrera data och lägga till kolumner.

De inkluderade datauppsättningarna listas under Datauppsättningar i vyn Design. Du kan välja vilka kolumner som ska visas med kolumnväljaren ().

Transformeringsregler och explicita transformeringar

Du kan utföra både globala och explicita transformeringar.

Transformeringsregler

Du kan utföra globala transformeringar genom att skapa en transformeringsregel som använder % som ett jokertecken i omfånget för att tillämpas på alla matchande datauppsättningar.

• Klicka på Regler och sedan på Lägg till regel för att skapa en ny transformeringsregel.

  Mer information finns i Skapa regler för att omvandla datauppsättningar.

Transformeringsregler indikeras av ett mörklila hörn på det påverkade attributet.

Explicita transformeringar

Explicita transformeringar skapas:

• När du använder Redigera för att ändra ett kolumnattribut

• När du använder Byt namn på en datauppsättning.

• När du lägger till en kolumn.

Explicita transformeringar åsidosätter globala transformeringar och indikeras av ett ljuslila hörn på det påverkade attributet.

Datauppsättningsmodeller

Datauppsättningar kan vara antingen källbaserade eller målbaserade, beroende på uppgiftstypen och operationerna i uppgiften. Den datauppsättningsmodell som används påverkar beteendet hos din pipeline vid källändringar och vilka operationer du kan utföra.

• Källbaserade datauppsättningar

  Datauppsättningen är baserad på källdatauppsättningar och kommer endast att innehålla ändringar i metadata. En ändring i källdata tillämpas automatiskt, vilket kan orsaka ändringar i alla nedströmsuppgifter. Det är inte möjligt att ändra kolumnordning eller byta källdatauppsättning.

  Följande uppgiftstyper använder alltid en källbaserad datauppsättningsmodell: Mellanlagring, Lagring, Registrerade data, Replikering och Mellanlagring i en datasjö.

• Målbaserade datauppsättningar

  Datauppsättningen är baserad på målets metadata. Om en kolumn läggs till från källan, eller tas bort, tillämpas den inte automatiskt på nästa nedströmsuppgift. Du kan ändra kolumnordning och byta källdatauppsättning. Detta innebär att uppgiften är mer fristående och låter dig kontrollera effekten av källändringar.

  Följande uppgiftstyper kan använda en målbaserad datauppsättningsmodell: Transformera, Data mart. Det finns vissa fall där en källbaserad modell används för Transformera-uppgifter baserat på operationen.

  • Om en SQL-transformering eller ett transformeringsflöde utför ett kolumnval kommer datauppsättningen att vara målbaserad. Till exempel om du använder SELECT A, B, C from XYZ i en SQL-transformering, eller använder processorn Välj kolumner i ett transformeringsflöde.

  • Om standardkolumnerna bibehålls är datauppsättningen källbaserad. Till exempel om du använder SELECT * from XYZ i en SQL-transformering.

Uppdatera projekt från en källbaserad modell till en målbaserad modell

Befintliga projekt uppdateras till den målbaserade datauppsättningsmodellen när det är tillämpligt. Du kommer att vägledas genom uppdateringsprocessen när du öppnar ett projekt för första gången. Det finns vissa saker att tänka på när du importerar och exporterar projekt med olika datauppsättningsmodeller.

• Det är inte möjligt att importera ett projekt med en källbaserad modell till ett projekt med en målbaserad modell.

  Importera projektet med en källbaserad modell till ett nytt projekt, uppdatera det nya projektet och exportera sedan det resulterande projektet. Du kan nu återimportera detta projekt till projektet med en målbaserad modell.

• Det är inte möjligt att importera ett projekt med en målbaserad modell till ett projekt med en källbaserad modell.

  Uppdatera projektet till en målbaserad modell innan du importerar ett projekt med en målbaserad modell.

Filtrera en datauppsättning

Du kan filtrera data för att skapa en delmängd av rader, om det behövs.

• Klicka på Filter.

Mer information finns i Filtrera en datauppsättning.

Byta namn på en datauppsättning

Du kan byta namn på en datauppsättning.

• Klicka på på en datauppsättning och sedan på Redigera.

Lägga till kolumner

Du kan lägga till kolumner med transformeringar på radnivå, om det behövs.

• Klicka på Lägg till kolumn

Mer information finns i Lägga till kolumner i en datauppsättning.

Redigera en kolumn

Du kan redigera kolumnens egenskaper genom att välja en kolumn och klicka på Redigera.

• Namn

• Nyckel

  Ange en kolumn som primärnyckel. Du kan också ange nycklar genom att markera eller avmarkera i kolumnen Nyckel.

• Kan vara null

• Datatyp

  Ange kolumnens datatyp. För vissa datatyper kan du ange en ytterligare egenskap, till exempel Längd.

  Anteckning om informationNär du ändrar datatypen eller datatypens storlek för en kolumn kan detta få konsekvenser för de uppgifter som använder datauppsättningen. Mer information finns i Hantera datatyper.

Ta bort kolumner

Du kan ta bort en eller flera kolumner från en datauppsättning.

• Välj de kolumner som ska tas bort och klicka på Ta bort.

Om du vill se borttagna kolumner klickar du på Visa borttagna kolumner. Borttagna kolumner indikeras med genomstruken text. Du kan hämta tillbaka en borttagen kolumn genom att välja den och klicka på Återställ.

Återställa explicita ändringar i kolumner

Du kan återställa alla explicita ändringar i en eller flera kolumner.

• Välj de kolumner som du vill återställa ändringar för och klicka på Återställ.

Ändringar från globala transformeringsregler kommer inte att återställas.

Om du återställer en tillagd kolumn kommer den att tas bort.

Inställningar för datauppsättning

Du kan ändra inställningar för datauppsättningen. Standardinställningen är att ärva inställningen från datauppgiften, men du kan också ändra en inställning till att uttryckligen vara På eller Av.

• Klicka på på en datauppsättning och sedan på Inställningar.

Visa data

Du kan visa ett urval av data för att se och validera formen på dina data medan du designar din data-pipeline.

Följande krav måste uppfyllas:

• Visning av data är aktiverat på klientorganisationsnivå i aktivitetscentret Administration.

  För att aktivera det går du till sidan Inställningar, väljer fliken Funktionskontroll och slår på Visa data i Dataintegrering.

• Du har tilldelats rollen Kan visa data i det utrymme där kopplingen finns.

• Du har tilldelats rollen Kan visa i det utrymme där projektet finns.

Visa exempeldata

För att visa exempeldata på fliken Datauppsättningar i vyn Design:

• Klicka på Visa data i Fysiska objekt.

Ett urval av data visas. Du kan ställa in hur många datarader som ska inkluderas i urvalet med Antal rader.

Växla mellan datauppsättningar och tabeller

För att växla mellan datauppsättningar och tabeller:

• Välj Datauppsättningar för att visa den logiska representationen av data.

• Välj Fysiska objekt för att visa den fysiska representationen i databasen som tabeller och vyer.

  Anteckning om nyheterDet här alternativet är inte tillgängligt om den fysiska representationen ännu inte har skapats.

Filtrering

Du kan filtrera exempeldata på två sätt:

• Använd för att filtrera vilka exempeldata som ska hämtas.

  Till exempel, om du använder filtret ${OrderYear}>2023 och Antal rader är inställt på 10, får du ett urval av 10 beställningar från 2024.

• Filtrera exempeldata efter en specifik kolumn.

  Detta påverkar endast befintliga exempeldata. Om du använde för att endast inkludera beställningar från 2024, och ställer in kolumnfiltret för att visa beställningar från 2022, blir resultatet ett tomt urval.

Sortering

Du kan också sortera dataurvalet efter en specifik kolumn. Sortering påverkar endast befintliga exempeldata. Om du använde för att endast inkludera beställningar från 2024 och inverterar sorteringsordningen, kommer exempeldata fortfarande bara att innehålla beställningar från 2024.

Dölja kolumner

Du kan dölja kolumner i datavyn:

• Dölj en enskild kolumn genom att klicka på på kolumnen och sedan på Dölj kolumn.

• Dölj flera kolumner genom att klicka på på valfri kolumn och sedan på Visa kolumner. Detta låter dig styra synligheten för alla kolumner i vyn.

Hämta exempeldata

Du kan hämta de visade exempeldata:

• Klicka på för att hämta innehållet i exempeldatavyn.

Exempeldata hämtas som en CSV-fil till din webbläsares nedladdningar.

Validera och justera datauppsättningarna

Du kan validera alla datauppsättningar som ingår i datauppgiften.

Expandera Validera och justera för att se alla valideringsfel och designändringar.

Validera datauppsättningarna

• Klicka på Validera datauppsättningar för att validera datauppsättningarna.

Valideringen inkluderar att kontrollera att:

• Alla tabeller har en primärnyckel

• Det inte saknas några attribut.

• Det inte finns några dubbletter av tabell- eller kolumnnamn.

Du får också en lista över designändringar jämfört med källan:

• Tillagda tabeller och kolumner

• Borttagna tabeller och kolumner

• Omdöpta tabeller och kolumner

• Ändrade primärnycklar och datatyper

Expandera Validera och justera för att se alla valideringsfel och designändringar.

• Åtgärda valideringsfelen och validera sedan datauppsättningarna igen.

• De flesta designändringar kan justeras automatiskt, förutom ändrade primärnycklar eller datatyper. I det här fallet måste du synkronisera datauppsättningarna.

Förbereda datauppsättningarna

Du kan förbereda datauppsättningar för att justera designändringar utan dataförlust om möjligt. Om det finns designändringar som inte kan justeras utan dataförlust får du alternativet att återskapa tabeller från källan med dataförlust.

Detta kräver att uppgiften stoppas.

• Klicka på och sedan på Förbered.

När datauppsättningarna är förberedda validerar du datauppsättningarna innan du startar om lagringsuppgiften.

Återskapa datauppsättningar

Du kan återskapa datauppsättningarna från källan. När du återskapar en datauppsättning kommer det att uppstå dataförlust. Så länge du har källdata kan du ladda om dem från källan.

Detta kräver att uppgiften stoppas.

• Klicka på och sedan på Återskapa tabeller.

Hämta valideringsdata

Du kan hämta data från Valideringsfel, Designändringar och Förberedelseförlopp:

• Klicka på för att hämta.

Data hämtas som en CSV-fil till din webbläsares nedladdningar.

Begränsningar

• I Google BigQuery kommer borttagning eller namnbyte av en kolumn att återskapa tabellen och leda till dataförlust.