Mellanlagra data i datareservoar

Du kan konfigurera en Mellanlagra data i datareservoar-uppgift för att mellanlagra data i följande mål:

• Amazon S3

  Information om att konfigurera en koppling till Amazon S3 finns i Amazon S3

• Azure Data Lake Storage

  Mer information om att konfigurera en koppling till Azure Data Lake Storage finns i Azure Data Lake Storage.

• Google Cloud-lagring

  Mer information om att konfigurera en koppling till Google Cloud Storage finns i Google Cloud-lagring.

Information om hur du konfigurerar kopplingar till dina datakällor finns i Koppla till datakällor

För att konfigurera en mellanlagringsuppgift för datareservoar:

1. Klicka på knappen Lägg till ny längst upp till höger och välj sedan Skapa dataprojekt från listrutan.

2. Gör följande i dialogrutan Nytt dataprojekt:

   1. Ange ett Namn för ditt projekt.

   2. Välj det Utrymme där du vill att projektet ska skapas.
   3. Du kan även lägga till en beskrivning.
   4. Välj Replikering som Användningsfall.
   5. Om du vill kan du avmarkera kryssrutan Öppet om du vill skapa ett tomt projekt utan att konfigurera några inställningar.

   6. Klicka på Skapa.

      Något av följande sker:

      • Om kryssrutan Öppnet i dialogrutan Nytt dataprojekt valdes (förvalt) kommer projektet att öppnas.
      • Om du avmarkerade kryssrutan Öppna i dialogrutan Nytt dataprojekt kommer projektet att läggas till i din lista med projekt. Du kan öppna projektet senare genom att välja Öppna från projektets -meny.

3. När projektet öppnas klickar du på Mellanlagra data i datareservoar.

   Guiden Mellanlagra data i datareservoar öppnas.

4. I fliken Allmänt anger du ett namn och en beskrivning för mellanlagringsuppgiften för datareservoar. Klicka sedan på Nästa.

   Anteckning om informationNamn som innehåller snedstreck (/) eller omvända snedstreck (\) stöds inte.

5. I fliken Välj källkoppling väljer du en koppling till källdata. Du kan också vid behov redigera kopplingsinställningarna genom att välja Redigera från menyn i kolumnen Åtgärder.

   Om du inte har en dataanslutning till källdata ännu behöver du skapa en först genom att klicka på Skapa koppling längst upp till höger på fliken

   Du kan filtrera listan med kopplingar med hjälp av filtren till vänster. Kopplingar kan flitreras efter källtyp, gateway, utrymme och ägare. Knappen Alla filter ovanför Du kan använda den här knappen för att stänga eller öppna panelen Filter till vänster. De aktiva filtren visas också ovanför listan med tillgängliga datakopplingar.

   Du kan också sortera listan genom att välja Ändrades senast, Skapades senast eller Alfabetiskt från listrutan till höger. Klicka på pilen till höger om listan för att ändra sorteringsordningen.

   När du har valt en datakällkoppling kan du klicka på Testa koppling högst upp till höger på fliken (valfritt men rekommenderas) och sedan klicka på Nästa.

6. I fliken Välj datauppsättningar väljer du tabeller och/eller vyer som ska inkluderas i mellanlagringsuppgiften för datareservoar. Du kan också använda jokertecken och skapa urvalsregler enligt beskrivningen i Välja data från en databas.

   Anteckning om informationSchemanamn eller tabellnamn som innehåller snedstreck (/) eller omvända snedstreck (\) stöds inte.

7. I fliken Välj målkoppling väljer du ett mål från listan över tillgängliga kopplingar och klickar sedan på Nästa. Avseende funktioner är fliken identisk med fliken Välj källkoppling som beskrivs tidigare.

8. I fliken Inställningar kan du ändra följande inställningar (valfritt) och sedan klicka på Nästa.

   Uppdateringsmetod:

   • Sammanställning av ändringsdata (CDC): Mellanlagringsuppgiften för datareservoaren börjar med en fullständig laddning (under denna mellanlagras alla valda tabeller). Mellanlagrade data hålls sedan uppdaterade med hjälp av CDC-teknik (Change Data Capture).

     Anteckning om informationCDC (Change Data Capture) av DDL-operationer stöds inte.
   • Ladda: Utför en fullständig laddning av data från de valda källtabellerna till målplattformen och skapar måltabellerna vid behov. Den fullständiga laddningen sker automatiskt när uppgiften startar, men kan också utföras manuellt eller schemalagt om den behöver upprepas periodiskt.

   Om du väljer Sammanställning av ändringsdata (CDC) och dina data även innehåller tabeller som inte stöder CDC eller vyer kommer två datapipelines att skapas. En pipeline med alla tabeller som stöder CDC, och en annan pipeline med alla andra tabeller och vyer som använder Ladda om.

   Mapp som ska användas:

   Välj en av följande beroende på vilken bucketmapp du vill att filerna ska skrivas till:

   • Standardmapp: Standardmappformatet är <ditt-projekt-namn>/<din-uppgifts-namn>
   • Rotmapp: filerna kommer att skrivas direkt till bucketen.

   • Mapp: ange mappens namn. Mappen kommer att skapas under mellanlagringsuppgiften för datareservoaren om den inte finns.

     Anteckning om information Mappnamnet får inte innehålla specialtecken (exempelvis @, #, ! och så vidare).

9. I fliken Sammanfattning visas en datapipeline. Välj om du vill Öppna uppgiften <namn> eller Gör ingenting. Klicka sedan på Skapa.

   Beroende på vad du väljer kommer antingen uppgiften att öppnas eller en lista med projekt att visas.

10. Om du väljer att öppna uppgiften kommer fliken Datauppsättningar att visa struktur och metadata för de valda datatillgångstabellerna. Här ingår alla tabeller som är uttryckligt listade samt tabeller som matchar urvalsreglerna.

    Klicka på Välj källdata om du vill lägga till fler tabeller från datakällan.

11. Ändra inställningen för uppgiften enligt beskrivningen i Inställning för mellanlagring i en datareservoar (valfritt).

12. Du kan utföra transformeringar på datauppsättningarna, filtrera data eller lägga till kolumner.

    Mer information finns i Hantera datauppsättningar.

13. När du har lagt till de omvandlingar du vill ha kan du validera datauppsättningarna genom att klicka på Validate datasets. Om valideringen misslyckas åtgärdar du felen innan du fortsätter.

    Mer information finns i Validera och justera datauppsättningarna.

14. När du är klar klickar du på Förbered för att katalogisera mellanlagringsuppgiften och förbereda den för körning.

15. När datauppgiften har förberetts klickar du på Kör.

16. Mellanlagringsuppgifen för datareservoaren bör nu starta. Du kan övervaka förloppet i Övervaka-vyn. Mer information finns i Övervaka en enskild datauppgift

Ställa in laddningsordning för datauppsättningar

Du kan kontrollera laddningsordningen för datauppsättningar i din datauppgift genom att tilldela en laddningsordning till varje datauppsättning. Detta kan vara användbart om du till exempel vill ladda små datauppsättningar före stora datauppsättningar.

1. Klicka Laddningsordning.

2. Välj en laddningsordning för varje datauppsättning.

   Den förvalda laddningsordningen är Normal. Datauppsättningar laddas i följande ordningsföljd:

   • Högst

   • Högre

   • Högt

   • Normalt

   • Lågt

   • Lägre

   • Lägst

   Datauppsättningar med samma prioritet laddas inte i någon särskild ordningsföljd.

3. Klicka på OK.