Lagra datauppsättningar

Du kan lagra datauppsättningar med hjälp av en dataarbetsuppgift för lagring. Dataarbetsuppgiften för lagring använder data som har mellanlagrats i mellanlagringsområdet i molnet av en dataarbetsuppgift för lagring. Du kan använda tabellerna i exempelvis en analysapp.

• Du kan utforma en dataarbetsuppgift för lagring när statusen för dataarbetsuppgift för mellanlagring åtminstone är Redo att förbereda.

• Du kan förbereda en dataarbetsuppgift för lagring när statusen för dataarbetsuppgiften för mellanlagring åtminstone är Klar att köra.

Dataarbetsuppgiften för lagring kommer att använda samma driftläge (Fullständig laddning eller Fullständig laddning och CDC) som den förbrukade dataarbetsuppgiften för mellanlagring. Konfigurationsegenskaperna skiljer sig mellan de två driftlägena, liksom alternativen för övervakning och kontroll. Om du använder en dataarbetsuppgift för mellanlagring i molnet med endast fullständig laddning kommer dataarbetsuppgiften för lagring att skapa vyer av tabeller för mellanlagring istället för att generera fysiska tabeller.

Skapa en dataarbetsuppgift för lagring

Du kan skapa en dataarbetsuppgift för lagring på tre sätt:

• Klicka på ... på en dataarbetsuppgift för mellanlagring och välj Lagra data för att skapa en dataarbetsuppgift för lagring basera på denna datatillgången för mellanlagring.

• Klicka på Add new och sedan på Store data. I det här fallet måste du ange vilken dataarbetsuppgift för mellanlagring som ska användas.

• När du lägger in data skapas en dataarbetsuppgift för lagring. Den är kopplad till dataarbetsuppgiften för mellanlagring som också skapas när du lägger in data.

  Se Introduktion av data för mer information.

När du har skapat dataarbetsuppgiften för lagring:

1. Öppna dataarbetsuppgiften för lagring genom att klicka på ... och välja Öppna.
   Dataarbetsuppgiften för lagring öppnas och du kan förhandsgranska de utgående datauppsättningar som baseras på tabellerna från datatillgången för mellanlagring.

2. Gör alla nödvändiga ändringar i de inkluderade datauppsättningarna, t.ex. omvandlingar, filtrering av data eller tillägg av kolumner.

   Se Hantera datauppsättningar för mer information.

3. När du har lagt till de omvandlingar du vill ha kan du validera datauppsättningarna genom att klicka på Validate datasets. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.

   Mer information finns i Validera och justera datauppsättningarna.

4. Skapa en datamodell

   Klicka på Model för att ställa in relationerna mellan de inkluderade datauppsättningarna.

   Mer information finns i Skapa en datamodell.

5. Klicka på Förbered för att förbereda dataarbetsuppgiften och alla nödvändiga artefakter. Detta kan ta lite tid.

   Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

6. När statusen visar Klar att köra kan du köra dataarbetsuppgiften.

   Klicka på Kör.

   Dataarbetsuppgiften börjar nu skapa datauppsättningar för att lagra data.

Bevara historiska data

Du kan bevara historiska ändringsdata av typ 2 så att du enkelt kan återskapa data som de såg ut vid en viss tidpunkt. Detta skapar en fullständig historisk datalagringsplats (HDS).

• Långsamt förändrade dimensioner av typ 2 stöds.

• När en ändrad post slås samman, skapar den en ny post för att lagra ändrad data och lämna den gamla posten intakt.

• Nya HDS-poster tidsmarkeras automatiskt, för att låta dig skapa trendanalyser och andra tidsorienterade datamartsanalyser.

Du kan aktivera historiska data genom att klicka på:

• Replikering med både aktuella data och historik över tidigare data i Inställningar när du lägger in data.

• Behåll historiska ändringsposter och ändra arkivet med poster i dialogrutan Inställningar för en lagringsarbetsuppgift.

HDS-data lagras i tabellen Tidigare i det interna dataschemat. Du kan använda historikvyer och livehistorikvyer för att visa historiska data.

• Historikvyn slår ihop data från tabellen Aktuella och tabellen Tidigare Vyn inkluderar alla ändringar som slagits samman.

• Historikvyn slår ihop data från tabellen Aktuella och tabellen Tidigare Vyn inkluderar alla ändringar som ännu inte slagits samman.

Se Arkitektur för datauppsättningar i ett datalager i molnet för mer information.

Schemalägga en lagringsuppgift

Du kan schemalägga en lagringsuppgift så att den uppdateras regelbundet.

• Om indatauppgiften för mellanlagring använder Fullständig laddning och CDC kan du bara ställa in ett tidsbaserat schema.

• Om indatauppgiften för mellanlagring använderFullständig laddning kan du antingen ställa in ett tidsbaserat schema, eller ställa in uppgiften till att köras när indatauppgiften för mellanlagring har slutförts.

  Anteckning om informationNär du kör ett tidsbaserat schema med en indatauppgift för mellanlagring med Fullständig laddning bör du ha i åtanke att alla slutförda tabeller i mellanlagringen är tillgängliga när mellanlagringsuppgiften fortfarande körs. Därför kan du köra mellanlagring och lagring samtidigt, vilket kan förkorta den sammanlagda laddningstiden.

Klicka på ... på en datauppgift och välj Schemaläggning för att skapa ett schema. Standardinställningen för schemaläggning ärvs från inställningarna i dataprojektet. Mer information om standardinställningar finns i Lagra standardvärden.. Du måste alltid sätta Schemaläggning till På för att aktivera schemat.

Tidsbaserade scheman

Du kan använda ett tidsbaserat schema för att köra lagringsdatauppgiften oavsett typ av mellanlagring.

• Välj Vid en specifik tidpunkt i Kör datauppgift.

Du kan skapa ett schema med intervall på dagar, veckor eller månader.

Händelsebaserade scheman

• Välj När en indatauppgift har slutförts i Kör datauppgiften.

Lagringsuppgiften körs varje gång indatauppgiften för mellanlagring har slutförts.

Övervakning av en lagringsuppgift

Du kan övervaka statusen och förloppet för en lagringsuppgift genom att klicka på Monitor.

Se Övervaka en enskild datauppgift för mer information.

Felsöka en lagringsdatauppgift

När det är problem med en eller flera tabeller i en lagringsdatauppgift kan du behöva ladda eller återskapa data. Det finns ett antal tillgängliga alternativ för att utföra detta. Avgör vilket alternativ som är lämpligast i följande ordning:

1. Du kan ladda datauppsättningen i mellanlagring. När en datauppsättning läses in igen i mellanlagring kommer detta att sätta igång jämförelseprocessen i lagringsutrymmet och korrigera data, samtidigt som typ 2-historiken 2 bevaras. Det här alternativet bör också övervägas när:

   • Den fullständiga laddningen gjordes för länge sedan och det finns ett stort antal ändringar.

   • Om fullständig laddning och ändrade tabellposter som har bearbetats har tagits bort som en del i underhållet av området för mellanlagring.

   Mellanlagra data från datakällor

2. Du kan ladda data i lagringsdatauppgiften.

   Om historiska data är aktiverade kan en inläsning igen i lagringsutrymmet orsaka att historiska data går förlorade. Om detta är ett problem bör du överväga att ladda mellanlagringen från källan i stället.

   Ladda data

3. Du kan återskapa tabeller. Detta återskapar datauppsättningarna från källan.

   • Klicka på … och klicka sedan på Återskapa tabeller. När en tabell återskapas reagerar uppgiften nedströms som om en trunkera- och återskapa-åtgärd utförts på källdatauppsättningarna.

Ladda data

Du kan utföra en manuell omladdning av data. Detta är användbart när det finns problem med en eller flera tabeller.

1. Öppna datauppgiften och välj fliken Övervaka.

2. Välj tabellerna du vill ladda.

3. Klicka på Ladda tabeller.

Laddningen sker nästa gång uppgiften körs och utförs av:

1. Trunkera tabellerna.

2. Ladda mellanlagringsdata i tabellerna.

3. Ladda ändringarna som ackumulerats från laddningstiden.

Uppgifter nedströms laddas för att ändringar ska tillämpas och antedatering undvikas. Om en laddning utförs genom att trunkera och ladda kommer alla objekt nedströms också att laddas genom att trunkera och ladda.

Påverkan nedströms beror på typen av utförd laddningsåtgärd och typ av datauppsättning omedelbart nedströms. Standardbearbetning innebär att datauppsättningen kommer att reagera och bearbeta data med den konfigurerade metoden för den specifika datauppsättningen.

• I omvandlingsuppgifter nedströms:

  Transformering av datauppsättningar laddas genom trunkering och laddning.

  SQL-transformeringar och transformeringsflöden laddas genom att jämföra med fullständig laddning och tillämpa ändringar.

• Datamartuppgifter omedelbart efter en lagringsuppgift laddas genom att trunkera och ladda.

Du kan avbryta laddningen för tabeller som väntar på laddning genom att klicka på Avbryt laddning. Detta kommer inte att påverka tabeller som redan har laddats och laddningar som körs för tillfället kommer att slutföras.

Lagringsinställningar

Du kan ställa in egenskaper för dataarbetsuppgiften för lagring när dataplattformen är ett molndatalager. Om du använder Qlik Cloud som dataplattform, se Lagringsinställningar för dataprojekt med Qlik Cloud som dataplattform.

• Klicka på Settings.

Allmänna inställningar

• Databas

  Databas som ska användas i datakällan.

• Uppgiftsschema

  Du kan byta namn på schemat för datalagringsuppgiften. Standardnamnet är namnet på lagringsuppgiften.

• Internt schema

  Du kan ändra namnet på datatillgångsschemat för intern lagring. Standardnamnet är namnet på lagringsuppgiften med _internal som tillägg.

• Prefix för alla tabeller och vyer

  Du kan ange prefix för alla tabeller och vyer som skapas av uppgiften.

  Anteckning om informationDu måste använda ett unikt prefix om du vill använda ett databasschema i flera datauppgifter.

• Historik

  Du kan spara historiska ändringsdata så att du enkelt kan återskapa data som de såg ut vid en viss tidpunkt. Du kan använda historiska vyer och historiska livevyer för att se historiska data. Välj Keep historical records and archive of change records för att aktivera historiska ändringsdata.

• När du jämför lagring med mellanlagring kan du välja hur du ska hantera poster som inte finns i mellanlagringen.

  • Markera som raderad

    Detta kommer att göra en mjuk radering av poster som inte finns i mellanlagringen.

  • Behåll

    På så sätt behålls alla poster som inte finns i mellanlagringen.

  Anteckning om informationDatauppsättningar i dataarbetsuppgifter för lagring måste ha en primärnyckel inställd. Om så inte är fallet kommer en första inläsning att utföras på dataarbetsuppgiften för lagring varje gång mellanlagringsdata läses in.

Inställningar för vyer

• Livevyer

  Använd livevyer för läsning av tabeller med minst fördröjning.

  Mer information om livevyer finns i Användning av livevyer.

  Anteckning om informationLivevyer är mindre effektiva än standardvyer och kräver mer resurser, eftersom tillämpade data måste beräknas om.

Inställningar för körtid

• Parallell körning

  Du kan ställa in det maximala antalet kopplingar för fullständig laddning till ett tal mellan 1 och 5.

• Lager

  Namnet på molndatalagret. Den här inställningen gäller endast för Snowflake.

Kataloginställningar

• Publicera i katalogen

  Välj det här alternativet för att publicera den här versionen av data till Katalogen som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Mer information om Katalog finns i Förstå data med hjälp av katalogverktyg.

Lagringsinställningar för dataprojekt med Qlik Cloud som dataplattform

Du kan ange vilken mapp som ska användas i lagringsutrymmet när dataplattformen är Qlik Cloud som dataplattform.

1. Klicka på Inställningar.

2. Välj den mapp som ska användas för lagring.

3. Klicka på OK när du är klar.

Åtgärder för datalagringsuppgiften

Du kan utföra följande åtgärder på en datalagringsuppgift från uppgiftsmenyn.

• Öppna

  Detta öppnar datalagringsuppgiften. Du kan visa tabellvyn och information om dataarbetsuppgiften, och övervaka statusen för den fullständiga laddningen och batcher med ändringar.

• Redigera

  Du kan redigera arbetsuppgiftens namn och beskrivning och lägga till taggar.

• Ta bort

  Du kan radera datauppgiften.

• Förbereda

  Detta förbereder en uppgift för utförande. Detta inkluderar följande:

  • Validering av att designen är giltig.

  • Skapande eller ändring av de fysiska tabellerna och vyerna så att de stämmer överens med designen.

  • Generering av SQL-koden för datauppgiften

  • Skapande eller ändring av katalogposterna för uppgiftens utgående datauppsättningar.

  Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

• Validera datauppsättningar

  Detta validerar alla datauppsättningar som ingår i dataarbetsuppgiften.

  Expandera Validera och justera för att se alla valideringsfel och designändringar.

• Återskapa tabeller

  Detta återskapar datauppsättningarna från källan. När en tabell återskapas reagerar uppgiften nedströms som om en trunkera- och återskapa-åtgärd utförts på källdatauppsättningarna. Se Felsöka en lagringsdatauppgift för mer information.

• Stoppa

  Du kan stoppa körning av datauppgiften. Datauppgiften kommer inte att fortsätta att uppdatera tabellerna.

  Anteckning om informationDet här alternativet är tillgängligt när dataarbetsuppgiften körs.

• Återuppta

  Du kan återuppta åtgärden för en dataarbetsuppgift från den punkt där den stoppades.

  Anteckning om informationDet här alternativet är tillgängligt när dataarbetsuppgiften är stoppad.

• Omvandla data

  Skapa återanvändbara omvandlingar på radnivå baserat på regler och anpassad SQL. Detta skapar en dataarbetsuppgift för omvandling.

  Omvandla data

• Skapa datamart

  Skapa en datamart för att utnyttja dina dataarbetsuppgifter. Detta skapar en datamart-dataarbetsuppgift.

  Skapa och hantera datamarter

Begränsningar

• Om dataarbetsuppgiften innehåller datauppsättningar och du ändrar parametrar i anslutningen, till exempel användarnamn, databas eller schema, antas det att data finns på den nya platsen. Om så inte är fallet kan du antingen:

  • Flytta data i källan till den nya platsen.

  • Skapa en ny dataarbetsuppgift med samma inställningar.

• Det är inte möjligt att ändra primärnycklar i lagringsuppgifter i projekt med Qlik Cloud (QVD) som mål. Uppdatera primärnycklarna i mellanlagringsuppgiften, återskapa mellanlagringsuppgiften och återskapa sedan lagringsuppgiften.