Gå till huvudinnehåll Gå till ytterligare innehåll

Mellanlagra data från datakällor

Första steget när data ska överföras vid introduktion är att mellanlagra dem. I detta ingår att kontinuerligt överföra data från den lokala datakällan till ett mellanlagringsområde.

Du kan mellanlagra data från ett antal datakällor via källkopplingar.

Mellanlagringsområdet definieras när du skapar dataprojektet.

  • Qlik Cloud (via Amazon S3)

    När du mellanlagrar data till Qlik Cloud (via Amazon S3) kan du använda den till att generera QVD-tabeller som är redo för analys i Qlik Cloud.

  • Molndatalager

    När du mellanlagrar data i ett molndatalager, som Snowflake eller Azure Synapse Analytics, kan du lagra tabeller i samma molndatalager.

Anteckning om informationDatauppgifternas funktion är beroende av ägaren. Mer information om nödvändiga roller och behörigheter finns i Roller och behörigheter i datautrymmen.

Skapa och konfigurera en dataarbetsuppgift för mellanlagring

Här beskrivs hur du skapar en dataarbetsuppgift för mellanlagring. Det snabbaste sättet att skapa en datapipeline är att introducera data vilket skapar en dataarbetsuppgift för mellanlagring och en dataarbetsuppgift för lagring som är redo att förberedas och köras. Mer information finns i Introduktion av data.

  1. Klicka på Lägg till nyQlik Cloud Data Integration-startsidan och välj Introducera data.
  2. I dialogrutan Mellanlagring av data anger du ett namn och en beskrivning för dataarbetsuppgiften.

    Välj Öppna för att öppna dataarbetsuppgiften för mellanlagring när den har skapats.

    Klicka på Skapa.

  3. Klicka på Välj källdata.

  4. Välj en dataanslutning till källdata och klicka på Nästa.

    Du kan använda filtren i den vänstra panelen för att filtrera listan över anslutningar efter källtyp, utrymme och ägare.

    Om du inte har en dataanslutning till källdata ännu behöver du skapa en först genom att klicka på Lägg till koppling.

    Mer information om att konfigurera en koppling till de källor som stöds finns i Koppla till datakällor.

    Anteckning om informationNär du har valt tabeller i nästa steg går det inte att ändra dataanslutningen för källan från en lokal datakälla till en molndatakälla, eller omvänt. Du kan bara ändra kopplingen till en annan datakälla av samma typ.
  5. Välj tabeller och vyer som ska ingå i datatillgången. Urvalsdialogen är olika beroende på vilken typ av källa du har anslutit till.

    När du är klar med att välja tabeller klickar du på Spara.

    Datauppsättningar visas.

  6. Du kan ändra inställningarna för mellanlagringen. Detta är inte obligatoriskt.

    • Klicka på Inställningar.

    Mer information om inställningar finns i Inställningar för mellanlagring.

  7. Du kan nu förhandsgranska struktur och metadata i de valda datatillgångstabellerna. Här ingår alla tabeller som är uttryckligt listade samt tabeller som matchar urvalsreglerna.

    Klicka på Välj källdata om du vill lägga till fler tabeller från datakällan.

  8. Du kan utföra grundläggande transformeringar på datauppsättningarna, exempelvis filtrera data eller lägga till kolumner. Detta är inte obligatoriskt.

    Mer information finns i Hantera datauppsättningar.

  9. När du har lagt till de omvandlingar du vill ha kan du validera datauppsättningarna genom att klicka på Validate datasets. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.

    Mer information finns i Validera och justera datauppsättningarna.

  10. När du är klar klickar du på Förbered för att katalogisera dataarbetsuppgiften och förbereda den för körning.

    Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

  11. När dataarbetsuppgiften är förberedd och du är redo att börja replikera data klickar du på Kör.

Replikeringen ska nu börja och du kan se förloppet i Övervaka. Mer information finns i Övervaka en enskild datauppgift.

Välja data från en databas

Du kan välja specifika tabeller eller vyer eller använda urvalsregler för att inkludera eller utesluta grupper med tabeller.

Anteckning om informationOm det ingår vyer i urvalet finns det inte stöd för CDC.

Använd % som jokertecken för att definiera urvalskriterier för scheman och tabeller.

  • %.% definierar alla tabeller i alla scheman.

  • Public.% definierar alla tabeller i schemat Public.

I Urvalskriterier får du en förhandsgranskning baserat på ditt urval.

Nu kan du göra något av följande:

  • Skapa en regel för att inkludera eller utesluta en grupp med tabeller baserat på urvalskriterierna.

    Klicka på Lägg till regel från urvalskriterier för att skapa en regel och välj antingen Inkludera eller Uteslut.

    Du kan se regeln under Urvalsregler.

  • Välj en eller flera datauppsättningar och klicka på Lägg till valda datauppsättningar.

    Du kan se de tillagda datauppsättningarna under Uttryckligen valda datauppsättningar.

Urvalsreglerna gäller bara för den aktuella uppsättningen med tabeller och vyer, inte för tabeller och vyer som läggs till i framtiden.

Köra en mellanlagringsuppgift med Sammanställning av ändringsdata (CDC)

Du kan köra mellanlagringsuppgiften när den har förberetts. Då startar replikeringen som överför data från den lokala datakällan till mellanlagringsområdet.

  • Klicka på Kör för att börja mellanlagra data.

Nu ska replikeringen börja och datatillgången kommer att ha statusen Körs. Först kopieras hela datakällan och sedan spåras ändringarna. Det innebär att ändringar kontinuerligt spåras och överförs när de upptäcks. På så sätt hålls mellanlagringsdata i mellanlagringsområdet uppdaterade.

Qlik Cloud Data Integration-hemsidan kan du visa status, datum och tid för när mellanlagrade data uppdateras och antalet tabeller med fel. Du kan även öppna datatillgången och välja fliken Tabeller om du vill visa grundläggande metadata för tabellerna.

Du kan övervaka förloppet i detalj genom att öppna fliken Övervaka. Mer information finns i Övervaka en enskild datauppgift.

När alla tabeller har laddats och den första uppsättningen med ändringar har bearbetats indikerar Data har uppdaterats till på datatillgångskortet att ändringar av källan fram till den tiden är tillgängliga i dataarbetsuppgiften.

Ladda tabeller

Du kan ladda data från källan.

Ladda enstaka tabeller

Du kan ladda specifika tabeller manuellt utan att insamling av förändringsdata påverkas. Detta är användbart när det finns CDC-problem med en eller flera tabeller.

  1. Öppna mellanlagringsdatauppgiften och välj fliken Övervaka.

  2. Välj tabellerna du vill ladda.

  3. Klicka på Ladda tabeller.

Anteckning om informationDet här alternativet kommer att bli tillgängligt efter att mellanlagringsuppgiften har körts minst en gång. Om du klickar när mellanlagringsuppgiften inte körs kommer tabellerna att laddas nästa gång uppgiften körs.

Om du inte kan åtgärda problemen genom att ladda tabeller, eller om de påverkar hela uppgiften kan du ladda alla tabeller till målet i stället. Då startas CDC om.

Ladda alla tabeller till målet

Du kan ladda alla tabeller till målet om du upplever CDC-problem som inte kan åtgärdas genom att ladda specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel när källdatabashändelser läses in.

Anteckning om informationDenna operation är bara tillgänglig för datauppgifter med uppdateringsmetoden Samla in ändrade data (CDC) och som har körts minst en gång.

  1. Stoppa datauppgiften och alla uppgifter som använder den.
  2. Öppna datauppgiften och välj fliken Övervaka.

  3. Klicka på ... och sedan på Ladda mål.

Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.

  • Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.

    Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.

  • Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:

    • Alla tabeller laddas om med jämför och tillämpa,

    • En ändringscykel utförs för varje tabell.

Anteckning om informationÄndringar i metadata stöds inte. Om det finns ändringar i metadata i källan sprids de till mellanlagring när data laddas, men de kommer inte att hanteras korrekt. Detta kan leda till att förbrukningslagringen misslyckas.

Köra en dataarbetsuppgift med Ladda och jämföra

Du kan kopiera data med hjälp av datauppgiften för mellanlagring när den har förberetts.

  • Klicka på Kör för att starta fullständig inläsning.

Nu börjar data kopieras, och datauppgiften får status Körs. När den fullständiga datakällan har kopierats är statusen Slutförd.

Qlik Cloud Data Integration-hemsidan kan du visa status, datum och tid för när mellanlagrade data uppdateras och antalet tabeller med fel. Du kan även öppna datatillgången och välja fliken Tabeller om du vill visa grundläggande metadata för tabellerna.

Du kan övervaka förloppet i detalj genom att öppna fliken Övervaka. Mer information finns i Övervaka en enskild datauppgift.

När alla tabeller har laddats indikerar Data har uppdaterats till på dataarbetsuppgiftskortet att ändringar av källan fram till den tiden är tillgängliga i dataarbetsuppgiften. Vissa av tabellerna i dataarbetsuppgiften kan dock uppdateras senare beroende på när de började laddas. Det betyder att det inte är garanterat att data blir enhetliga. Om till exempel laddningen startade 08.00 och tog 4 timmar kommer Data har uppdaterats till att visa 08.00 när laddningen är slutförd. En tabell som började laddas om kl. 11.30 kommer dock att omfatta ändringar av källan som inträffade mellan 8.00 och 11.30.

Data har uppdaterats till återspeglar endast tabeller som har laddats korrekt. Det indikerar inte något om tabeller att deras omladdningar har misslyckats. I molnbaserade mål kommer fältet att vara tomt om en laddning slutfördes där alla tabeller innehöll fel.

Läsa in data när du använder Läsa in och jämföra

När du använder Ladda och jämför som uppdateringsmetod måste du ladda data igen för att hålla dem uppdaterade med datakällan.

  • Klicka på Ladda data för att utföra en manuell laddning av alla tabeller.

  • Ställa in en schemalagd laddning.

Ladda enstaka tabeller

Du kan ladda specifika tabeller manuellt. Detta är användbart när det finns problem med en eller flera tabeller.

  1. Öppna mellanlagringsdatauppgiften och välj fliken Övervaka.

  2. Välj tabellerna du vill ladda.

  3. Klicka på Ladda tabeller.

Anteckning om information
  • Det här alternativet kommer att vara tillgängligt efter att mellanlagringsuppgiften har körts minst en gång, och endast när uppgiften inte körs.
  • Ändringar i metadata stöds inte. Om det finns ändringar i metadata i källan sprids de till mellanlagring när data laddas, men de kommer inte att hanteras korrekt. Detta kan leda till att förbrukningslagringen misslyckas.

Schemalägga en Läsa in och jämföra mellanlagringsdatauppgift.

Du kan schemalägga regelbundna laddningar för dataarbetsuppgiften för mellanlagring om du har rollen Kan styra i utrymmet för dataarbetsuppgiften. Status för datauppgiften måste vara minst Förberedd för att schemat ska vara aktivt.

  • Klicka på ... på en datauppgift och välj Schemaläggning.

    Du kan ställa in ett tidsbaserat schema.

Anteckning om informationOm en dataarbetsuppgift fortfarande laddas när en schemalagd laddning ska börja kommer den schemalagda laddningen att hoppas över fram till nästa schemalagda laddningshändelse.

Ställa in laddningsordning för datauppsättningar

Du kan kontrollera laddningsordningen för datauppsättningar i din datauppgift genom att tilldela en laddningsordning till varje datauppsättning. Detta kan vara användbart om du till exempel vill ladda små datauppsättningar före stora datauppsättningar.

  1. Klicka Laddningsordning.

  2. Välj en laddningsordning för varje datauppsättning.

    Den förvalda laddningsordningen är Normal. Datauppsättningar laddas i följande ordningsföljd:

    • Högst

    • Högre

    • Högt

    • Normalt

    • Lågt

    • Lägre

    • Lägst

    Datauppsättningar med samma prioritet laddas inte i någon särskild ordningsföljd.

  3. Klicka på OK.

Anteckning om informationDatauppsättningar från applikationskällor i SaaS kan innehålla beroenden i laddningsordning. Tänk på detta när du anger laddningsordningen.

Åtgärder för datauppgiften för mellanlagring

Du kan utföra följande operationer på en dataarbetsuppgift för mellanlagring från arbetsuppgiftsmenyn.

  • Öppna

    Det här öppnar dataarbetsuppgiften för mellanlagring. Du kan se tabellstrukturen och information om dataarbetsuppgiften.

  • Redigera

    Du kan redigera arbetsuppgiftens namn och beskrivning.

  • Radera

    Du kan radera dataarbetsuppgiften.

    Följande objekt raderas inte och behöver raderas manuellt:

    • Data i mellanlagringsområdet.

  • Kör

    Du kan köra datauppgiften för att börja kopiera data.

    Köra en mellanlagringsuppgift med Sammanställning av ändringsdata (CDC)

    Köra en dataarbetsuppgift med Ladda och jämföra

  • Stoppa

    Du kan stoppa en pågående åtgärd för en dataarbetsuppgiften. Mellanlagringsområdet uppdateras inte med ändrade data.

    När du stoppar en dataarbetsuppgift med fullständig laddning som har ett laddningsschema, stoppas bara den aktuella laddningen. Om dataarbetsuppgiftens status är Stoppad, och det finns ett aktivt laddningsschema, laddas den igen vid nästa schemalagda tillfälle. Du måste stänga av laddningsschemat i Schemalägg laddning.

  • Ladda igen

    Du kan utföra en manuell laddning av en dataarbetsuppgift i läget Ladda och jämför.

  • Förbereda

    Detta förbereder en uppgift för utförande. Detta inkluderar följande:

    • Validering av att designen är giltig.

    • Skapande eller ändring av de fysiska tabellerna och vyerna så att de stämmer överens med designen.

    • Generering av SQL-koden för datauppgiften.

    • Skapande eller ändring av katalogposterna för uppgiftens utgående datauppsättningar.

    Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

  • Återskapa tabeller

    Detta återskapar datauppsättningarna från källan.

    Du måste också skapa om alla dataarbetsuppgifter nedströms som förbrukar den här datauppgiften.

  • Schemaläggning

    Du kan ställa in en schemalagd laddning för mellanlagrade dataarbetsuppgifter i läget Fullständig laddning. Du kan ställa in ett tidsbaserat schema som kan anpassas.

    Du kan också slå på eller av schemalagda laddningar.

    Du måste ha rollen Kan styra i utrymmet för dataarbetsuppgiften för att kunna schemalägga laddningar.

  • Lagra data

    Du kan skapa en lagringsdatauppgift som använder data från denna datauppgift för mellanlagring.

Ta bort kolumner

Om du släpper en kolumn som förbrukas av en lagringsdatauppgift med aktiverad historik måste du följa de här stegen för att bevara historiken och undvika eventuella dataförluster.

  1. Stoppa dataarbetsuppgiften för mellanlagring.

  2. Kör lagringsdatauppgiften för att säkerställa att alla mellanlagringsdata läses.

  3. Släpp kolumnen i mellanlagringen.

  4. Kör dataarbetsuppgiften för mellanlagring.

  5. I lagringen lägger du till kolumnen med ett standarduttryck (null eller standardvärde), eller släpper kolumnen.

Underhåll av mellanlagringsområdet

Automatisk rensning av mellanlagringsområdet stöds inte. Detta kan påverka prestanda.
Vi rekommenderar att du manuellt rensar gamla fullständiga laddningar i mellanlagringsområdet.

  • Qlik Cloud (via Amazon S3)

    Om det finns flera mappar med fullständiga laddningsdata kan du ta bort allt utom den senaste mappen. Du kan även ta bort ändringsdatapartitioner som har bearbetats.

  • Molndatalager

    Du kan ta bort tabellposter från fullständig laddning och ändring som har bearbetats.

Begränsningar

  • Replikering av varchar-data som är längre än 8000 bytes, eller Nvarchar som är längre än 4000 bytes, stöds inte.

Mer information

Var den här sidan till hjälp för dig?

Om du hittar några fel på denna sida eller i innehållet – ett stavfel, ett steg som saknas eller ett tekniskt fel – berätta för oss så att vi kan blir bättre!