Mellanlagra data från datakällor

Första steget när data ska överföras vid introduktion är att mellanlagra dem. I detta ingår att kontinuerligt överföra data från den lokala datakällan till ett mellanlagringsområde.

Du kan mellanlagra data från ett antal datakällor via källkopplingar.

Mellanlagringsområdet definieras när du skapar projektet.

• Qlik Cloud (via Amazon S3)

  När du mellanlagrar data till Qlik Cloud (via Amazon S3) kan du använda den till att generera QVD-tabeller som är redo för analys i Qlik Cloud.

• Molndatalager

  När du mellanlagrar data i ett molndatalager, som Snowflake eller Azure Synapse Analytics, kan du lagra tabeller i samma molndatalager.

Skapa och konfigurera en dataarbetsuppgift för mellanlagring

Här beskrivs hur du skapar en dataarbetsuppgift för mellanlagring. Det snabbaste sättet att skapa en datapipeline är att introducera data vilket skapar en dataarbetsuppgift för mellanlagring och en dataarbetsuppgift för lagring som är redo att förberedas och köras. Mer information finns i Introduktion av data.

1. I ditt projekt klickar du på Skapa och väljer Mellanlagra data.

2. I dialogrutan Mellanlagra data anger du ett namn och en beskrivning för dataarbetsuppgiften.

   Välj Öppna för att öppna dataarbetsuppgiften för mellanlagring när den har skapats.

   Klicka på Skapa.

3. Klicka på Välj källdata.

4. Välj en koppling till källdata och klicka på Nästa.

   Du kan använda filtren i den vänstra panelen för att filtrera listan över anslutningar efter källtyp, utrymme och ägare.

   Om du inte har en koppling till källdata ännu behöver du skapa en först genom att klicka på Lägg till koppling.

   Mer information om att konfigurera en koppling till de källor som stöds finns i Konfigurera kopplingar till datakällor.

   Anteckning om informationNär du har valt tabeller i nästa steg går det inte att ändra kopplingen för källan från en lokal datakälla till en molndatakälla, eller omvänt. Du kan bara ändra kopplingen till en annan datakälla av samma typ.

5. Välj datauppsättningar som ska ingå i datauppgiften. Urvalsdialogen är olika beroende på vilken typ av källa du har anslutit till.

   När du är klar med att välja tabeller klickar du på Spara.

   Datauppsättningar visas.

6. Du kan ändra inställningarna för mellanlagringen. Detta är inte obligatoriskt.

   • Klicka på Inställningar.

   Mer information om inställningar finns i Inställningar för mellanlagring.

7. Du kan nu förhandsgranska struktur och metadata i de valda datatillgångstabellerna. Här ingår alla tabeller som är uttryckligt listade samt tabeller som matchar urvalsreglerna.

   Klicka på Välj källdata om du vill lägga till fler tabeller från datakällan.

8. Du kan utföra grundläggande transformeringar på datauppsättningarna, exempelvis filtrera data eller lägga till kolumner. Detta är inte obligatoriskt.

   Mer information finns i Hantera datauppsättningar.

9. När du har lagt till de omvandlingar du vill ha kan du validera datauppsättningarna genom att klicka på Validate datasets. Om fel hittas vid valideringen åtgärdar du felen innan du fortsätter.

   Mer information finns i Validera och justera datauppsättningarna.

10. När du är klar klickar du på Förbered för att katalogisera dataarbetsuppgiften och förbereda den för körning.

    Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

11. När dataarbetsuppgiften är förberedd och du är redo att börja replikera data klickar du på Kör.

Replikeringen ska nu börja och du kan se förloppet i Övervaka. Mer information finns i Övervaka en enskild datauppgift.

Välja data från en databas

Du kan välja specifika tabeller eller vyer eller använda urvalsregler för att inkludera eller utesluta grupper med tabeller.

Använd % som jokertecken för att definiera urvalskriterier för scheman och tabeller.

• %.% definierar alla tabeller i alla scheman.

• Public.% definierar alla tabeller i schemat Public.

I Urvalskriterier får du en förhandsgranskning baserat på ditt urval.

Nu kan du göra något av följande:

• Skapa en regel för att inkludera eller utesluta en grupp med tabeller baserat på urvalskriterierna.

  Klicka på Lägg till regel från urvalskriterier för att skapa en regel och välj antingen Inkludera eller Uteslut.

  Du kan se regeln under Urvalsregler.

• Välj en eller flera datauppsättningar och klicka på Lägg till valda datauppsättningar.

  Du kan se de tillagda datauppsättningarna under Uttryckligen valda datauppsättningar.

Urvalsreglerna gäller bara för den aktuella uppsättningen med tabeller och vyer, inte för tabeller och vyer som läggs till i framtiden.

Köra en mellanlagringsuppgift med Sammanställning av ändringsdata (CDC)

Du kan köra mellanlagringsuppgiften när den har förberetts. Då startar replikeringen som överför data från den lokala datakällan till mellanlagringsområdet.

• Klicka på Kör för att börja mellanlagra data.

Replikeringen bör nu starta och dataarbetsuppgiften kommer att ha statusen Körs. Först kopieras hela datakällan och sedan spåras ändringarna. Det innebär att ändringar kontinuerligt spåras och överförs när de upptäcks. På så sätt hålls mellanlagringsdata i mellanlagringsområdet uppdaterade.

På Qlik Talend Data Integration-hemsidan kan du visa status, datum och tid för när mellanlagrade data uppdateras och antalet tabeller med fel. Du kan även öppna datauppgiften och välja fliken Tabeller om du vill visa grundläggande metadata för tabellerna.

Du kan övervaka förloppet i detalj genom att öppna fliken Övervaka. Mer information finns i Övervaka en enskild datauppgift.

När alla tabeller har laddats och den första uppsättningen med ändringar har bearbetats indikerar Data har uppdaterats till på datauppgiftskortet att ändringar av källan fram till den tiden är tillgängliga i dataarbetsuppgiften.

Ladda tabeller

Du kan ladda data från källan.

Ladda enstaka tabeller

Du kan ladda specifika tabeller manuellt utan att insamling av förändringsdata påverkas. Detta är användbart när det finns CDC-problem med en eller flera tabeller.

1. Öppna mellanlagringsdatauppgiften och välj fliken Övervaka.

2. Välj tabellerna du vill ladda.

3. Klicka på Ladda tabeller.

Om du inte kan åtgärda problemen genom att ladda tabeller, eller om de påverkar hela uppgiften kan du ladda alla tabeller till målet i stället. Då startas CDC om.

Ladda alla tabeller till målet

Du kan ladda alla tabeller till målet om du upplever CDC-problem som inte kan åtgärdas genom att ladda specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel när källdatabashändelser läses in.

1. Stoppa datauppgiften och alla uppgifter som använder den.

2. Öppna datauppgiften och välj fliken Övervaka.

3. Klicka på ... och sedan på Ladda mål.

Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.

• Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.

  Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.

• Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:

  • Alla tabeller laddas om med jämför och tillämpa,

  • En ändringscykel utförs för varje tabell.

Köra en dataarbetsuppgift med Ladda och jämföra

Du kan kopiera data med hjälp av datauppgiften för mellanlagring när den har förberetts.

• Klicka på Kör för att starta fullständig inläsning.

Nu börjar data kopieras, och datauppgiften får status Körs. När den fullständiga datakällan har kopierats är statusen Slutförd.

På Qlik Talend Data Integration-hemsidan kan du visa status, datum och tid för när mellanlagrade data uppdateras och antalet tabeller med fel. Du kan även öppna datauppgiften och välja fliken Tabeller om du vill visa grundläggande metadata för tabellerna.

Du kan övervaka förloppet i detalj genom att öppna fliken Övervaka. Mer information finns i Övervaka en enskild datauppgift.

När alla tabeller har laddats indikerar Data har uppdaterats till på dataarbetsuppgiftskortet att ändringar av källan fram till den tiden är tillgängliga i dataarbetsuppgiften. Vissa av tabellerna i dataarbetsuppgiften kan dock uppdateras senare beroende på när de började laddas. Det betyder att det inte är garanterat att data blir enhetliga. Om till exempel laddningen startade 08.00 och tog 4 timmar kommer Data har uppdaterats till att visa 08.00 när laddningen är slutförd. En tabell som började laddas om kl. 11.30 kommer dock att omfatta ändringar av källan som inträffade mellan 8.00 och 11.30.

Data har uppdaterats till återspeglar endast tabeller som har laddats korrekt. Det indikerar inte något om tabeller att deras omladdningar har misslyckats. I molnbaserade mål kommer fältet att vara tomt om en laddning slutfördes där alla tabeller innehöll fel.

Läsa in data när du använder Läsa in och jämföra

När du använder Ladda och jämför som uppdateringsmetod måste du ladda data igen för att hålla dem uppdaterade med datakällan.

• Klicka på Ladda data för att utföra en manuell laddning av alla tabeller.

• Ställa in en schemalagd laddning.

Ladda enstaka tabeller

Du kan ladda specifika tabeller manuellt. Detta är användbart när det finns problem med en eller flera tabeller.

1. Öppna mellanlagringsdatauppgiften och välj fliken Övervaka.

2. Välj tabellerna du vill ladda.

3. Klicka på Ladda tabeller.

Schemalägga en Läsa in och jämföra mellanlagringsdatauppgift.

Du kan schemalägga regelbundna laddningar för dataarbetsuppgiften för mellanlagring om du har rollen Kan styra i utrymmet för dataarbetsuppgiften. Status för datauppgiften måste vara minst Förberedd för att schemat ska vara aktivt.

• Klicka på ... på en datauppgift och välj Schemaläggning.

  Du kan ställa in ett tidsbaserat schema.

  Information om minsta schemaläggningsintervall beroende på typ av datakälla och prenumerationsnivå finns i Minsta tillåtna schemaläggningsintervall.

Ställa in laddningsordning för datauppsättningar

Du kan kontrollera laddningsordningen för datauppsättningar i din datauppgift genom att tilldela en laddningsordning till varje datauppsättning. Detta kan vara användbart om du till exempel vill ladda små datauppsättningar före stora datauppsättningar.

1. Klicka Laddningsordning.

2. Välj en laddningsordning för varje datauppsättning.

   Den förvalda laddningsordningen är Normal. Datauppsättningar laddas i följande ordningsföljd:

   • Högst

   • Högre

   • Högt

   • Normalt

   • Lågt

   • Lägre

   • Lägst

   Datauppsättningar med samma prioritet laddas inte i någon särskild ordningsföljd.

3. Klicka på OK.

Åtgärder för datauppgiften för mellanlagring

Du kan utföra följande operationer på en dataarbetsuppgift för mellanlagring från arbetsuppgiftsmenyn.

• Öppna

  Det här öppnar dataarbetsuppgiften för mellanlagring. Du kan se tabellstrukturen och information om dataarbetsuppgiften.

• Redigera

  Du kan redigera arbetsuppgiftens namn och beskrivning.

• Radera

  Du kan radera dataarbetsuppgiften.

  Följande objekt raderas inte och behöver raderas manuellt:

  • Data i mellanlagringsområdet.

• Kör

  Du kan köra datauppgiften för att börja kopiera data.

  Köra en mellanlagringsuppgift med Sammanställning av ändringsdata (CDC)

  Köra en dataarbetsuppgift med Ladda och jämföra

• Stoppa

  Du kan stoppa en pågående åtgärd för en dataarbetsuppgiften. Mellanlagringsområdet uppdateras inte med ändrade data.

  När du stoppar en dataarbetsuppgift med fullständig laddning som har ett laddningsschema, stoppas bara den aktuella laddningen. Om dataarbetsuppgiftens status är Stoppad, och det finns ett aktivt laddningsschema, laddas den igen vid nästa schemalagda tillfälle. Du måste stänga av laddningsschemat i Schemalägg laddning.

• Ladda igen

  Du kan utföra en manuell laddning av en dataarbetsuppgift i läget Ladda och jämför.

• Förbereda

  Detta förbereder en uppgift för utförande. Detta inkluderar följande:

  • Validering av att designen är giltig.

  • Skapande eller ändring av de fysiska tabellerna och vyerna så att de stämmer överens med designen.

  • Generering av SQL-koden för datauppgiften.

  • Skapande eller ändring av katalogposterna för uppgiftens utgående datauppsättningar.

  Du kan följa förloppet under Förlopp för förberedelse på skärmens nedre del.

• Återskapa tabeller

  Detta återskapar datauppsättningarna från källan.

• Schemaläggning

  Du kan ställa in en schemalagd laddning för mellanlagrade dataarbetsuppgifter i läget Fullständig laddning. Du kan ställa in ett tidsbaserat schema som kan anpassas.

  Du kan också slå på eller av schemalagda laddningar.

  Du måste ha rollen Kan styra i utrymmet för dataarbetsuppgiften för att kunna schemalägga laddningar.

• Lagra data

  Du kan skapa en lagringsdatauppgift som använder data från denna datauppgift för mellanlagring.

Uppdaterar metadata

Du kan uppdatera metadata i uppgiften så att den stämmer med ändringar i metadata i källan i Designvyn för en uppgift. För SaaS-program som använder Metadata manager måste Metadata manager uppdateras innan du kan uppdatera metadata i datauppgiften.

1. Du kan göra något av följande:

   • Klicka på ... och sedan på Uppdatera metadata för att uppdatera metadata för alla datauppsättningar i uppgiften.

   • Klicka på ... på en datauppsättning i Datauppsättningar och sedan på Uppdatera metadata för att uppdatera metadata för en enstaka datauppsättning.

   Du kan visa status för uppdateringen av metadata under Uppdatera metadata i den nedre delen av skärmen. Du kan se när metadata senast uppdaterades genom att hovra över .

2. Förbered datauppgiften för att tillämpa ändringarna.

   När du har förberett datauppgiften och ändringarna har tillämpats tas ändringarna bort från Uppdatera metadata.

Du måste förbereda lagringsåtgärder som använder den här åtgärden för att sprida ändringarna.

Om en kolumn tas bort läggs en transformation med Null-värden till för att säkerställa att lagringen inte förlorar historiska data.

Begränsningar för uppdatering av metadata

• Ett namnbyte med en borttagen kolumn före det, i samma tidsfönster, kommer att översättas till namnbytet med den borttagna kolumnen om de är av samma datatyp och har samma datalängd.

  Exempel:  

  Före: a b c d

  Efter: a c1 d

  I det här exemplet togs b bort och c bytte namn till c1 och b och c är av samma datatyp och har samma datalängd.

  Detta kommer att identifieras som ett namnbyte för b till c1 och en borttagning av c.

• Namnbytet för den sista kolumnen identifieras inte, även om den sista kolumnen togs bort, och den omedelbart före bytte namn.

  Exempel:  

  Före: a b c d

  Efter: a b c1

  I det här exemplet togs d bort och c bytte namn till c1.

  Detta kommer att identifieras som att c och d har tagits bort och att c1 har lagts till.

• Nya kolumner förutsätts läggas till på slutet. Om kolumner läggs till i mitten med samma datatyp som nästa kolumn kan de tolkas som att de har tagits bort och bytt namn.

Utveckling av schema

Med Schemautveckling kan du enkelt kan upptäcka strukturella förändringar i flera datakällor och sedan styra hur dessa förändringar kommer att tillämpas på din uppgift. Schemautveckling kan användas för att upptäcka alla DDL-ändringar som gjorts i källdataschemat. Du kan också tillämpa vissa ändringar automatiskt.

För varje ändringstyp kan du välja hur du vill hantera ändringarna i avsnittet Schemautveckling i uppgiftsinställningarna. Du kan antingen tillämpa ändringen, ignorera ändringen, avbryta tabellen eller stoppa behandlingen av uppgiften.

Du kan ange vilken åtgärd som ska användas för att hantera DDL-ändringen för varje ändringstyp. Vissa åtgärder är inte tillgängliga för alla ändringstyper.

• Tillämpa på mål

  Tillämpa ändringar automatiskt.

• Ignorera

  Ignorera ändringar.

• Inaktivera tabell

  Inaktivera tabellen. Tabellen kommer att visas som fel i Övervakaren.

• Stoppa uppgift

  Stoppa bearbetningen av uppgiften. Detta är användbart om du vill hantera alla schemaförändringar manuellt. Detta stoppar också schemaläggningen, det vill säga att schemalagda körningar inte kommer att utföras.

Följande ändringar stöds:

• Lägg till kolumn

• Byt namn på kolumn

• Ändra kolumndatatyp:

• Skapa en tabell som matchar urvalsmönstret
  

  Om du använde en Urvalsregel för att lägga till datauppsättningar som matchar ett mönster kommer nya tabeller som uppfyller mönstret att upptäckas och läggas till.

Se Utveckling av schema för mer information om uppgiftsinställningar

Du kan också få meddelanden om ändringar som hanteras med schemautveckling. Mer information finns i Konfigurera aviseringar vid ändringar under drift.

Begränsningar för schemautveckling

Följande begränsningar gäller för schemautveckling:

• Schemautveckling stöds endast när CDC används som uppdateringsmetod.

• När du har ändrat inställningarna för schemautveckling måste du förbereda uppgiften på nytt.

• Om du byter namn på tabeller stöds inte schemautveckling. I så fall måste du uppdatera metadata innan du förbereder uppgiften.

• Om du håller på att utforma en uppgift måste du uppdatera webbläsaren för att ta emot ändringar i schemautvecklingen. Du kan ställa in aviseringar för att få information om ändringar.

• Det går inte att ta bort kolumner i mellanlagringsuppgifter. Om du tar bort en kolumn och lägger till den kommer det att resultera i ett tabellfel.

• I mellanlagringsuppgifter går det inte att ta bort en tabell med åtgärden ta bort tabell. Om du tar bort en tabell och sedan lägger till en tabell kommer den gamla tabellen bara att trunkeras, och en ny tabell kommer inte att läggas till.

• Det är inte möjligt att ändra längden på en kolumn för alla mål beroende på stödet i måldatabasen.

• Om ett kolumnnamn ändras kommer explicita transformeringar som definieras med hjälp av den kolumnen inte att påverkas eftersom de baseras på kolumnnamnet.

• Begränsningarna för uppdatering av metadata gäller även för schemautveckling.

När DDL-ändringar registreras gäller följande begränsningar:

• När en snabb sekvens av åtgärder inträffar i källdatabasen (t.ex. DDL>DML>DDL) kan Qlik Talend Data Integration analysera loggen i fel ordning, vilket kan leda till att data saknas eller till ett oförutsägbart beteende. För att minimera risken för att detta ska hända är bästa praxis att vänta på att ändringarna ska tillämpas på målet innan du utför nästa åtgärd.

  Ett exempel vid registrering av ändringar är att om en källtabell byter namn flera gånger i snabb följd (och den andra åtgärden byter tillbaka till det ursprungliga namnet), kan det uppstå ett felmeddelande om att tabellen redan finns i måldatabasen.

• Om du ändrar namnet på en tabell som används i en uppgift och sedan stoppar uppgiften, kommer Qlik Talend Data Integration inte att fånga upp några ändringar som görs i den tabellen när uppgiften återupptas.

• Det går inte att byta namn på en källtabell medan en uppgift stoppas.

• Omallokering av en tabells Primary Key-kolumner stöds inte (och kommer därför inte att skrivas till kontrolltabellen för DDL-historik).
• När en kolumns datatyp ändras och (samma) kolumn sedan byter namn medan aktiviteten stoppas, kommer DDL-ändringen att visas i kontrolltabellen DDL-historik som "Drop Column" och sedan "Add Column" när aktiviteten återupptas. Observera att samma beteende också kan uppstå som ett resultat av förlängd latens.
• CREATE TABLE-åtgärder som utförs på källan medan en uppgift stoppas kommer att tillämpas på målet när uppgiften återupptas, men kommer inte att registreras som en DDL i kontrolltabellen DDL-historik.

• Åtgärder som är förknippade med metadataändringar (t.ex. ALTER TABLE, reorg, återuppbyggnad av ett klustrat index osv.) kan orsaka oförutsägbart beteende om de utförs antingen

  • Under fullständig laddning

    -ELLER-

  • Mellan tidsmarkören för Börja bearbeta ändringar och aktuell tid (dvs. det ögonblick då användaren klickar på OK i dialogrutan Avancerade körningsalternativ ).

    Exempel:

    OM:

    Den angivna tiden för Börja bearbeta ändringar är 10.00.

    OCH:

    En kolumn med namnet Ålder lades till i tabellen Medarbetare kl. 10.10.

    OCH:

    Användaren klickar på OK i dialogrutan Avancerade körningsalternativ kl. 10.15.

    SEDAN:

    Ändringar som inträffade mellan 10.00 och 10.10 kan leda till CDC-fel.

  Anteckning om information

  I något av ovanstående fall måste den eller de berörda tabellerna laddas om för att data ska kunna skickas korrekt flyttad till målet.

• DDL-satsen ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> replikerar inte standardvärdet till målet och den nya/modifierade kolumnen sätts till NULL. Observera att detta kan hända även om den DDL som lade till/ändrade kolumnen kördes tidigare. Om den nya/ändrade kolumnen är nullable, uppdaterar källans slutpunkt alla tabellrader innan DDL:n loggas. Därför fångar Qlik Talend Data Integration upp ändringarna, men uppdaterar inte målet. Eftersom den nya/ändrade kolumnen är inställd på NULL kommer efterföljande uppdateringar att generera ett meddelande om att "noll rader påverkas", om måltabellen inte har något Primary Key/Unique-index.

• Ändringar i precisionskolumnerna TIDSMARKÖR och DATUM kommer inte att registreras.

Hantering av ändringar som inte tillämpas automatiskt

Här beskrivs hur du hanterar ändringar som inte kan tillämpas på målet, det vill säga åtgärden är Ignorera, Avbryt eller Stoppa aktivitet.

Ta bort kolumner

Om du släpper en kolumn som förbrukas av en lagringsdatauppgift med aktiverad historik måste du följa de här stegen för att bevara historiken och undvika eventuella dataförluster.

1. Stoppa dataarbetsuppgiften för mellanlagring.

2. Kör lagringsdatauppgiften för att säkerställa att alla mellanlagringsdata läses.

3. Släpp kolumnen i mellanlagringen.

4. Kör dataarbetsuppgiften för mellanlagring.

5. I lagringen lägger du till kolumnen med ett standarduttryck (null eller standardvärde), eller släpper kolumnen.

Underhåll av mellanlagringsområdet

Automatisk rensning av mellanlagringsområdet stöds inte. Detta kan påverka prestanda.
Vi rekommenderar att du manuellt rensar gamla fullständiga laddningar i mellanlagringsområdet.

• Qlik Cloud (via Amazon S3)

  Om det finns flera mappar med fullständiga laddningsdata kan du ta bort allt utom den senaste mappen. Du kan även ta bort ändringsdatapartitioner som har bearbetats.

• Molndatalager

  Du kan ta bort tabellposter från fullständig laddning och ändring som har bearbetats.

Rekommendationer

• Om en primärnyckel i en källtabell kan uppdateras aktiverar du alternativet DELETE and INSERT when updating a primary key column (DELETE och INSERT vid uppdatering av en primärnyckelkolumn) i Change Processing Tuning.

Begränsningar

• Replikering av varchar-data som är längre än 8000 bytes, eller Nvarchar som är längre än 4000 bytes, stöds inte.

• Ändra nullbarhet stöds inte för kolumner som tas bort, antingen med direktändring eller med hjälp av en transformeringsregel. Men nya kolumner som skapas i uppgiften är som standard nullbara.

Omvandlingar har följande begränsningar:

• Omvandlingar stöds ej för kolumner med språk som skrivs från höger till vänster.

• Det går inte att göra omvandlingar av kolumner som innehåller specialtecken (exempelvis #, \, /, -) i sina namn.

• Enda omvandling som stöds för LOB/CLOB-datatyper är att släppa kolumnen på målet.
• Att använda en omvandling för att döpa om en kolumn och sedan lägga till en kolumn med samma namn stöds inte.