Mellanlagring av data från datakällor
Det första steget i att överföra data vid onboarding är att mellanlagra data. Detta innebär att data överförs från datakällan till ett mellanlagringsområde.
Du kan mellanlagra data från ett antal datakällor via källkopplingar.
Mellanlagringsområdet definieras när du skapar projektet.
-
Qlik Cloud (via Amazon S3)
När du mellanlagrar data till Qlik Cloud (via Amazon S3) kan du använda det för att generera QVD-tabeller som är redo för analys i Qlik Cloud.
-
Molndatalager
När du mellanlagrar data till ett molndatalager, till exempel Snowflake eller Azure Synapse Analytics, kan du lagra tabeller i samma molndatalager.
-
Qlik Open Lakehouse
När du mellanlagrar data till ett Qlik Open Lakehouse lagras dina data i Iceberg open table-format och kan speglas till ditt molndatalager.
Du kan även mellanlagra data till ett lakehouse, där data mellanlagras i en molnfilslagring som hanteras av Snowflake. Mer information finns i Mellanlagring av data till ett datasjöhus.
Skapa och konfigurera en mellanlagringsdataaktivitet
Det här beskriver hur du skapar en mellanlagringsdataaktivitet. Det snabbaste sättet att skapa en datapipeline är att onboarda data, vilket skapar en mellanlagringsdataaktivitet och en lagringsdataaktivitet som är redo att förberedas och köras. Mer information finns i Introduktion av data till ett datalager.
-
Klicka på Skapa i ditt projekt och välj Mellanlagra data.
-
I dialogrutan Mellanlagra data anger du ett namn och en beskrivning för dataaktiviteten.
Välj Öppna för att öppna mellanlagringsdataaktiviteten när den har skapats.
Klicka på Skapa.
-
Klicka på Välj källdata.
-
Välj en koppling till källdata och klicka på Nästa.
Du kan använda filtren i den vänstra panelen för att filtrera listan över kopplingar efter källtyp, utrymme och ägare.
Om du inte har någon koppling till källdata ännu måste du först skapa en genom att klicka på Lägg till koppling.
Mer information om hur du konfigurerar en koppling till de källor som stöds finns i Konfigurera kopplingar till datakällor.
Anteckning om informationNär du har valt tabeller i nästa steg är det inte möjligt att ändra källkopplingen från en lokal datakälla till en molndatakälla, eller vice versa. Du kan endast ändra kopplingen till en annan datakälla av samma typ. -
Välj datamängder som ska ingå i dataaktiviteten. Dialogrutan för val ser annorlunda ut beroende på vilken typ av källa du har anslutit till.
När du är klar med att välja tabeller klickar du på Spara.
Datamängder visas.
-
Du kan ändra inställningar för mellanlagringen. Detta krävs inte.
-
Klicka på Inställningar.
Mer information om inställningar finns i Inställningar för mellanlagring.
-
-
Du kan nu förhandsgranska strukturen och metadata för de valda datatillgångstabellerna. Detta inkluderar alla explicit listade tabeller samt tabeller som matchar urvalsreglerna.
Om du vill lägga till fler tabeller från datakällan klickar du på Välj källdata.
-
Du kan utföra grundläggande transformeringar på datamängderna, till exempel filtrera data eller lägga till kolumner. Detta krävs inte.
Mer information finns i Hantera datauppsättningar.
-
När du har lagt till de transformeringar du vill ha kan du validera datamängderna genom att klicka på Validera datamängder. Om valideringen hittar fel åtgärdar du felen innan du fortsätter.
Mer information finns i Validera och justera datauppsättningarna.
-
När du är klar klickar du på Förbered för att katalogisera dataaktiviteten och förbereda den för körning.
Du kan följa förloppet under Förberedelseförlopp i den nedre delen av skärmen.
-
När dataaktiviteten är förberedd och du är redo att börja replikera data klickar du på Kör.
Replikeringen bör nu starta och du kan se förloppet i Övervaka. Mer information finns i Övervaka en enskild datauppgift.
Välja data från en databas
Du kan välja specifika tabeller eller vyer eller använda urvalsregler för att inkludera eller utesluta grupper med tabeller.
Använd % som jokertecken för att definiera urvalskriterier för scheman och tabeller.
-
%.% definierar alla tabeller i alla scheman.
-
Public.% definierar alla tabeller i schemat Public.
I Urvalskriterier får du en förhandsgranskning baserat på ditt urval.
Nu kan du göra något av följande:
-
Skapa en regel för att inkludera eller utesluta en grupp med tabeller baserat på urvalskriterierna.
Klicka på Lägg till regel från urvalskriterier för att skapa en regel och välj antingen Inkludera eller Uteslut.
Du kan se regeln under Urvalsregler.
-
Välj en eller flera datauppsättningar och klicka på Lägg till valda datauppsättningar.
Du kan se de tillagda datauppsättningarna under Uttryckligen valda datauppsättningar.
Urvalsreglerna gäller bara för den aktuella uppsättningen med tabeller och vyer, inte för tabeller och vyer som läggs till i framtiden.
Köra en mellanlagringsaktivitet med Change data capture (CDC)
Du kan köra mellanlagringsaktiviteten när den är förberedd. Detta startar replikeringen som överför data från den lokala datakällan till mellanlagringsområdet.
-
Klicka på Kör för att börja mellanlagra data.
Replikeringen bör nu starta och dataaktiviteten får statusen Körs. Först kopieras hela datakällan, sedan spåras ändringar. Detta innebär att ändringar kontinuerligt spåras och överförs när de upptäcks. Detta håller de mellanlagrade data i mellanlagringsområdet uppdaterade.
På startsidan för Qlik Talend Data Integration kan du visa status, datum och tid för när de mellanlagrade data uppdaterades samt antalet tabeller med fel. Du kan även öppna dataaktiviteten och välja fliken Tabeller för att visa grundläggande metadatainformation för tabellerna.
Du kan övervaka förloppet i detalj genom att öppna fliken Övervaka. Mer information finns i Övervaka en enskild datauppgift.
När alla tabeller har lästs in och den första uppsättningen ändringar har bearbetats anger Data har uppdaterats till på dataaktivitetskortet att källändringar fram till den tidpunkten är tillgängliga i dataaktiviteten.
Ladda om tabeller
Du kan ladda om data från källan.
Ladda om enskilda tabeller
Du kan ladda om specifika tabeller manuellt utan att störa change data capture. Detta är användbart när det finns CDC-problem med en eller flera tabeller.
-
Öppna mellanlagringsdataaktiviteten och välj fliken Övervaka.
-
Välj de tabeller som du vill ladda om.
-
Klicka på Ladda om tabeller.
Om du inte kan lösa problemen genom att ladda om tabeller, eller om de påverkar hela aktiviteten, kan du ladda om alla tabeller till målet istället. Detta startar om change data capture.
Ladda om alla tabeller till målet
Du kan ladda om alla tabeller till målet om du upplever CDC-problem som inte kan lösas genom att ladda om specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel vid läsning av källdatabashändelser.
- Stoppa datauppgiften och alla uppgifter som använder den.
-
Öppna datauppgiften och välj fliken Övervaka.
-
Klicka på ... och sedan på Ladda mål.
Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.
-
Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.
Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.
-
Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:
-
Alla tabeller laddas om med jämför och tillämpa,
-
En ändringscykel utförs för varje tabell.
-
Köra en mellanlagringsdataaktivitet med Ladda om och jämför
Du kan kopiera data med hjälp av mellanlagringsdataaktiviteten när den är förberedd.
-
Klicka på Kör för att startat den fullständiga laddningen.
Data kommer nu att börja kopieras och dataaktiviteten får statusen Körs. När hela datakällan har kopierats är statusen Slutförd.
På startsidan för Qlik Talend Data Integration kan du visa status, datum och tid för när de mellanlagrade data uppdaterades samt antalet tabeller med fel. Du kan även öppna dataaktiviteten och välja fliken Tabeller för att visa grundläggande metadatainformation för tabellerna.
Du kan övervaka förloppet i detalj genom att öppna fliken Övervaka. Mer information finns i Övervaka en enskild datauppgift.
När alla tabeller har lästs in anger Data har uppdaterats till på dataaktivitetskortet att källändringar fram till den tidpunkten är tillgängliga i datatillgången. Vissa tabeller i dataaktiviteten kan dock uppdateras till en senare tidpunkt, beroende på när inläsningen av dem startade. Detta innebär att datakonsekvens inte kan garanteras. Om inläsningen till exempel startade kl. 08:00 och tog 4 timmar, kommer Data har uppdaterats till att visa 08:00 när inläsningen är klar. En tabell som började laddas om kl. 11:30 kommer dock att innehålla källändringar som inträffade mellan 08:00 och 11:30.
Data har uppdaterats till återspeglar endast tabeller som har lästs in framgångsrikt. Det indikerar ingenting om tabeller vars omladdningar har misslyckats. I molnmål kommer fältet att vara tomt om en omladdning slutfördes med fel i alla tabeller.
Ladda om data vid användning av Ladda om och jämför
När du använder Ladda om och jämför som uppdateringsmetod måste du ladda om data för att hålla dem uppdaterade med datakällan.
-
Klicka på Ladda om för att utföra en manuell omladdning av alla tabeller.
-
Konfigurera en schemalagd omladdning.
Ladda om enskilda tabeller
Du kan ladda om specifika tabeller manuellt. Detta är användbart när det finns problem med en eller flera tabeller.
-
Öppna mellanlagringsdataaktiviteten och välj fliken Övervaka.
-
Välj de tabeller som du vill ladda om.
-
Klicka på Ladda om tabeller.
- Det här alternativet blir tillgängligt efter att mellanlagringsaktiviteten har körts minst en gång, och endast när aktiviteten inte körs.
- Metadatainformation stöds inte. Om det finns metadataändringar i källan sprids de till mellanlagringen när data laddas om, men de kommer inte att hanteras korrekt. Detta kan leda till att den konsumerande lagringen misslyckas.
Schemalägga en mellanlagringsdataaktivitet med Ladda om och jämför
Du kan schemalägga periodiska omladdningar för mellanlagringsdataaktiviteten om du har rollen Kan hantera eller Kan redigera i dataaktivitetens utrymme. Dataaktivitetens status måste vara minst Förberedd för att schemat ska vara aktivt.
-
Klicka på ... på en dataaktivitet och välj Schemaläggning.
Du kan ställa in ett tidsbaserat schema.
Information om minsta schemaläggningsintervall beroende på typ av datakälla och prenumerationsnivå finns i Minsta tillåtna schemaläggningsintervall.
Ställa in laddningsordning för datauppsättningar
Du kan kontrollera laddningsordningen för datauppsättningar i din datauppgift genom att tilldela en laddningsordning till varje datauppsättning. Detta kan vara användbart om du till exempel vill ladda små datauppsättningar före stora datauppsättningar.
-
Klicka Laddningsordning.
-
Välj en laddningsordning för varje datauppsättning.
Den förvalda laddningsordningen är Normal. Datauppsättningar laddas i följande ordningsföljd:
-
Högst
-
Högre
-
Högt
-
Normalt
-
Lågt
-
Lägre
-
Lägst
Datauppsättningar med samma prioritet laddas inte i någon särskild ordningsföljd.
-
-
Klicka på OK.
Åtgärder på mellanlagringsdataaktiviteten
Du kan utföra följande åtgärder på en mellanlagringsdataaktivitet från aktivitetsmenyn.
-
Öppna
Detta öppnar mellanlagringsdataaktiviteten. Du kan visa tabellstrukturen och information om dataaktiviteten.
-
Redigera
Du kan redigera aktivitetens namn och beskrivning.
-
Ta bort
Du kan ta bort dataaktiviteten.
Följande objekt tas inte bort:
-
Data i mellanlagringsområdet
-
Scheman på målplattformen
-
-
Kör
Du kan köra dataaktiviteten för att börja kopiera data.
Köra en mellanlagringsaktivitet med Change data capture (CDC)
-
Stoppa
Du kan stoppa körningen av en dataaktivitet som körs. Mellanlagringsområdet uppdateras inte med ändrade data.
När du stoppar en dataaktivitet för fullständig laddning med ett omladdningsschema stoppas endast den aktuella omladdningen. Om dataaktivitetens status är Stoppad och det finns ett aktivt omladdningsschema kommer den att laddas om igen vid nästa schemalagda tidpunkt. Du måste stänga av omladdningsschemat i Schemalägg omladdning.
-
Ladda om
Du kan utföra en manuell omladdning av en dataaktivitet i uppdateringsläget Ladda om och jämför.
- Förbered
Detta förbereder en aktivitet för körning. Detta inkluderar:
-
Validera att designen är givande.
-
Skapa eller ändra de fysiska tabellerna och vyerna så att de matchar designen.
-
Generera SQL-koden för dataaktiviteten.
-
Skapa eller ändra katalogposterna för aktivitetens utdatadatamängder.
Du kan följa förloppet under Förberedelseförlopp i den nedre delen av skärmen.
Anteckning om informationInnan du förbereder en uppgift ska du stoppa alla uppgifter som ligger direkt nedströms. -
-
Återskapa tabeller
Detta återskapar datamängderna från källan.
Anteckning om informationOm det uppstår problem med enskilda tabeller rekommenderas du att först försöka läsa in tabellerna igen istället för att återskapa dem. Om du återskapar tabeller kan detta leda till att historiska data förloras. Om det sker stora förändringar måste du också förbereda datauppgifter nedströms som använder de återskapade datauppgifterna för att ladda data på nytt. -
Schemaläggning
Du kan konfigurera en schemalagd omladdning för mellanlagringsdataaktiviteter i läget Fullständig laddning. Du kan ställa in ett tidsbaserat schema som kan anpassas.
Du kan också aktivera eller inaktivera schemalagda omladdningar.
Du måste ha rollen Kan hantera i dataaktivitetens utrymme för att schemalägga omladdningar.
-
Lagra data
Du kan skapa en lagringsdataaktivitet som använder data från denna mellanlagringsdataaktivitet.
Uppdaterar metadata
Du kan uppdatera metadata i uppgiften så att den stämmer med ändringar i metadata i källan i Designvyn för en uppgift. För SaaS-program som använder Metadata manager måste Metadata manager uppdateras innan du kan uppdatera metadata i datauppgiften.
-knapp, både i dialogrutan Skapa koppling och i onlinehjälpen.-
Du kan göra något av följande:
-
Klicka på ... och sedan på Uppdatera metadata för att uppdatera metadata för alla datauppsättningar i uppgiften.
-
Klicka på ... på en datauppsättning i Datauppsättningar och sedan på Uppdatera metadata för att uppdatera metadata för en enstaka datauppsättning.
Du kan visa status för uppdateringen av metadata under Uppdatera metadata i den nedre delen av skärmen. Du kan se när metadata senast uppdaterades genom att hovra över
.
-
-
Förbered datauppgiften för att tillämpa ändringarna.
När du har förberett datauppgiften och ändringarna har tillämpats tas ändringarna bort från Uppdatera metadata.
Du måste förbereda lagringsåtgärder som använder den här åtgärden för att sprida ändringarna.
Om en kolumn tas bort läggs en transformation med Null-värden till för att säkerställa att lagringen inte förlorar historiska data.
Begränsningar för uppdatering av metadata
-
Ett namnbyte med en borttagen kolumn före det, i samma tidsfönster, kommer att översättas till namnbytet med den borttagna kolumnen om de är av samma datatyp och har samma datalängd.
Exempel:
Före: a b c d
Efter: a c1 d
I det här exemplet togs b bort och c bytte namn till c1 och b och c är av samma datatyp och har samma datalängd.
Detta kommer att identifieras som ett namnbyte för b till c1 och en borttagning av c.
-
Namnbytet för den sista kolumnen identifieras inte, även om den sista kolumnen togs bort, och den omedelbart före bytte namn.
Exempel:
Före: a b c d
Efter: a b c1
I det här exemplet togs d bort och c bytte namn till c1.
Detta kommer att identifieras som att c och d har tagits bort och att c1 har lagts till.
-
Nya kolumner förutsätts läggas till på slutet. Om kolumner läggs till i mitten med samma datatyp som nästa kolumn kan de tolkas som att de har tagits bort och bytt namn.
Schemaevolution
Med Schemautveckling kan du enkelt kan upptäcka strukturella förändringar i flera datakällor och sedan styra hur dessa förändringar kommer att tillämpas på din uppgift. Schemautveckling kan användas för att upptäcka alla DDL-ändringar som gjorts i källdataschemat. Du kan också tillämpa vissa ändringar automatiskt.
För varje ändringstyp kan du välja hur du vill hantera ändringarna i avsnittet Schemautveckling i uppgiftsinställningarna. Du kan antingen tillämpa ändringen, ignorera ändringen, avbryta tabellen eller stoppa behandlingen av uppgiften.
Du kan ange vilken åtgärd som ska användas för att hantera DDL-ändringen för varje ändringstyp. Vissa åtgärder är inte tillgängliga för alla ändringstyper.
-
Tillämpa på mål
Tillämpa ändringar automatiskt.
-
Ignorera
Ignorera ändringar.
-
Inaktivera tabell
Inaktivera tabellen. Tabellen kommer att visas som fel i Övervakaren.
-
Stoppa uppgift
Stoppa bearbetningen av uppgiften. Detta är användbart om du vill hantera alla schemaförändringar manuellt. Detta stoppar också schemaläggningen, det vill säga att schemalagda körningar inte kommer att utföras.
Följande ändringar stöds:
-
Lägg till kolumn
-
Byt namn på kolumn
-
Ändra kolumnens datatyp
-
Skapa tabell som matchar urvalsmönstret
Om du använde en Urvalsregel för att lägga till datamängder som matchar ett mönster, kommer nya tabeller som uppfyller mönstret att upptäckas och läggas till.
Mer information om aktivitetsinställningar finns i Schemautveckling
Du kan också få aviseringar om ändringar som hanteras med schemaevolution. Mer information finns i Konfigurera aviseringar vid ändringar under drift.
Begränsningar för schemautveckling
Följande begränsningar gäller för schemautveckling:
-
Schemautveckling stöds endast när CDC används som uppdateringsmetod.
-
När du har ändrat inställningarna för schemautveckling måste du förbereda uppgiften på nytt.
-
Om du byter namn på tabeller stöds inte schemautveckling. I så fall måste du uppdatera metadata innan du förbereder uppgiften.
-
Om du håller på att utforma en uppgift måste du uppdatera webbläsaren för att ta emot ändringar i schemautvecklingen. Du kan ställa in aviseringar för att få information om ändringar.
-
Det går inte att ta bort kolumner i mellanlagringsuppgifter. Om du tar bort en kolumn och lägger till den kommer det att resultera i ett tabellfel.
-
I mellanlagringsuppgifter går det inte att ta bort en tabell med åtgärden ta bort tabell. Om du tar bort en tabell och sedan lägger till en tabell kommer den gamla tabellen bara att trunkeras, och en ny tabell kommer inte att läggas till.
-
Det är inte möjligt att ändra längden på en kolumn för alla mål beroende på stödet i måldatabasen.
-
Om ett kolumnnamn ändras kommer explicita transformeringar som definieras med hjälp av den kolumnen inte att påverkas eftersom de baseras på kolumnnamnet.
-
Begränsningarna för uppdatering av metadata gäller även för schemautveckling.
-
Om en uppgift innehåller designändringar som ännu inte har förberetts och källschemats evolutionsändringar upptäcks när uppgiften körs, kommer uppgiften att stoppas för att undvika konflikter. Förbered de väntande designändringarna och kör uppgiften igen.
När DDL-ändringar registreras gäller följande begränsningar:
-
När en snabb sekvens av åtgärder inträffar i källdatabasen (t.ex. DDL>DML>DDL) kan Qlik Talend Data Integration analysera loggen i fel ordning, vilket kan leda till att data saknas eller till ett oförutsägbart beteende. För att minimera risken för att detta ska hända är bästa praxis att vänta på att ändringarna ska tillämpas på målet innan du utför nästa åtgärd.
Ett exempel vid registrering av ändringar är att om en källtabell byter namn flera gånger i snabb följd (och den andra åtgärden byter tillbaka till det ursprungliga namnet), kan det uppstå ett felmeddelande om att tabellen redan finns i måldatabasen.
- Om du ändrar namnet på en tabell som används i en uppgift och sedan stoppar uppgiften, kommer Qlik Talend Data Integration inte att fånga upp några ändringar som görs i den tabellen när uppgiften återupptas.
-
Det går inte att byta namn på en källtabell medan en uppgift stoppas.
- Omallokering av en tabells Primary Key-kolumner stöds inte (och kommer därför inte att skrivas till kontrolltabellen för DDL-historik).
- När en kolumns datatyp ändras och (samma) kolumn sedan byter namn medan aktiviteten stoppas, kommer DDL-ändringen att visas i kontrolltabellen DDL-historik som "Drop Column" och sedan "Add Column" när aktiviteten återupptas. Observera att samma beteende också kan uppstå som ett resultat av förlängd latens.
- CREATE TABLE-åtgärder som utförs på källan medan en uppgift stoppas kommer att tillämpas på målet när uppgiften återupptas, men kommer inte att registreras som en DDL i kontrolltabellen DDL-historik.
-
Åtgärder som är förknippade med metadataändringar (t.ex. ALTER TABLE, reorg, återuppbyggnad av ett klustrat index osv.) kan orsaka oförutsägbart beteende om de utförs antingen
-
Under fullständig laddning
-ELLER-
-
Mellan tidsmarkören för Börja bearbeta ändringar och aktuell tid (dvs. det ögonblick då användaren klickar på OK i dialogrutan Avancerade körningsalternativ ).
Exempel:
OM:
Den angivna tiden för Börja bearbeta ändringar är 10.00.
OCH:
En kolumn med namnet Ålder lades till i tabellen Medarbetare kl. 10.10.
OCH:
Användaren klickar på OK i dialogrutan Avancerade körningsalternativ kl. 10.15.
SEDAN:
Ändringar som inträffade mellan 10.00 och 10.10 kan leda till CDC-fel.
Anteckning om informationI något av ovanstående fall måste den eller de berörda tabellerna laddas om för att data ska kunna skickas korrekt flyttad till målet.
-
- DDL-satsen
ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <>replikerar inte standardvärdet till målet och den nya/modifierade kolumnen sätts till NULL. Observera att detta kan hända även om den DDL som lade till/ändrade kolumnen kördes tidigare. Om den nya/ändrade kolumnen är nullable, uppdaterar källans slutpunkt alla tabellrader innan DDL:n loggas. Därför fångar Qlik Talend Data Integration upp ändringarna, men uppdaterar inte målet. Eftersom den nya/ändrade kolumnen är inställd på NULL kommer efterföljande uppdateringar att generera ett meddelande om att "noll rader påverkas", om måltabellen inte har något Primary Key/Unique-index. -
Ändringar i precisionskolumnerna TIDSMARKÖR och DATUM kommer inte att registreras.
Hantera ändringar som inte tillämpas automatiskt
Det här beskriver hur du hanterar ändringar som inte kan tillämpas på målet, det vill säga när åtgärden är Ignorera, Pausa eller Stoppa aktivitet.
| DDL-ändring | För att implementera ändringen | För att bevara det aktuella tillståndet |
|---|---|---|
| Lägg till kolumn | Uppdatera metadata, förbered aktiviteten och kör sedan aktiviteten. | Ingen åtgärd krävs |
| Skapa tabell | Uppdatera metadata, förbered aktiviteten och kör sedan aktiviteten. | Ingen åtgärd krävs |
| Ändra kolumnens datatyp |
Kontrollera begränsningar. Om ingen begränsning gäller: Uppdatera metadata, förbered aktiviteten och kör sedan aktiviteten. |
Att bevara det aktuella tillståndet stöds inte alltid. Möjliga lösningar:
|
| Byt namn på tabell |
Kontrollera begränsningar. Om ingen begränsning gäller: Förbered aktiviteten och kör sedan aktiviteten. |
Definiera en explicit regel för namnbyte till det gamla namnet. |
| Byt namn på kolumn |
Kontrollera begränsningar. Om ingen begränsning gäller: Uppdatera metadata, förbered aktiviteten och kör sedan aktiviteten. |
Uppdatera metadata och definiera sedan en explicit regel för namnbyte till det gamla namnet. |
Ta bort kolumner
Om du tar bort en kolumn som konsumeras av en lagringsdataaktivitet med historik aktiverad måste du följa dessa steg för att bevara historiken och undvika eventuell dataförlust.
-
Stoppa mellanlagringsdataaktiviteten.
-
Kör lagringsdataaktiviteten för att säkerställa att alla mellanlagrade data läses.
-
Ta bort kolumnen i mellanlagringen.
-
Kör mellanlagringsdataaktiviteten.
-
I lagringen lägger du till kolumnen med ett standarduttryck (Null eller standardvärde), eller tar bort kolumnen.
Visa uppgiftsinformation
Klicka på i menyraden för att visa uppgiftsinformation, till exempel:
-
Ägare
-
Utrymme
-
Dataplattform
-
Projekt-id
-
Körnings-ID för datauppgift
Ändra källkopplingar eller datagateway
Om du ändrar källkopplingen eller källans datagateway måste du återskapa alla tabeller.
Underhåll av mellanlagringsområdet
Automatisk rensning av mellanlagringsområdet stöds inte. Detta kan påverka prestandan.
We recommend that you perform manual cleanups of old full load data in the landing area.
-
Qlik Cloud (via Amazon S3)
Om det finns flera mappar med data från fullständiga laddningar kan du ta bort alla utom den senaste mappen. Du kan även ta bort ändringsdatapartitioner som har bearbetats.
-
Molndatalager
Du kan ta bort poster för fullständiga laddningar och ändringstabeller som har bearbetats.
Rekommendationer
-
Om en primärnyckel i en källtabell kan uppdateras aktiverar du alternativet DELETE och INSERT vid uppdatering av en primärnyckelkolumn i Finjustering av ändringsbearbetning.
Begränsningar
-
Replikering av varchar-data som är längre än 8 000 byte, eller Nvarchar som är längre än 4 000 byte, stöds inte.
-
Att ändra nullbarhet stöds inte för kolumner som flyttas, varken genom att ändra det direkt eller genom att använda en transformeringsregel. Nya kolumner som skapas i aktiviteten är dock nullbara som standard.
-
Källkolumner av typen CLOB och BLOB kommer att ställas in som nullbara som standard, även om de är markerade som icke-nullbara i källan. Du kan ändra dem till att vara icke-nullbara, men då måste du lägga till ett uttryck för att lägga till ett icke-null-värde om det skulle anlända som null från källan. Detta kan inträffa för borttagna poster.
Omvandlingar har följande begränsningar:
- Omvandlingar stöds ej för kolumner med språk som skrivs från höger till vänster.
-
Det går inte att göra omvandlingar av kolumner som innehåller specialtecken (exempelvis #, \, /, -) i sina namn.
- Enda omvandling som stöds för LOB/CLOB-datatyper är att släppa kolumnen på målet.
- Att använda en omvandling för att döpa om en kolumn och sedan lägga till en kolumn med samma namn stöds inte.