Metoder för uppdatering av mål
Du kan konfigurera vilka metoder som ska användas, antingen under första konfiguration av uppgiften eller senare i datauppgiftens Inställningar. Det går inte att ändra uppdateringsmetod när datauppgiften har förberetts.
De tillgängliga uppdateringsmetoderna bestäms av uppgiftstyp, kopplingsfunktioner och kopplingsklassificering. De tillgängliga dataflyttsuppgifterna är mellanlagring, replikering eller mellanlagring av data i en datasjö.
Information om kopplingens klassificering och funktioner finns i hjälpen för din koppling. Kopplingsklassificeringen visas med ett märke högst upp på tillhörande hjälpsida. Kopplingar utan märke klassificeras som "Standard".
Se Klassificering av kopplingar för en detaljerad förklaring av klassificeringen av kopplingar.
Uppdatera metoder när du arbetar med kopplingar för förhandsgranskning
Kopplingar för förhandsgranskning stöds endast med replikeringsprojekt. Vid arbete med Preview-kopplingar sprids alla data till målet som ändringar (infogningar/uppdateringar), inklusive den första fullständiga laddningen. Följaktligen är den enda uppdateringsmetod som stöds för Preview-kopplingar följande:
- För "Datareplikerings"-uppgifter: Endast replikeringslägena Tillämpa ändringar och Lagra ändringar. Alla data kommer att spridas till mål-/ändringstabellerna som ändringar (infogningar/uppdateringar), inklusive den första fulla laddningen. Observera att det inte är möjligt att identifiera ändringar för vissa tabelltyper. I sådana fall kommer alla data i tabellen att bearbetas från början.
- För "Mellanlagra data i datasjö"-uppgifter. Endast uppdateringsmetoden Sammanställning av ändringsdata (CDC). Alla data kommer att spridas till målet som ändringar (infogningar/uppdateringar), inklusive den första fulla laddningen. Observera att det inte är möjligt att identifiera ändringar för vissa tabelltyper. I sådana fall kommer alla data i tabellen att bearbetas från början.
När du arbetar med Preview-kopplingar måste du schemalägga hur ofta ändringar ska hämtas från källan. Se följande ämnen för mer information:
- För "Datareplikerings"-uppgifter: Schemaläggning av CDC för replikeringsuppgifter
- För "Mellanlagra data i datasjö"-uppgifter. Schemaläggning av CDC för mellanlagringsuppgift i datasjö
Uppdateringsmetoder vid mellanlagring av data
-
Sammanställning av ändringsdata (CDC) med ändringstabeller
Datauppgiften startar med en fullständig laddning. Måldata hålls sedan uppdaterade med inkrementell laddning baserat på datumfält. CDC kanske inte stöds av alla datakällor.
Anteckning om informationDELETE-operationer stöds inte. Det innebär att om en rad tas bort i källan kommer den inte att tas bort i mellanlagringsdata. Om borttagningshantering är viktigt använder du Ladda och jämför i stället.När du arbetar med Data Movement gateway och mellanlagringsdata från SaaS-program ska du ställa in intervall för att läsa ändringar från källan i Inställningar > Ändra finjustering av behandling. Om du arbetar utan Data Movement gateway ställer du in intervallet i Schemaläggaren. Mer information finns i Schemalägga CDC-uppgifter när du arbetar utan Data Movement gateway.
-
Ladda och jämför
Datauppgiften utför endast fullständiga laddningar från källan. Detta är användbart om din källa inte stöder CDC, till exempel, eller om du vill att DELETE-operationer (som inte stöds av CDC) ska spridas till målet. Omladdning och jämförelse kan användas med alla datakällor som stöds och kan schemaläggas så att de sker regelbundet.
Uppdateringsmetoder vid replikering till databas- eller datalagermål
-
Fullständig laddning Laddar data från de valda källtabellerna till målplattformen och skapar måltabellerna vid behov. Den fullständiga laddningen sker automatiskt när uppgiften startar, men kan också utföras manuellt vid behov. Manuell fullständig laddning krävs t.ex. om du behöver replikera uppdateringar till vyer (som inte fångas upp under CDC) eller om du replikerar från en datakälla som inte stöder CDC.
-
Tillämpa ändringar: Håller måltabellerna uppdaterade med de ändringar som görs i källtabellerna.
-
Lagra ändringar: Lagrar ändringarna i källtabellerna i Change Tables (en per källtabell).
Se Lagra ändringar för mer information.
När du arbetar med Data Movement gateway registreras ändringar från källan i nära realtid. När du arbetar utan Data Movement gateway (t.ex. med en Qlik Talend Cloud Starter-prenumeration eller när du väljer Inga) registreras ändringar enligt schemaläggarens inställningar. Se Inställningar för datareplikeringsuppgifter för mer information.
Uppdateringsmetoder vid replikering till molnlagring (datasjöar)
-
Sammanställning av ändringsdata (CDC) med ändringstabeller: Mellanlagringsuppgiften för datasjö börjar med en fullständig laddning (under denna mellanlagras alla valda tabeller till målet). Måldata hålls sedan uppdaterade med hjälp av CDC-teknik (Change Data Capture).
Anteckning om informationCDC (Change Data Capture) av DDL-operationer stöds inte.När du arbetar med Data Movement gateway registreras ändringar från källan i nära realtid. När du arbetar utan Data Movement gateway registreras ändringar enligt schemaläggarens inställningar. Mer information finns här Inställningar för molnlagringsmål.
-
Ladda: Utför en fullständig laddning av data från de valda källtabellerna till målplattformen och skapar måltabellerna vid behov. Den fullständiga laddningen sker automatiskt när uppgiften startar, men kan också utföras manuellt eller schemalagt om den behöver upprepas periodiskt.
Förfarandena för att konfigurera replikering till molnlagring är oilka beroende på din prenumerationsnivå.
- Om du har en Standard-, Enterprise- eller Premium-prenumeration, se Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration
- Om du har en Starter-prenumeration, se Replikera data med en Qlik Talend Cloud Starter-prenumeration
Förstå schemalagd sammanställning av ändringsdata (CDC)
När du arbetar utan Data Movement gateway, eller använder Preview-kopplingar, registreras ändringar enligt schemalagt intervall. Det är viktigt att komma ihåg hur schemaläggning fungerar vilket demonstreras bäst med exempel. I följande exempel har en uppgift schemalagts för körning var 30:e minut från klockan 9:00.
- Uppgiften startar 9:00 med en fullständig laddning.
- Fullständig laddning är klar 9:40 vilket innebär att körningen 9:30 hoppas över.
- Nästa körning startar 10:00 och registrerar alla ändringar fram till 10:00.
- Körningen 10:00 avslutas 10:15.
- Nästa körning startar 10:30 och registrerar alla ändringar som inträffat mellan 10:00 och 10:30.
Begränsningar
Vissa tabeller som returnerades av SaaS-programmet stöds inte av Change data capture (CDC). I det här fallet kommer du att se ett varningsmeddelande i Valideringsfel. Du kan göra något av följande:
-
Ta bort tabellen från datauppgiften.
-
Ändra uppdateringsmetod för datauppgiften till Ladda och jämför.