Metoder för uppdatering av mål

Du kan konfigurera vilka metoder som ska användas, antingen under första konfiguration av uppgiften eller senare i datauppgiftens Inställningar. Det går inte att ändra uppdateringsmetod när datauppgiften har förberetts.

De tillgängliga uppdateringsmetoderna bestäms av uppgiftstyp och kopplingsfunktioner. De tillgängliga dataflyttsuppgifterna är mellanlagring, replikering eller mellanlagring av data i en datasjö.

Uppdateringsmetoder vid mellanlagring av data i datapiplineprojekt

• Sammanställning av ändringsdata (CDC) med ändringstabeller

  Datauppgiften startar med en fullständig laddning. Måldata hålls sedan uppdaterade med inkrementell laddning baserat på datumfält. CDC stöds eventuellt inte av alla datakällor.

  Anteckning om informationDELETE-operationer stöds inte. Det innebär att om en rad tas bort i källan kommer den inte att tas bort i mellanlagringsdata. Om borttagningshantering är viktigt använder du Ladda och jämför i stället.

  När du arbetar utan Gateway för dataflytt eller när du använder vanliga anslutningar för SaaS-applikationer, ställer du in intervallet i Schemaläggaren. Mer information finns i Scheduling tasks. När du arbetar med Gateway för dataflytt och när du använder SaaS-program Lite-anslutningar, ställer du in intervallet mellan att läsa ändringar från källan, i Inställningar > Ändra finjustering av behandling.

• Ladda och jämför

  Datauppgiften utför endast fullständiga laddningar från källan. Detta är användbart om din källa inte stöder CDC, till exempel, eller om du vill att DELETE-operationer (som inte stöds av CDC) ska spridas till målet. Omladdning och jämförelse kan användas med alla datakällor som stöds och kan schemaläggas så att de sker regelbundet.

Uppdateringsmetoder vid replikering till databas- eller datalagermål

• Fullständig laddning: Laddar data från de valda källtabellerna till målplattformen och skapar måltabellerna vid behov. Den fullständiga laddningen sker automatiskt när uppgiften startar, men kan också utföras manuellt vid behov. Manuell fullständig laddning krävs t.ex. om du behöver replikera uppdateringar till vyer (som inte fångas upp under CDC) eller om du replikerar från en datakälla som inte stöder CDC.

  Anteckning om informationNär du använder en SaaS-applikationskoppling, kommer det här alternativet alltid att vara aktiverat eftersom en fullständig laddning krävs.

• Tillämpa ändringar: Håller måltabellerna uppdaterade med de ändringar som görs i källtabellerna.

• Lagra ändringar: Lagrar ändringarna i källtabellerna i Change Tables (en per källtabell).

  Mer information finns i Lagringsändringar.

När du arbetar med Gateway för dataflytt, förutom när du använder SaaS-programkällor, registreras ändringar från källan i nära realtid. När du arbetar utan Gateway för dataflytt (t.ex. med en Qlik Talend Cloud Starter-prenumeration eller när du väljer Inga) eller när du använder SaaS-applikationskällor, registreras ändringar enligt schemaläggarens inställningar. Mer information finns i Scheduling tasks.

Uppdateringsmetoder vid replikering till molnlagring (datasjöar)

• Ändringsdatafångst (CDC) med ändringstabeller: Mellanlagringsuppgiften för datasjö börjar med en fullständig laddning (under denna mellanlagras alla valda tabeller till målet). Måldata hålls sedan uppdaterade med hjälp av CDC-teknik (Change Data Capture).

  Anteckning om informationCDC (Change Data Capture) av DDL-operationer stöds inte.

  När du arbetar med Gateway för dataflytt, förutom när du använder en SaaS-applikationskälla, registreras ändringar från källan i nära realtid. När du arbetar utan Gateway för dataflytt eller med SaaS-applikationskällor, registreras ändringar enligt schemaläggarens inställningar. Mer information finns i Scheduling tasks.

• Ladda om: Utför en fullständig laddning av data från de valda källtabellerna till målplattformen och skapar måltabellerna vid behov. Den fullständiga laddningen sker automatiskt när uppgiften startar, men kan också utföras manuellt eller schemalagt om den behöver upprepas periodiskt.

  Anteckning om informationDen här inställningen är inte tillgänglig för en SaaS-applikationskoppling.

Förstå schemalagd sammanställning av ändringsdata (CDC)

När du arbetar utan Gateway för dataflytt eller när du använder SaaS-applikationskopplingar som inte är Lite-kopplingar, registreras ändringar enligt ett schemalagt intervall. Det är viktigt att komma ihåg hur schemaläggning fungerar vilket demonstreras bäst med exempel. I följande exempel har en uppgift schemalagts för körning var 30:e minut från klockan 9:00.

• Uppgiften startar 9:00 med en fullständig laddning.
• Fullständig laddning är klar 9:40 vilket innebär att körningen 9:30 hoppas över.
• Nästa körning startar 10:00 och registrerar alla ändringar fram till 10:00.
• Körningen 10:00 avslutas 10:15.
• Nästa körning startar 10:30 och registrerar alla ändringar som inträffat mellan 10:00 och 10:30.