Bijwerkmethoden doel

U kunt instellen welke bijwerkmethode u wilt gebruiken. Dit doet u tijdens de eerste taakinstelling of later in de instellingen van de gegevenstaak. U kunt de bijwerkmethode niet wijzigen nadat de gegevenstaak is voorbereid.

De beschikbare bijwerkmethoden worden bepaald door het type taak en de mogelijkheden van de connectoren. De beschikbare taaktypen voor gegevensverplaatsing zijn tussenopslag, replicatie of het tijdelijk opslaan van gegevens in een datalake.

Bijwerkmethoden bij het tijdelijk opslaan van gegevens in gegevenspijplijnprojecten

• Wijzigingsgegevens vastleggen (CDC) met behulp van wijzigingstabellen

  De gegevenstaak start met een volledige lading. De doelgegevens worden vervolgens up-to-date gehouden door middel van incrementele ladingen op basis van datumvelden. CDC wordt mogelijk niet ondersteund door alle gegevensbronnen.

  InformatieDELETE-bewerkingen worden niet ondersteund. Dit betekent dat wanneer een rij in de bron wordt verwijderd, deze niet wordt verwijderd in de tijdelijk opgeslagen gegevens. Als verwijderingen belangrijk zijn, moet u Opnieuw laden en vergelijken gebruiken.

  Werkt u zonder Data Movement gateway of wanneer u reguliere connectors van SaaS-applicaties gebruikt, dan stelt u de interval in via de planner. Ga voor meer informatie naar Scheduling tasks. Bij het werken met Data Movement gateway en bij het gebruik van SaaS-applicaties Lite-connectoren, stelt u het interval in tussen het lezen van wijzigingen van de bron, in Instellingen > Verwerking van wijzigingen afstemmen.

• Opnieuw laden en vergelijken

  De gegevenstaak voert alleen volledige ladingen uit vanaf de bron. Dit is handig als uw bron geen CDC ondersteunt bijvoorbeeld of als u wilt dat DELETE-bewerkingen (die niet door CDC worden ondersteund) aan het doel worden doorgegeven. Opnieuw laden en vergelijken kan met elke ondersteunde gegevensbron worden gebruikt en kan periodiek worden ingepland.

Bijwerkmethoden bij het repliceren naar database- of datawarehousedoelen

• Volledige lading: Laadt de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig worden uitgevoerd. Handmatige volledige lading is bijvoorbeeld nodig als u updates naar Weergaven moet repliceren (die niet worden vastgelegd tijdens CDC) of als u repliceert vanaf een gegevensbron die CDC niet ondersteunt.

  InformatieBij gebruik van een SaaS-applicatieconnector, is deze optie altijd ingeschakeld aangezien een volledige lading vereist is.

• Wijzigingen toepassen: Werkt de doeltabellen continu bij met wijzigingen die in de brontabellen zijn aangebracht.

• Wijzigingen opslaan: Slaat de wijzigingen van de brontabellen op in wijzigingstabellen (één per brontabel).

  Ga voor meer informatie naar Wijzigingen opslaan.

Bij het werken met Data Movement gateway, behalve bij het gebruik van SaaS-applicatiebronnen, worden wijzigingen van de bron vrijwel direct vastgelegd. Als u werkt zonder Data Movement gateway (bijvoorbeeld met een Qlik Talend Cloud Starter-abonnement of als u Geen hebt geselecteerd) of bij gebruik van SaaS-applicatiebronnen, worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Scheduling tasks.

Bijwerkmethoden bij het repliceren naar cloudopslag (datalakes)

• Vastleggen van wijzigingsgegevens (CDC) met behulp van wijzigingstabellen: Datalake-tussenopslagtaken starten met een volledige lading (waarbij alle geselecteerde tabellen naar het doel worden geladen). De doelgegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture - vastleggen van wijzigingsgegevens).

  InformatieCDC (vastleggen van wijzigingsgegevens) van DDL-bewerkingen wordt niet ondersteund.

  Bij het werken met Data Movement gateway, behalve bij gebruik van een SaaS-applicatiebron, worden wijzigingen vrijwel direct van de bron vastgelegd. Als u werkt zonder Data Movement gateway of met SaaS-applicatiebronnen, worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Scheduling tasks.

• Herladen: Voert een volledige lading uit van de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig of periodiek worden uitgevoerd.

  InformatieDeze instelling is niet beschikbaar bij het gebruik van een connector van een SaaS-applicatie.

Geplande vastlegging van gegevens (CDC) begrijpen

Als u werkt zonder Data Movement gateway of als u SaaS-toepassingsconnectoren gebruikt die geen Lite-connectoren zijn, worden wijzigingen vastgelegd volgens een geplande interval. Het is belangrijk om te weten hoe de planning werkt, wat het beste kan worden aangetoond aan de hand van een voorbeeld. In het volgende voorbeeld is een taak gepland om elke 30 minuten te worden uitgevoerd, te beginnen om 9.00 uur.

• De taak start om 9.00 uur met een volledige lading.
• De volledige lading eindigt om 9.40 uur, wat betekent dat de run van 9.30 uur wordt overgeslagen.
• De volgende run start om 10.00 uur en legt alle wijzigingen vast die tot 10.00 uur hebben plaatsgevonden.
• De run van 10.00 eindigt om 10.15 uur.
• De volgende run start om 10.30 uur en legt alle wijzigingen vast die tussen 10.00 en 10.30 uur hebben plaatsgevonden.