Een overzicht van bijwerkmethoden voor het doel

U kunt instellen welke bijwerkmethode u wilt gebruiken. Dit doet u tijdens de eerste taakinstelling of later in de instellingen van de gegevenstaak. U kunt de bijwerkmethode niet wijzigen nadat de gegevenstaak is voorbereid. Welke bijwerkmethoden beschikbaar zijn, is afhankelijk van het taaktype: tussenopslag, replicatie of het tijdelijk opslaan van gegevens in een datalake.

Bijwerkmethoden voor het tijdelijk opslaan van gegevens

• Vastleggen van wijzigingsgegevens (CDC)

  De gegevenstaak start met een volledige lading. De doelgegevens worden vervolgens up-to-date gehouden door middel van incrementele ladingen op basis van datumvelden. CDC wordt mogelijk niet ondersteund door alle gegevensbronnen.

  InformatieDELETE-bewerkingen worden niet ondersteund. Dit betekent dat wanneer een rij in de bron wordt verwijderd, deze niet wordt verwijderd in de tijdelijk opgeslagen gegevens. Als verwijderingen belangrijk zijn, moet u Opnieuw laden en vergelijken gebruiken.

  Bij het werken met Gateway voor gegevensverplaatsing en het tijdelijk opslaan van gegevens van SaaS- applicaties, stelt u de interval tussen het lezen van wijzigingen van de bron in via Instellingen > Runtime. Werkt u zonder Gateway voor gegevensverplaatsing, dan stelt u de interval in via de planner. Ga voor meer informatie naar CDC-taken plannen bij het werken zonder Gateway voor gegevensverplaatsing.

• Opnieuw laden en vergelijken

  De gegevenstaak voert alleen volledige ladingen uit vanaf de bron. Dit is handig als uw bron geen CDC ondersteunt bijvoorbeeld of als u wilt dat DELETE-bewerkingen (die niet door CDC worden ondersteund) aan het doel worden doorgegeven. Opnieuw laden en vergelijken kan met elke ondersteunde gegevensbron worden gebruikt en kan periodiek worden ingepland.

Bijwerkmethoden bij het repliceren naar database- of datawarehousedoelen

• Volledige lading: Laadt de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig worden uitgevoerd.

• Wijzigingen toepassen: Werkt de doeltabellen continu bij met wijzigingen die in de brontabellen zijn aangebracht.

• Wijzigingen opslaan: Slaat de wijzigingen van de brontabellen op in wijzigingstabellen (één per brontabel).

  Ga voor meer informatie naar Wijzigingen opslaan.

Bij het werken met Gateway voor gegevensverplaatsing worden wijzigingen van de bron vrijwel direct vastgelegd. Als u werkt zonder Gateway voor gegevensverplaatsing (bijvoorbeeld met een Qlik Talend Cloud Starter-abonnement of als u Geen hebt geselecteerd), worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Taken plannen bij het werken zonder Gateway voor gegevensverplaatsing.

Bijwerkmethoden bij het repliceren naar cloudopslag (datalakes)

• Vastleggen van wijzigingsgegevens (CDC): De tussenopslagtaak van de datalake start met een volledige lading (waarbij alle geselecteerde tabellen tijdelijk worden opgeslagen). De tijdelijk opgeslagen gegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture).

  InformatieCDC (vastleggen van wijzigingsgegevens) van DDL-bewerkingen wordt niet ondersteund.

  Bij het werken met Gateway voor gegevensverplaatsing worden wijzigingen van de bron vrijwel direct vastgelegd. Als u werkt zonder Gateway voor gegevensverplaatsing, worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Taken plannen bij het werken zonder Gateway voor gegevensverplaatsing.

• Opnieuw laden: Voert een volledige lading uit van de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig of periodiek worden uitgevoerd.

Geplande vastlegging van gegevens (CDC) begrijpen

Als u werkt zonder Gateway voor gegevensverplaatsing, worden wijzigingen vastgelegd volgens de geplande interval. Het is belangrijk om te weten hoe de planning werkt, wat het beste kan worden aangetoond aan de hand van een voorbeeld. In het volgende voorbeeld is een taak gepland om elke 30 minuten te worden uitgevoerd, te beginnen om 9.00 uur.

• De taak start om 9.00 uur met een volledige lading.
• De volledige lading eindigt om 9.40 uur, wat betekent dat de run van 9.30 uur wordt overgeslagen.
• De volgende run start om 10.00 uur en legt alle wijzigingen vast die tot 10.00 uur hebben plaatsgevonden.
• De run van 10.00 eindigt om 10.15 uur.
• De volgende run start om 10.30 uur en legt alle wijzigingen vast die tussen 10.00 en 10.30 uur hebben plaatsgevonden.

Beperkingen

Sommige tabellen die worden geretourneerd door SaaS-applicaties worden niet ondersteund door Vastleggen van wijzigingsgegevens (CDC). In dit geval ziet u een waarschuwingsbericht in Validatiefouten. U kunt een van de volgende bewerkingen uitvoeren:

• Verwijder de tabel van de gegevenstaak.

• Wijzig de bijwerkmethode van de gegevenstaak in Opnieuw laden en vergelijken.