Gegevens tussenoplaan uit gegevensbronnen

De eerste stap bij het overdragen van gegevens tijdens de onboarding is de tussenopslag van de gegevens. Dit houdt in dat de gegevens van de gegevensbron naar een tussenopslaggebied worden overgedragen.

U kunt gegevens tussenoplaan uit een aantal gegevensbronnen via bronverbindingen.

Het tussenopslaggebied wordt gedefinieerd wanneer u het project maakt.

• Qlik Cloud (via Amazon S3)

  Wanneer u gegevens tussenopslaat naar Qlik Cloud (via Amazon S3), kunt u dit gebruiken om QVD-tabellen te genereren die gereed zijn voor analyses in Qlik Cloud.

• Clouddatawarehouse

  Wanneer u gegevens tussenopslaat naar een clouddatawarehouse, zoals Snowflake of Azure Synapse Analytics, kunt u tabellen opslaan in hetzelfde clouddatawarehouse.

• Qlik Open Lakehouse

  Wanneer u gegevens tussenopslaat naar een Qlik Open Lakehouse, worden uw gegevens opgeslagen in de open tabelindeling Iceberg en kunnen ze worden gespiegeld naar uw clouddatawarehouse.

U kunt ook gegevens tussenoplaan naar een lakehouse, waarbij de gegevens worden tussenopgeslagen naar cloudbestandsopslag die wordt beheerd door Snowflake. Voor meer informatie, zie Tussenopslag in een lakehouse.

Een gegevens-tussenopslagtaak maken en configureren

Dit beschrijft hoe u een gegevens-tussenopslagtaak maakt. De snelste manier om een gegevenspijplijn te maken is door gegevens te onboarden, wat een gegevens-tussenopslagtaak en een opslagtaak voor gegevens maakt, gereed om voor te bereiden en uit te voeren. Voor meer informatie, zie Onboarding van gegevens naar een datawarehouse.

1. Klik in uw project op Maken en selecteer Gegevens tussenoplaan.

2. Voer in het dialoogvenster Gegevens tussenoplaan een naam en een beschrijving van de gegevenstaak in.

   Selecteer Openen om de gegevens-tussenopslagtaak te openen wanneer deze is gemaakt.

   Klik op Maken.

3. Klik op Brongegevens selecteren.

4. Selecteer een verbinding met de brongegevens en klik op Volgende.

   U kunt de filters in het linkerdeelvenster gebruiken om de lijst met verbindingen te filteren op brontype, ruimte en eigenaar.

   Als u nog geen verbinding met de brongegevens hebt, moet u er eerst een maken door op Verbinding toevoegen te klikken.

   Voor meer informatie over het instellen van een verbinding met de ondersteunde bronnen, zie Verbindingen instellen naar gegevensbronnen.

   InformatieWanneer u in de volgende stap tabellen hebt geselecteerd, is het niet mogelijk om de bronverbinding te wijzigen van een on-premises gegevensbron naar een cloudgegevensbron, of omgekeerd. U kunt de verbinding alleen wijzigen naar een andere gegevensbron van hetzelfde type.

5. Selecteer datasets die u in de gegevenstaak wilt opnemen. Het selectiedialoogvenster verschilt afhankelijk van het type bron waarmee u verbinding hebt gemaakt.

   Wanneer u klaar bent met het selecteren van tabellen, klikt u op Opslaan.

   Datasets wordt weergegeven.

6. U kunt de instellingen voor de tussenopslag wijzigen. Dit is niet verplicht.

   • Klik op Instellingen.

   For more information about settings, see Instellingen voor tussenopslag.

7. U kunt nu een voorbeeld bekijken van de structuur en metagegevens van de geselecteerde gegevensassettabellen. Dit omvat alle expliciet vermelde tabellen en tabellen die overeenkomen met de selectieregels.

   Als u meer tabellen uit de gegevensbron wilt toevoegen, klikt u op Brongegevens selecteren.

8. U kunt basistransformaties uitvoeren op de datasets, zoals het filteren van gegevens of het toevoegen van kolommen. Dit is niet verplicht.

   For more information, see Gegevensverzamelingen beheren.

9. Wanneer u de gewenste transformaties hebt toegevoegd, kunt u de datasets valideren door op Datasets valideren te klikken. Als de validatie fouten vindt, herstelt u de fouten voordat u doorgaat.

   For more information, see De gegevensverzamelingen valideren en aanpassen.

10. Wanneer u gereed bent, klikt u op Voorbereiden om de gegevenstaak te catalogiseren en voor te bereiden voor uitvoering.

    U kunt de voortgang volgen onder Voortgang van voorbereiding in het onderste deel van het scherm.

11. Wanneer de gegevenstaak is voorbereid en u gereed bent om te beginnen met het repliceren van gegevens, klikt u op Uitvoeren.

De replicatie moet nu starten en u kunt de voortgang bekijken in Monitor. Voor meer informatie, zie Een afzonderlijke datataak monitoren.

Gegevens selecteren uit een database

U kunt specifieke tabellen of weergaven selecteren, of selectieregels gebruiken om groepen tabellen op te nemen of uit te sluiten.

Gebruik % als jokerteken om selectiecriteria te definiëren voor schema's en tabellen.

• %.% definieert alle tabellen in alle schema's.

• Public.% definieert alle tabellen in het schema Openbaar.

Selectiecriteria geeft een voorbeeld op basis van uw selecties.

U kunt nu kiezen tussen:

• Een regel maken om een groep tabellen op te nemen of uit te sluiten op basis van de selectiecriteria.

  Klik op Regel van selectiecriteria toevoegen om een regel te maken en selecteer Opnemen of Uitsluiten.

  U kunt de regel bekijken onder Selectieregels.

• Selecteer een of meer gegevensverzamelingen en klik op Geselecteerde gegevensverzamelingen toevoegen.

  U kunt de toegevoegde gegevensverzamelingen bekijken onder Expliciet geselecteerde gegevensverzamelingen.

Selectieregels gelden alleen voor de huidige set tabellen en weergaven, niet voor tabellen en weergaven die in de toekomst worden toegevoegd.

Een tussenopslagtaak uitvoeren met Change data capture (CDC)

U kunt de tussenopslagtaak uitvoeren wanneer deze is voorbereid. Dit start de replicatie die gegevens overdraagt van de on-premises gegevensbron naar het tussenopslaggebied.

• Klik op Uitvoeren om te beginnen met de tussenopslag van gegevens.

De replicatie moet nu starten en de gegevenstaak krijgt de status In uitvoering. Eerst wordt de volledige gegevensbron gekopieerd, daarna worden wijzigingen bijgehouden. Dit betekent dat wijzigingen continu worden bijgehouden en overgedragen wanneer ze worden ontdekt. Hierdoor blijven de tussenopslaggegevens in het tussenopslaggebied up-to-date.

In de startpagina van Qlik Talend Data Integration kunt u de status, datum en tijd bekijken van wanneer de tussenopslaggegevens zijn bijgewerkt, en het aantal tabellen met fouten. U kunt ook de gegevenstaak openen en het tabblad Tabellen selecteren om basisinformatie over metagegevens voor de tabellen te bekijken.

U kunt de voortgang in detail controleren door het tabblad Monitor te openen. Voor meer informatie, zie Een afzonderlijke datataak monitoren.

Wanneer alle tabellen zijn geladen en de eerste set wijzigingen is verwerkt, geeft Gegevens zijn bijgewerkt tot op de gegevenstaakkaart aan dat bronwijzigingen tot dat tijdstip beschikbaar zijn in de gegevenstaak.

Tabellen opnieuw laden

U kunt gegevens opnieuw laden uit de bron.

Afzonderlijke tabellen opnieuw laden

U kunt specifieke tabellen handmatig opnieuw laden zonder de change data capture te verstoren. Dit is handig wanneer er CDC-problemen zijn met een of meer tabellen.

1. Open de gegevens-tussenopslagtaak en selecteer het tabblad Monitor.

2. Selecteer de tabellen die u opnieuw wilt laden.

3. Klik op Tabellen opnieuw laden.

Als u de problemen niet kunt oplossen door tabellen opnieuw te laden, of als ze de hele taak beïnvloeden, kunt u in plaats daarvan alle tabellen opnieuw laden naar het doel. Hiermee wordt change data capture opnieuw gestart.

Alle tabellen opnieuw laden naar het doel

U kunt alle tabellen opnieuw laden naar het doel als u CDC-problemen ondervindt die niet kunnen worden opgelost door specifieke tabellen opnieuw te laden. Voorbeelden van problemen zijn ontbrekende gebeurtenissen, problemen veroorzaakt door reorganisatie van de brondatabase of fouten bij het lezen van brondatabasegebeurtenissen.

1. Stop de gegevenstaak en alle taken die deze gebruiken.

2. Open de gegevenstaak en selecteer het tabblad Bewaken.

3. Klik op de knop ... en vervolgens op Opnieuw laden.

Hierdoor worden alle tabellen naar het doel geladen met behulp van de Drop/Create-methode en wordt het vastleggen van gegevens vanaf dit punt opnieuw gestart.

• Opslagtaken die gebruikmaken van de tussenopslagtaak worden bij de volgende uitvoering opnieuw geladen via vergelijken en toepassen om de gegevens te synchroniseren. De bestaande geschiedenis blijft behouden. Geschiedenis type 2 wordt bijgewerkt om de wijzigingen te weerspiegelen nadat er opnieuw is geladen en het vergelijkingsproces is uitgevoerd.

  De tijdstempel voor de vanaf-datum in de geschiedenis type 2 weerspiegelt de datum van opnieuw laden en niet noodzakelijkerwijs de datum dat de wijziging is opgetreden in de bron.

• Liveweergaven van opslag zijn niet betrouwbaar tijdens de laadbewerking van het doel en totdat de opslag is gesynchroniseerd. Opslag wordt volledig gesynchroniseerd wanneer:

  • Alle tabellen opnieuw zijn geladen met behulp van vergelijken en toepassen;

  • Eén cyclus van wijzigingen voor iedere tabel is uitgevoerd.

Een gegevens-tussenopslagtaak uitvoeren met Opnieuw laden en vergelijken

U kunt gegevens kopiëren met behulp van de gegevens-tussenopslagtaak wanneer deze is voorbereid.

• Klik op Uitvoeren om de volledige lading te starten.

Het kopiëren van de gegevens wordt nu gestart en de gegevenstaak krijgt de status In uitvoering. Wanneer de volledige gegevensbron is gekopieerd, is de status Voltooid.

In de startpagina van Qlik Talend Data Integration kunt u de status, datum en tijd bekijken van wanneer de tussenopslaggegevens zijn bijgewerkt, en het aantal tabellen met fouten. U kunt ook de gegevenstaak openen en het tabblad Tabellen selecteren om basisinformatie over metagegevens voor de tabellen te bekijken.

U kunt de voortgang in detail controleren door het tabblad Monitor te openen. Voor meer informatie, zie Een afzonderlijke datataak monitoren.

Wanneer alle tabellen zijn geladen, geeft Gegevens zijn bijgewerkt tot op de gegevenstaakkaart aan dat bronwijzigingen tot dat tijdstip beschikbaar zijn in de gegevensasset. Sommige tabellen van de gegevenstaak kunnen echter naar een later tijdstip zijn bijgewerkt, afhankelijk van wanneer het laden ervan is gestart. Dit betekent dat gegevensconsistentie niet is gegarandeerd. Als het laden bijvoorbeeld om 08:00 uur is gestart en 4 uur heeft geduurd, geeft Gegevens zijn bijgewerkt tot 08:00 uur aan wanneer het laden is voltooid. Een tabel waarvan het opnieuw laden om 11:30 uur is gestart, bevat echter bronwijzigingen die tussen 08:00 uur en 11:30 uur hebben plaatsgevonden.

Gegevens zijn bijgewerkt tot weerspiegelt alleen tabellen die met succes zijn geladen. Het geeft niets aan over tabellen waarvan het opnieuw laden is mislukt. In clouddoelen is het veld leeg als een herlaadbeurt is voltooid met fouten in alle tabellen.

Gegevens opnieuw laden bij gebruik van Opnieuw laden en vergelijken

Wanneer u Opnieuw laden en vergelijken als updatemethode gebruikt, moet u gegevens opnieuw laden om deze up-to-date te houden met de gegevensbron.

• Klik op Opnieuw laden om alle tabellen handmatig opnieuw te laden.

• Stel een gepland herlaadbeurt in.

Afzonderlijke tabellen opnieuw laden

U kunt specifieke tabellen handmatig opnieuw laden. Dit is handig wanneer er problemen zijn met een of meer tabellen.

1. Open de gegevens-tussenopslagtaak en selecteer het tabblad Monitor.

2. Selecteer de tabellen die u opnieuw wilt laden.

3. Klik op Tabellen opnieuw laden.

Een Opnieuw laden en vergelijken-gegevens-tussenopslagtaak plannen

U kunt periodieke herlaadbeurten plannen voor de gegevens-tussenopslagtaak als u de rol Kan bedienen of Kan bewerken hebt in de ruimte van de gegevenstaak. De status van de gegevenstaak moet ten minste Voorbereid zijn om het schema actief te laten zijn.

• Klik op ... op een gegevenstaak en selecteer Planning.

  U kunt een op tijd gebaseerd schema instellen.

  Raadpleeg Minimumaantal toegestane planningsintervallen voor informatie over minimum planningsintervallen op basis van type gegevensbron en abonnementsniveau.

Laadprioriteit voor gegevensverzamelingen instellen

U kunt de laadvolgorde beheren van gegevensverzamelingen in uw gegevenstaak door aan elke gegevensverzameling een laadprioriteit toe te wijzen. Dit kan bijvoorbeeld handig zijn als u kleine gegevensverzamelingen wilt laden voorafgaand aan grotere gegevensverzamelingen.

1. Klik op Laadprioriteit.

2. Selecteer een laadprioriteit voor elke gegevensverzameling.

   De standaardlaadprioriteit is Normaal. Gegevensverzamelingen worden in de volgende volgorde van prioriteit geladen:

   • Hoogst

   • Hoger

   • Hoog

   • Normaal

   • Laag

   • Lager

   • Laagst

   Gegevensverzamelingen met dezelfde prioriteit worden in willekeurige volgorde geladen.

3. Klik op OK.

Bewerkingen op de gegevens-tussenopslagtaak

U kunt de volgende bewerkingen uitvoeren op een gegevens-tussenopslagtaak vanuit het taakmenu.

• Openen

  Dit opent de gegevens-tussenopslagtaak. U kunt de tabelstructuur en details over de gegevenstaak bekijken.

• Bewerken

  U kunt de naam en de beschrijving van de taak bewerken.

• Verwijderen

  U kunt de gegevenstaak verwijderen.

  De volgende objecten worden niet verwijderd:

  • De gegevens in het tussenopslaggebied

  • Schema's in het doelplatform

• Uitvoeren

  U kunt de gegevenstaak uitvoeren om te beginnen met het kopiëren van gegevens.

  Een tussenopslagtaak uitvoeren met Change data capture (CDC)

  Een gegevens-tussenopslagtaak uitvoeren met Opnieuw laden en vergelijken

• Stoppen

  U kunt de werking van een actieve gegevenstaak stoppen. Het tussenopslaggebied wordt niet bijgewerkt met gewijzigde gegevens.

  Wanneer u een gegevenstaak voor volledige lading met een herlaadschema stopt, wordt alleen de huidige herlaadbeurt gestopt. Als de status van de gegevenstaak Gestopt is en er een actief herlaadschema is, wordt deze op het volgende geplande tijdstip opnieuw geladen. U moet het herlaadschema uitschakelen in Herladen plannen.

• Opnieuw laden

  U kunt een handmatige herlaadbeurt uitvoeren van een gegevenstaak in de updatemodus Opnieuw laden en vergelijken.

• Voorbereiden

  Dit bereidt een taak voor op uitvoering. Dit omvat:

  • Valideren of het ontwerp geldig is.

  • Het maken of wijzigen van de fysieke tabellen en weergaven om overeen te komen met het ontwerp.

  • Het genereren van de SQL code voor de gegevenstaak.

  • Het maken of wijzigen van de catalogusvermeldingen voor de uitvoerdatasets van de taak.

  U kunt de voortgang volgen onder Voortgang van voorbereiding in het onderste deel van het scherm.

  InformatieVoordat u een taak voorbereidt, stopt u alle taken die direct downstream zijn.

• Tabellen opnieuw maken

  Dit maakt de datasets opnieuw op basis van de bron.

  InformatieAls er problemen met afzonderlijke tabellen zijn, wordt aanbevolen om eerst de tabellen opnieuw te laden voordat u ze opnieuw maakt. Door het opnieuw maken van de tabellen kunnen historische gegevens verloren gaan. Als er grote wijzigingen zijn, moet u ook downstream gegevenstaken voorbereiden die gebruikmaken van de opnieuw gemaakte gegevenstaken om de gegevens te laden.

• Planning

  U kunt een geplande herlaadbeurt instellen voor gegevens-tussenopslagtaken in de modus Volledige lading. U kunt een op tijd gebaseerd schema instellen dat kan worden aangepast.

  U kunt geplande herlaadbeurten ook in- of uitschakelen.

  U moet de rol Kan bedienen hebben in de ruimte van de gegevenstaak om herlaadbeurten te plannen.

• Gegevens opslaan

  U kunt een opslagtaak voor gegevens maken die gegevens uit deze gegevens-tussenopslagtaak gebruikt.

Metagegevens worden vernieuwd

U kunt de metagegevens in de taak vernieuwen om ze af te stemmen met wijzigingen in de metagegevens van de bron in de ontwerpweergave van een taak. In het geval van SaaS-applicaties die de Metadata Manager gebruiken moet de Metadata Manager worden vernieuwd voordat u de metagegevens in de gegeventaak kunt vernieuwen.

1. U kunt ofwel:

   • Klik op ... en vervolgens op Metagegevens vernieuwen om de metagegevens te vernieuwen voor alle gegevensverzamelingen in de taak.

   • Klik op ... van een gegevensverzameling in Gegevensverzamelingen en vervolgens op Metagegevens vernieuwen om de metagegevens te vernieuwen voor een afzonderlijke gegevensverzameling.

   U kunt de status van de vernieuwing van metagegevens bekijken onder Metagegevens vernieuwen in het onderste deel van het scherm. Ga met de muiscursor op staan om te zien wanneer de metagegegevens voor het laatst zijn vernieuwd.

2. Bereid de gegeventaak voor om de wijzigingen toe te passen.

   Als u de gegevenstaak hebt voorbereid en de wijzigingen zijn toegepast, worden de wijzigingen verwijderd van Metagegevens vernieuwen.

U moet opslagtaken voorbereiden die deze taak gebruiken om de wijzigingen door te geven.

Als er een kolom wordt verwijderd, wordt er een transformatie met null-waarden toegevoegd om ervoor te zorgen dat de opslag geen historische gegevens verliest.

Beperkingen voor het vernieuwen van metagegevens

• Een hernoeming met daarvoor een verwijderde kolom, in hetzelfde tijdslot, wordt vertaald naar de hernoeming van de verwijderde kolom als ze hetzelfde gegevenstype en dezelfde gegevenslengte hebben.

  Voorbeeld:  

  Vóór: a b c d

  Na: a c1 d

  In dit voorbeeld is b verwijderd en is c hernoemd naar c1, en hebben b en c hetzelfde gegevenstype en dezelfde gegevenslengte.

  Dit wordt geïdentificeerd als een hernoeming van b in c1 en een verwijdering van c.

• De hernoeming van de laatste kolom is niet herkend, zelfs als de laatste kolom is verwijderd en de kolom ervoor is hernoemd.

  Voorbeeld:  

  Vóór: a b c d

  Na: a b c1

  In dit voorbeeld is d verwijderd en is c hernoemd naar c1.

  Dit wordt geïdentificeerd als een verwijdering van c en d en een toevoeging van c1.

• Er wordt vanuit gegaan dat er aan het einde nieuwe kolommen worden toegevoegd. Als er in midden kolommen worden toegevoegd met hetzelfde gegevenstype als de volgende kolom, worden ze mogelijk geïnterpreteerd als een verwijdering en een hernoeming.

Schema-evolutie

Met schema-evolutie kunt u eenvoudig structurele wijzigingen in meerdere gegevensbronnen detecteren en vervolgens bepalen hoe die wijzigingen worden toegepast op uw taak. Schema-evolutie kan worden gebruikt om DDL-wijzigingen in het brongegevensschema te detecteren. U kunt sommige wijzigingen ook automatisch toepassen.

Voor elk wijzigingstype kunt u selecteren hoe de wijzigingen moeten worden verwerkt in de sectie Schema-evolutie van de taakinstellingen. U kunt de wijziging toepassen, de wijziging negeren, de tabel onderbreken of de verwerking van de taak stoppen.

U kunt instellen welke actie moet worden gebruikt om de DDL-wijziging af te handelen voor elk wijzigingstype. Sommige acties zijn niet beschikbaar voor alle wijzigingstypen.

• Toepassen op doel

  Wijzigingen automatisch toepassen.

• Negeren

  Wijzigingen negeren.

• Tabel onderbreken

  De tabel onderbreken. De tabel wordt als fout weergegeven in Bewaken.

• Taak stoppen

  De verwerking van de taak stoppen. Dit is handig als u alle schemawijzigingen handmatig wilt afhandelen. Hierdoor wordt de planning ook gestopt, dat wil zeggen dat geplande uitvoeringen niet worden uitgevoerd.

De volgende wijzigingen worden ondersteund:

• Kolom toevoegen

• Kolom hernoemen

• Gegevenstype van kolom wijzigen

• Tabel maken die overeenkomt met het selectiepatroon
  

  Als u een Selectieregel hebt gebruikt om datasets toe te voegen die overeenkomen met een patroon, worden nieuwe tabellen die aan het patroon voldoen gedetecteerd en toegevoegd.

For more information about task settings, see Schema-evolutie

U kunt ook meldingen ontvangen over wijzigingen die worden afgehandeld met schema-evolutie. Voor meer informatie, zie Meldingen instellen voor wijzigingen van de bewerking.

Beperkingen voor schema-evolutie

De volgende beperkingen zijn van toepassing op schema-evolutie:

• Schema-evolutie wordt alleen ondersteund bij gebruik van CDC als bijwerkmethode.

• Wanneer u de instellingen voor schema-evolutie hebt gewijzigd, moet u de taak opnieuw voorbereiden.

• Als u tabellen hernoemt, wordt schema-evolutie niet ondersteund. In dit geval moet u metagegevens vernieuwen voordat u de taak voorbereidt.

• Als u een taak ontwerpt, moet u de browser vernieuwen om wijzigingen van schema-evolutie te ontvangen. U kunt meldingen instellen om gewaarschuwd te worden bij wijzigingen.

• In tussenopslagtaken wordt het verwijderen van een kolom niet ondersteund. Een kolom verwijderen en toevoegen zal resulteren in een tabelfout.

• Bij tussenopslagtaken zal door een drop table-bewerking de tabel niet worden verwijderd. Als u een tabel verwijdert en vervolgens een tabel toevoegt, wordt de oude tabel alleen afgekapt en wordt er geen nieuwe tabel toegevoegd.

• Het wijzigen van de lengte van een kolom is niet voor alle doelen mogelijk, afhankelijk van de ondersteuning in de doeldatabase.

• Als een kolomnaam gewijzigd wordt, zullen expliciete transformaties die met die kolom gedefinieerd zijn niet worden toegepast, aangezien ze gebaseerd zijn op de kolomnaam.

• Beperkingen voor het vernieuwen van metagegevens gelden ook voor schema-evolutie.

• Als een taak ontwerpwijzigingen bevat die nog niet zijn voorbereid en er bronschema-evolutiewijzigingen worden gedetecteerd wanneer de taak wordt uitgevoerd, wordt de taak gestopt om conflicten te voorkomen. Bereid de in behandeling zijnde ontwerpwijzigingen voor en voer de taak opnieuw uit.

Bij het vastleggen van DDL-wijzigingen gelden de volgende beperkingen:

• Wanneer er een snelle opeenvolging van bewerkingen plaatsvindt in de brondatabase (bijvoorbeeld DDL>DML>DDL), kan Qlik Talend Data Integration het logboek in de verkeerde volgorde parseren, wat kan leiden tot ontbrekende gegevens of onvoorspelbaar gedrag. Om de kans hierop te minimaliseren, kunt u het beste wachten tot de wijzigingen op het doel zijn toegepast voordat u de volgende bewerking uitvoert.

  Als bijvoorbeeld tijdens het vastleggen van wijzigingen een brontabel meerdere keren kort na elkaar hernoemd wordt (en de tweede bewerking hernoemt de tabel terug naar de oorspronkelijke naam), kan er een foutmelding verschijnen dat de tabel al bestaat in de doeldatabase.

• Als u de naam van een tabel die in een taak wordt gebruikt wijzigt en vervolgens de taak stopt, zal Qlik Talend Data Integration geen wijzigingen in die tabel vastleggen nadat de taak is hervat.

• Het hernoemen van een brontabel terwijl een taak gestopt is, wordt niet ondersteund.

• Het opnieuw toewijzen van de Primary Key-kolommen van een tabel wordt niet ondersteund (en zal daarom niet naar de DDL History Control-tabel worden geschreven).
• Wanneer het gegevenstype van een kolom wordt gewijzigd en de (zelfde) kolom vervolgens wordt hernoemd terwijl de taak wordt gestopt, verschijnt de DDL-wijziging in de DDL History Control-tabel als "Kolom verwijderen" en vervolgens als "Kolom toevoegen" wanneer de taak wordt hervat. Let op dat hetzelfde gedrag ook kan optreden als gevolg van langdurige latentie.
• CREATE TABLE-bewerkingen die worden uitgevoerd op de bron terwijl een taak is gestopt, worden toegepast op het doel wanneer de taak wordt hervat, maar worden niet geregistreerd als een DDL in de DDL History Control-tabel.

• Bewerkingen die verband houden met wijzigingen van de metagegevens (zoals ALTER TABLE, reorg, heropbouw van een geclusterde index, enzovoort) kunnen onvoorspelbaar gedrag veroorzaken als ze werden uitgevoerd:

  • Tijdens volledige lading

    -OF-

  • Tussen de Begin met verwerken van wijzigingen vanaf tijdstempel en de huidige tijd (d.w.z. het moment dat de gebruiker op OK klikt in het dialoogvenster Geavanceerde uitvoeropties).

    Voorbeeld:

    IF:

    De aangegeven tijd voor Begin met verwerken van wijzigingen vanaf is 10:00 uur.

    AND:

    Een kolom met de naam Leeftijd is om 10:10 uur toegevoegd aan de tabel Werknemers.

    AND:

    De gebruiker klikt om 10:15 uur op OK in het dialoogvenster Geavanceerde uitvoeropties.

    THEN:

    Wijzigingen die plaatsvonden tussen 10:00 en 10:10 kunnen leiden tot CDC-fouten.

  Informatie

  In elk van de bovenstaande gevallen moet(en) de betrokken gegevenstabel(len) opnieuw worden geladen om de gegevens correct naar het doel te kunnen verplaatst.

• De DDL-instructie ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> repliceert de standaardwaarde niet naar het doel en de nieuwe/gewijzigde kolom is ingesteld op NULL. Let op dat dit zelfs kan gebeuren als de DDL die de kolom heeft toegevoegd/gewijzigd in het verleden is uitgevoerd. Als in de nieuwe/gewijzigde kolom null-waarden zijn toegestaan, werkt het broneindpunt alle tabelrijen bij voordat de DDL zelf geregistreerd wordt. Het resultaat is dat Qlik Talend Data Integration de wijzigingen vastlegt, maar het doel niet bijwerkt. Aangezien de nieuwe/gewijzigde kolom is ingesteld op NULL, als de doeltabel geen primaire sleutel/unieke index heeft, zullen volgende updates het bericht "nul rijen beïnvloed" genereren.

• Wijzigingen van TIMESTAMP- en DATE-precisiekolommen worden niet vastgelegd.

Wijzigingen afhandelen die niet automatisch worden toegepast

Dit beschrijft hoe u wijzigingen afhandelt die niet op het doel kunnen worden toegepast, dat wil zeggen wanneer de actie Negeren, Opschorten of Taak stoppen is.

Kolommen verwijderen

Als u een kolom verwijdert die wordt verbruikt door een opslagtaak voor gegevens met ingeschakelde geschiedenis, moet u deze stappen volgen om de geschiedenis te behouden en mogelijk gegevensverlies te voorkomen.

1. Stop de gegevens-tussenopslagtaak.

2. Voer de opslagtaak voor gegevens uit om ervoor te zorgen dat alle tussenopslaggegevens zijn gelezen.

3. Verwijder de kolom in de tussenopslag.

4. Voer de gegevens-tussenopslagtaak uit.

5. Voeg in de opslag de kolom toe met een standaardexpressie (Null of standaardwaarde), of verwijder de kolom.

Taakinformatie weergeven

Klik op in de menubalk om taakinformatie weer te geven, zoals:

• Eigenaar

• Ruimte

• Gegevensplatform

• Project-id

• Runtime-id gegevenstaak

Bronverbindingen of gegevensgateway wijzigen

Als u de bronverbinding of de brongegevensgateway wijzigt, moet u alle tabellen opnieuw maken.

Onderhoud van het tussenopslaggebied

Automatisch opschonen van het tussenopslaggebied wordt niet ondersteund. Dit kan de prestaties beïnvloeden.
We raden u aan om oude gegevens van de volledige lading handmatig op te schonen in het tussenopslaggebied.

• Qlik Cloud (via Amazon S3)

  Als er meerdere mappen met gegevens van de volledige lading zijn, kunt u alle mappen behalve de meest recente verwijderen. U kunt ook partities met gewijzigde gegevens die zijn verwerkt verwijderen.

• Clouddatawarehouse

  U kunt records van de volledige lading en gewijzigde tabelrecords die zijn verwerkt verwijderen.

Aanbevelingen

• Als een primaire sleutel in een brontabel kan worden bijgewerkt, schakelt u de optie DELETE en INSERT bij het bijwerken van een primaire-sleutelkolom in bij Afstemming van wijzigingsverwerking.

Beperkingen

• Het repliceren van varchar-gegevens langer dan 8000 bytes, of Nvarchar langer than 4000 bytes, wordt niet ondersteund.

• Het wijzigen van de null-waarden is niet ondersteund voor kolommen die zijn verplaatst, of dit nu rechtstreeks wordt gewijzigd of met behulp van een transformatieregel. Nieuwe kolommen die in de taak worden gemaakt, kunnen echter standaard null-waarden bevatten.

• Bronkolommen van het type CLOB en BLOB worden standaard ingesteld als null-toegestaan, zelfs als ze in de bron zijn gemarkeerd als niet-null-toegestaan. U kunt dit wijzigen in niet-null-toegestaan, maar dan moet u een expressie toevoegen om een niet-null-waarde toe te voegen voor het geval deze als null uit de bron binnenkomt. Dit kan gebeuren bij verwijderde records.

Voor transformaties gelden de volgende beperkingen:

• Transformaties worden niet ondersteund voor kolommen met talen van die van rechts naar links worden geschreven.

• Transformaties kunnen niet uitgevoerd worden op kolommen die speciale tekens (bijv. #, \, /, -) bevatten in hun naam.

• De enige transformatie die wordt ondersteund voor LOB/CLOB-gegevenstypen is om de kolom in het doel te verwijderen.
• Een transmatie gebruiken om de naam van een kolom te wijzigen en vervolgens een kolom met dezelfde naam toe te voegen wordt niet ondersteund.