Instellingen gegevensreplicatietaak
U kunt instellingen configureren voor de gegevensreplicatietaak.
-
Open de replicatietaak en klik op Instellingen op de werkbalk.
Het dialoogvenster Instellingen: <Taaknaam> wordt geopend. De beschikbare instellingen worden hieronder beschreven.
Algemeen
Op dit tabblad kunt u de replicatiemodus, de tussenopslaginstellingen (indien beschikbaar) en de modus voor het toepassingen van instellingen op het doel wijzigen.
Replicatiemodus
De volgende replicationmodi zijn beschikbaar:
- Volledige lading: Laadt de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig worden uitgevoerd.
-
Wijzigingen toepassen: Werkt de doeltabellen continu bij met wijzigingen die in de brontabellen zijn aangebracht.
-
Wijzigingen opslaan: Slaat de wijzigingen van de brontabellen op in wijzigingstabellen (één per brontabel).
Ga voor meer informatie naar Wijzigingen opslaan.
Bij het werken met Gateway voor gegevensverplaatsing worden wijzigingen van de bron vrijwel direct vastgelegd. Als u werkt zonder Gateway voor gegevensverplaatsing (bijvoorbeeld met een Qlik Talend Cloud Starter-abonnement of als u Geen hebt geselecteerd), worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Taken plannen bij het werken zonder Gateway voor gegevensverplaatsing.
Als u Gegevens opslaan of Wijzigingen toepassen selecteert en uw brongegevens ook tabellen bevatten die geen CDC of weergaven ondersteunen, worden er twee gegevenspijplijnen gemaakt. Eén gegevenspijplijn voor tabellen die CDC ondersteunen en een andere pijplijn voor alle andere tabellen en weergaven die alleen Volledige lading ondersteunen.
Verbinding maken met een tussenopslaggebied
Bij het repliceren van de onderstaande datawarehouses, moet u een tussenopslag instellen. Gegevens worden verwerkt en voorbereid in de tussenopslag voordat ze naar het warehouse worden verzonden.
Selecteer een bestaande tussenopslag of klik op Nieuwe maken om een nieuwe tussenopslag te definiëren en volg de instructies in Verbinding maken met een cloudopslag.
Klik op Bewerken om de verbindingsinstellingen te bewerken. Klik op Verbinding testen om de verbinding te testen (aanbevolen).
Raadpleeg de kolom Ondersteund als tussenopslaggebied in Gebruikscases doelplatform en ondersteunde versies voor informatie over welke tussenopslaggebieden voor welk datawarehouse worden ondersteund.
Modus Wijzigingen toepassen
Wijzigingen worden toegepast op de doeltabellen met behulp van een van de volgende methoden:
- Batch geoptimaliseerd: Dit is de standaardinstelling. Als deze optie is geselecteerd, worden wijzigingen batchgewijs toegepast. Er wordt een voorverwerkingsactie uitgevoerd om de transacties zo efficiënt mogelijk te groeperen in batches.
- Transactioneel: Selecteer deze optie om elke transactie afzonderlijk toe passen, in de vastgelegde volgorde. In dit geval wordt strikte referentiële integriteit verzekerd voor alle tabellen.
Gegevens uploaden
Maximumbestandsgrootte
De maximumgrootte die een bestand kan bereiken voordat het wordt gesloten. Kleinere bestanden worden mogelijk sneller geüpload (afhankelijk van het netwerk) en verbeteren de prestaties indien ze worden gebruikt in combinatie met de optie Parallelle uitvoering. Het wordt over het algemeen afgeraden om de database te vullen met kleine bestanden.
Metagegevens
Basis
-
Schema voor doeltabel: Het schema in het doel waarnaar de brontabellen worden gerepepliceerd als u het schema voor de brontabel wilt gebruiken (of als er geen schema aanwezig is in de brondatabase).
InformatieBij het repliceren naar een Oracle-doel is het standaard doeltabelschema "system". Houd er rekening mee dat als u dit veld leeg laat (in dat geval wordt het bronschema gebruikt), u moet controleren of het bronschema al aanwezig is in het doel. Anders zal de taak mislukken.InformatieDe maximaal toegestane lengte voor de schemanaam is 128 tekens.
LOB-instellingen
De beschikbare LOB-instellingen wijken af op basis van het geselecteerde replicatiedoel. Aangezien datawarehousedoelen geen onbeperkte LOB-kolomgrootte ondersteunen, is deze optie niet beschikbaar voor het repliceren naar een datawarehouse.
LOB-instellingen voor doelen die geen datawarehouse zijn
- LOB-kolommen opnemen: selecteer dit als u niet wilt dat bron-LOB-kolommen worden gerepliceerd.
-
Grootte LOB-kolom beperken tot (KB): dit is de standaardinstelling. Selecteer deze optie als u alleen kleine LOB's wilt repliceren of als het doelplatform geen onbeperkte LOB-grootte ondersteunt. De maximaal toegestane waarde voor dit veld is 102400 KB (100 MB).
Bij het repliceren van kleine LOB's is deze optie efficiënter dan de optie Grootte LOB-kolom niet beperken omdat de LOB's 'inline' worden gerepliceerd in plaats van via 'opzoeken' vanuit de bron. Tijdens de wijzigingsverwerking worden kleine LOB's meestal gerepliceerd via 'opzoeken' vanuit de bron.
De limiet is van toepassing op het aantal LOB-bytes dat van het broneindpunt wordt gelezen. Voor BLOB-kolommen is de grootte van de doel-BLOB precies volgens de opgegeven limiet. Voor CLOB- en NCLOB-kolommen kan de grootte van de doel-LOB afwijken van de opgegeven limiet als de bron- en doel-LOB niet dezelfde tekenset hebben. In dit geval zal de gegevenstaak de tekensetconversie uitvoeren, wat kan resulteren in een verschil tussen de grootten van de bron- en doel-LOB.
De waarde van LOB-grootte beperken is in bytes, dus moet de grootte berekend worden aan de hand van de volgende formules:
- BLOB: de lengte van de grootste LOB.
- NCLOB: De lengte van de langste TEXT in tekens, vermenigvuldigd met twee (elk teken wordt verwerkt als een DBCS-teken). Als de gegevens tekens van 4-bytes bevatten, vermenigvuldig ze dan met vier.
- CLOB: de lengte van de langste TEXT in tekens (elk teken wordt verwerkt als een UTF8-teken). Als de gegevens 4-bytes tekens bevatten, vermenigvuldig ze dan met twee.
Informatie- LOB's die groter zijn dan de opgegeven grootte worden afgekapt.
- Tijdens de wijzigingsverwerking van een Oracle-bron, worden inline-BLOB's ook inline gerepliceerd.
- Wijzigingen van deze instellingen worden alleen toegepast op bestaande tabellen nadat ze opnieuw zijn geladen.
-
Grootte LOB-kolom niet beperken: Als deze optie is geselecteerd, worden LOB-kolommen gerepliceerd, ongeacht de grootte.
InformatieHet repliceren van LOB-kolommen kan van invloed zijn op de prestaties. Dit geldt met name voor grote LOB-kolommen waarvoor de replicatietaak een opzoekopdracht moet uitvoeren voor de brontabel om de bron-LOB-waarde op te halen.-
Optimaliseren als LOB-grootte kleiner is dan: Selecteer deze optie als u zowel kleine als grote LOB's moet repliceren en de meeste LOB's klein zijn.
InformatieDeze optie wordt alleen ondersteund voor de volgende bronnen en doelen:
-
Bronnen: Oracle, Microsoft SQL server, MySQL, PostgreSQL en IBM DB2 for LUW
-
Doelen: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.
Als deze optie is geselecteerd tijdens een volledige lading, worden de kleine LOB's 'inline' gerepliceerd (dit is efficiënter) en de grote LOB's worden gerepliceerd via een zoekopdracht van de brontabel. Tijdens de wijzigingsverwerking worden echter kleine en grote LOB's gerepliceerd door een zoekopdracht vanuit de brontabel uit te voeren.
InformatieAls deze optie is geselecteerd, controleert de replicatietaak alle LOB-grootten om te bepalen welke 'inline' overgedragen moeten worden. LOB's die groter zijn dan de opgegeven grootte worden gerepliceerd met de modus Volledige LOB.
Als u weet dat de meeste LOB's groter zijn dan de opgegeven instelling, wordt aangeraden om de optie Onbeperkte LOB-kolommen repliceren te gebruiken.
-
-
Chunkgrootte (KB): U kunt eventueel de grootte van de LOB-chunks wijzigen die gebruikt moeten worden om de gegevens naar het doel te repliceren. De standaard chunkgrootte zal in de meeste gevallen voldoen, maar als u problemen ervaart kan het wijzigen van de grootte de prestaties verbeteren.
InformatieBij sommige databases worden de gegevenstypen gevalideerd wanneer gegevens worden ingevoegd of bijgewerkt. In dergelijke gevallen kan de replicatie van gestructureerde gegevenstypen (bijv. XML, JSON, GEOGRAPHY, enz.) mislukken als de gegevens groter zijn dan de opgegeven chunkgrootte.
-
LOB-instellingen voor ondersteunde datawarehousedoelen
-
LOB-kolommen opnemen en kolomgrootte beperken tot (KB):
U kunt ervoor kiezen om LOB-kolommen in de taak op te nemen en de maximale LOB-grootte in te stellen. LOB's die groter zijn dan de maximum LOB-grootte worden afgekapt.
tabblad
Instellingen voor controletabellen
-
Schema controlletabellen: Geef het doelschema voor de controletabellen op als u niet wilt dat ze in het bronschema (standaardinstelling) of in het doelschema worden gemaakt.
InformatieDe maximaal toegestane lengte voor de schemanaam is 128 tekens. - Maak controletabellen voor het doel in de tabelruimte: Als het replicatiedoel Oracle is, geef dan de tabelruimte op waarin u de doelcontroletabellen wilt maken. Als u geen gegevens opgeeft in dit veld, worden de tabellen gemaakt in de standaardtabelruimte in de doeldatabase.
- Maak indexen voor controletabellen voor het doel in de tabelruimte: Als het replicatiedoel Oracle is, geef dan de tabelruimte op waarin u de doelcontrole-indexen wilt maken. Als u geen gegevens opgeeft in dit veld, worden de indexen gemaakt in dezelfde tabelruimte als de controletabellen.
- Tijdslot replicatiegeschiedenis (minuten): De lengte van elk tijdslot in de Replicationgeschiedenis controletabel. De standaardinstelling is 5 minuten.
Selectie van controletabellen
Selecteer de controletabellen die in het doelplatform gemaakt moeten worden:
Logische naam | Naam in doel |
---|---|
Uitzonderingen toepassen | attrep_apply_exceptions |
Replicationstatus | attrep_status |
Tijdelijk ingetrokken tabel | attrep_suspended_tables |
Replicationgeschiedenis | attrep_history |
DDL-geschiedenis |
attrep_ddl_history Informatie
De DDL‑geschiedenistabel wordt alleen ondersteund door de volgende doelplatformen:
|
Voor meer informatie op controletabellen gaat u naar Controletabellen.
Volledige lading
Basis
Als doeltabel al bestaat: Selecteer één van de volgende opties in de lijst om te bepalen hoe het doel moet worden geladen bij het starten van de volledige lading:
De optie om de doeltabellen te verwijderen of af te kappen is alleen relevant als het broneindpunt dergelijke bewerkingen ondersteunt.
-
Tabel verwijderen en maken: De tabel wordt verwijderd en in plaats daarvan wordt een nieuwe tabel gemaakt.
InformatieDe controletabellen van de replicatietaak worden niet verwijderd. Uitgestelde tabellen die zijn verwijderd worden ook verwijderd uit de controletabel attrep_suspended_tables als de gekoppelde taak opnieuw wordt geladen.
-
AFKAPPEN voor het laden: Gegevens worden opgeschort en toegevoegd zonder dat dit van invloed is op de metagegevens van de tabel. Als deze optie is geselecteerd, wordt de optie Primaire sleutel of unieke index maken nadat volledige lading is voltooid niet ingeschakeld.
InformatieNiet ondersteund als Microsoft Fabric het doelplatform is. - Negeren: Bestaande gegevens en metagegevens van de doeltabel worden niet beïnvloed. Nieuwe gegevens worden toegevoegd aan de tabel.
Geavanceerd
Prestaties afstemmen
Als het repliceren van gegevens langzaam verloopt, kan het helpen om de volgende parameters aan te passen.
- Maximumaantal tabellen: geef het maximumaantal tabellen op die tegelijkertijd naar het doel worden geladen. De standaardwaarde is 5.
-
Time-out bij transactionele consistentie (seconden): geef het aantal seconden op dat de replicatietaak moet wachten voordat open transacties worden gesloten en de bewerking Volledige lading wordt gestart. De standaardwaarde is 600 (10 minuten). De replicatietaak start de volledige lading nadat de waarde van de time-out is bereikt, zelfs als er open transacties aanwezig zijn.
InformatieU moet de doeltabellen opnieuw laden om transacties te repliceren die open waren op het moment dat de volledige lading werd gestart, maar alleen werden doorgevoerd nadat de time-outwaarde is bereikt. - Frequentie doorvoeren tijdens volledige lading: Het maximumaantal gebeurtenissen dat samen kan worden overgedragen. De standaardwaarde is 10000.
Nadat volledige lading is voltooid
U kunt instellen dat de taak automatisch stopt nadat de volledige lading is voltooid. Dit is handig als u DBA-bewerkingen moet uitvoeren voor de doeltabellen voordat de fase voor wijzigingen toepassen van de taak (d.w.z. CDC) begint.
Tijdens de volledige lading worden DML-bewerkingen gecached die in de brontabellen worden uitgevoerd. Nadat de volledige lading is voltooid, worden de gecachete wijzigingen automatisch toegepast op de doeltabellen (zolang de hierboven beschreven opties Voor/Na het cachen worden wijzigingen toegepast zijn uitgeschakeld.
- Primaire sleutel of unieke index maken: Selecteer deze optie als u het maken van de primaire sleutel of unieke index wilt vertragen voor het doel totdat de volledige lading is voltooid.
- De taak stoppen: Informatie
Deze instellingen zijn in de volgende gevallen niet beschikbaar:
- Voor het repliceren vanuit SaaS-applicatiebronnen (omdat er geen gecashte gebeurtenissen zijn).
- Voor het repliceren naar datawarehousedoelen
Voor het cachen worden wijzigingen toegepast: Selecteer om de taak te stoppen nadat de volledige lading is voltooid.
Na het cachen worden wijzigingen toegepast: Selecteer om de taak te stoppen zodra de gegevens consistent zijn binnen alle tabellen in de taak.
InformatieHoud rekening met het volgende wanneer u configureert dat de taak wordt gestopt nadat de volledige lading is voltooid:
- De taak stopt niet op het moment dat de volledige lading is voltooid. De taak wordt gestopt nadat de eerste batch met wijzigingen is vastgelegd (dit activeert het stoppen van de taak). Dit kan een poos duren, afhankelijk van hoe vaak de brondatabase wordt bijgewerkt. Nadat de taak is gestopt, worden de wijzigingen niet toegepast op het doel totdat de taak wordt hervat.
- De optie Voor het cachen worden wijzigingen toegepast kan invloed hebben op de prestaties, omdat de gecachete gegevens alleen worden toegepast op tabellen (zelfs de tabellen waarvoor de volledige lading al is voltooid nadat de volledige lading voor de laatste tabel wordt voltooid.
- Als deze optie is geselecteerd en een DDL wordt uitgevoerd op een van de brontabellen tijdens het proces van de volledige lading (in een taak van volledige lading en wijzigingen toepassen), laadt de replicatietaak de tabel opnieuw. Dit betekent dat DML-bewerkingen die voor de brontabellen worden uitgevoerd naar het doel gerepliceerd worden voordat de taak stopt.
Voor initiële lading
Bij het verplaatsen van gegevens vanuit een SaaS-applicatiebron, kunt u instellen hoe de initiële volledige lading moet worden uitgevoerd:
Cachegegevens gebruiken |
Met deze optie kunt u cachegegevens gebruiken die zijn gelezen toen metagegevens met Volledige gegevensscan werden geselecteerd. Dit zorgt voor minder overhead met betrekking tot API-gebruik en quota, in verhouding tot wanneer de gegevens al zijn gelezen vanuit de bron. Alle wijzigingen sinds de initiële gegevensscan kunnen worden opgepikt door Change data capture (CDC). |
Gegevens laden vanuit bron |
Deze optie voert een nieuwe lading vanuit de gegevensbron uit. Deze optie is nuttig als:
|
Wijzigingen toepassen
Deze instellingen zijn alleen beschikbaar als de replicatiemodus Toepassingswijzigingen is ingeschakeld.
Basis
DDL-wijzigingen toepassen op doeltabel
De volgende opties bepalen of DDL-bewerkingen die zijn uitgevoerd voor de bijbehorende brontabel ook worden uitgevoerd voor de doeltabel.
- Tabel neerzetten: Kies om de doeltabel te verwijderen als de brontabel is verwijderd.
-
Tabel afkappen: Kies ervoor om de doeltabel af te kappen als de bronkabel is afgekapt.
InformatieNiet ondersteund als Microsoft Fabric het doelplatform is. - Tabel wijzigen: Kies om de doeltabel te wijzigen als de brontabel is gewijzigd.
Verwerking van wijzigingen afstemmen
-
Batchgewijze wijzigingen gelijktijdig toepassen op tabellen: Als u deze optie selecteert, verbeteren mogelijk de prestaties bij het toepassen van wijzigingen van meerdere brontabellen.
InformatieDeze optie wordt alleen ondersteund als:
- De modus Wijzigingen toepassen is ingesteld op Batchgewijs geoptimaliseerd. Ga voor meer informatie naar Algemeen.
- De replicatiedoelen zijn niet MySQL, PostgreSQL, Oracle en Google BigQuery.
-
Maximumaantal tabellen: Het maximumaantal tabellen waarop batchgewijze wijzigingen gelijktijdig worden toegepast. De standaardinstelling is 5, het maximum is 50 en het minimum is 2.
Als de optie Batchgewijze wijzigingen gelijktijdig toepassen op tabellen is ingeschakeld, gelden de volgende beperkingen:
-
Het afhandelingsbeleid voor taakfouten blijft ongewijzigd voor omgevingsgerelateerde en tabelfouten, maar de standaardinstellingen voor gegevensfouten en toepassingsconflictfouten zijn als volgt:
- Gegevensfouten:
- Fouten in het afkappen van gegevens: Record registeren in uitzonderingstabel
- Overige gegevensfouten: Tabel tijdelijk intrekken
- Fouten bij toepassingsconflicten:
- Verwijdert: Record negeren
Invoegingen: Het bestaande doelrecord BIJWERKEN
InformatieDit is niet relevant voor een Snowflake-doel (aangezien Snowflake geen primaire sleutels ondersteunt)- Bijwerkingen: Record negeren
- Escalatie-actie:
- De escalatie-actie voor zowel gegevensfouten als toepassingsconflicten wordt niet ondersteund.
- De controletabel attrep_apply_exception wordt niet ondersteund.
- Voor gegevensfouten:
- De optie Record registeren in uitzonderingstabel is alleen beschikbaar voor fouten in het afkappen van gegevens
- De optie Negeren is niet beschikbaar.
- Voor toepassingsconflicten:
- De optie Record registeren in uitzonderingstabel is niet beschikbaar.
- De optie Negeren is alleen beschikbaar voor een toepassingsconflict Geen record gevonden voor het toepassen van een UPDATE.
- Gegevensfouten:
Zie ook: Fout bij verwerkingzijn.
-
Beperk het aantal wijzigingen dat wordt toegepast per wijziging verwerkingsinstructie tot: Schakel dit selectievakje in en wijzig desgewenst de standaardwaarde om het aantal wijzigingen te beperken dat wordt toegepast per wijziging verwerkingsinstructie. De standaardwaarde is 10.000.
InformatieDeze optie wordt alleen ondersteund bij de volgende doelen: MySQL, PostgreSQL, Oracle, en Google BigQuery.
tabblad
Zie Verwerking van wijzigingen afstemmen.
Wijzigingen opslaan
Deze instellingen zijn alleen beschikbaar als de replicationmodus Wijzigingen opslaan is ingeschakeld.
Basis
DDL-opties
Selecteer een van de volgende opties om te bepalen hoe DDL-bewerkingen in de brontabellen worden verwerkt:
- Toepassen op wijzigingstabel: DDL-bewerkingen voor brontabellen (zoals een kolom die wordt toegevoegd) wordt alleen toegepast op de bijbehorende wijzigingstabel.
- Negeren: alle DDL-bewerkingen voor brontabellen worden genegeerd.
tabblad
Bij update
Selecteer Opslaan vóór afbeelding en na afbeelding om zowel de pre-UPDATE gegevens en de post-UPDATE gegevens op te slaan. Als deze optie niet is geselecteerd, worden alleen de post-UPDATE gegevens opgeslagen.
Aanmaken wijzigingstabel
De volgende sectie beschrijft de opties die beschikbaar zijn voor het opslaan van wijzigingen in wijzigingstabellen.
- Suffix: Geef een tekenreeks op om te gebruiken als suffix voor alle wijzigingstabellen. De standaardwaarde is __ct. De naam van de wijzigingstabel is de naam van de doeltabel met de toegevoegde suffix. Bij de standaardwaarde is de naam van de wijzigingstabel bijvoorbeeld HR__ct.
- Prefix kopkolom: Geef een tekenreeks op om te gebruiken als prefix voor alle kopkolommen van de wijzigingstabel. De standaardwaarde is header__. Bij gebruik van de standaardwaarde, krijgt de kopkolom stream_position de naam header__stream_position.
Voor informatie over wijzigingstabellen gaat u naar Wijzigingstabellen gebruiken.
Als de wijzigingstabel bestaat wanneer volledige lading wordt gestart: selecteer een van de volgende opties om te bepalen hoe wijzigingstabellen worden geladen als de replicatie met volledige lading start:
- Wijzigingstabel verwijderen en maken: de tabel wordt verwijderd en in plaats daarvan wordt een nieuwe tabel gemaakt.
-
Oude wijzigingen verwijderen en wijzigingen in bestaande wijzigingstabel opslaan: gegevens worden afgekapt en toegevoegd zonder dat dit invloed heeft op de metagegevens van de tabel
InformatieNiet ondersteund als Microsoft Fabric het doelplatform is. - Oude wijzigingen behouden en nieuwe wijzigingen in bestaande wijzigingstabel opslaan: gegevens en metagegevens van de bestaande wijzigingstabel worden niet gewijzigd.
Tabelkopkolommen
De kopkolommen van de wijzigingstabel geven informatie over de wijzigingsverwerkingen, zoals het type bewerking (bijv. INSERT), de doorvoertijd enzovoort. Als u al deze informatie niet nodig hebt, kunt u configureren dat de movingtaak de wijzigingstabellen maakt met de geselecteerde kopkolommen (of helemaal geen), waardoor de footprint in de doeldatabase wordt verminderd.
Ga naar Wijzigingstabellen voor een beschrijving van de kopkolommen.
Fout bij verwerking
Basis
Toepassingsconflicten
Sleutel dupliceren bij toepassing van INVOEGEN: Selecteer welke actie wordt genomen als er een conflict met een INSERT-bewerking is.
-
Negeren: de taak wordt voorgezet en de fout wordt genegeerd.
-
Het bestaande doelrecord BIJWERKEN: het doelrecord met dezelfde primaire sleutel als de INGEVOEGDE bronrecord wordt bijgewerkt.
- Record registeren in uitzonderingstabel (standaard): de taak wordt voortgezet en de fout wordt geschreven naar de uitzonderingentabel.
-
Tabel opschorten: de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
- Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.
Geen record gevonden voor het toepassen van een UPDATE: Selecteer welke actie wordt genomen als er een conflict met een UPDATE-bewerking is.
- Negeren: de taak wordt voorgezet en de fout wordt genegeerd.
-
Het ontbrekende doelrecord INVOEGEN: het ontbrekende doelrecord wordt ingevoegd in de doeltabel. Als het broneindpunt Oracle is, moet voor het selecteren van deze optie voor alle kolommen van de brontabel aanvullende logboekregistratie zijn ingeschakeld.
- Record registeren in uitzonderingstabel (standaard): de taak wordt voortgezet en de fout wordt geschreven naar de uitzonderingentabel.
-
Tabel opschorten: de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
- Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.
tabblad
Foutverwerking van gegevens wordt alleen ondersteund in de replicationmodus Wijzigingen toepassen (niet in Volledige lading).
Gegevensfouten
Voor fouten in het afkappen van gegevens: Selecteer wat er moet gebeuren als er een afkapping plaatsvindt in een of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:
- Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
- Record registeren in uitzonderingstabel (standaard): De taak wordt voortgezet en de fout wordt geschreven naar de uitzonderingentabel.
- Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
- Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.
Voor overige gegevensfouten: Selecteer wat er moet gebeuren als er een fout ontstaat in één of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:
- Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
- Record registeren in uitzonderingstabel (standaard): De taak wordt voortgezet en de fout wordt geschreven naar de uitzonderingentabel.
- Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
- Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.
Foutverwerking escaleren wanneer gegevensfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal niet-afgekapte gegevensfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.
Escalatie-actie: Kies wat er moet gebeuren wanneer foutverwerking wordt geëscaleerd. Houd er rekening mee dat de beschikbare acties afhankelijk zijn van de actie die is geselecteerd in de vervolgkeuzelijst Voor overige gegevensfouten die hierboven wordt beschreven.
-
Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet verplaatst.
InformatieHet gedrag is afhankelijk van de Verwerkingsmodus wijzigen:
-
In de modus Transactioneel toepassen worden de laatste wijzigingen niet verplaatst.
-
In de modus Batchgewijs optimaliseren toepassen, kan het voorkomen dat gegevens helemaal niet worden verplaatst of alleen gedeeltelijk worden verplaatst.
-
- Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.
- Record registeren in uitzonderingstabel: De taak wordt voortgezet en het record wordt geschreven naar de uitzonderingentabel.
Tabelfouten
Wanneer een tabelfout ontstaat: Selecteer een van het volgende uit de vervolgkeuzelijst:
- Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
- Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.
Foutverwerking escaleren wanneer tabelfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal tabelfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.
Escalatie-actie: Het escalatiebeleid voor tabelfouten is ingesteld op Taak stoppen en dit kan niet worden gewijzigd.
Toepassingsconflicten
Geen record gevonden voor het toepassen van een VERWIJDERING: selecteer welke actie wordt genomen als er een conflict met een UPDATE-bewerking is.
- Negeren: de taak wordt voorgezet en de fout wordt genegeerd.
- Record registeren in uitzonderingstabel: de taak wordt voortgezet en het record wordt geschreven naar de uitzonderingentabel.
- Tabel opschorten: de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
- Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.
Foutverwerking escaleren wanneer toepassingsconflicten het volgende bereiken (per tabel): schakel dit selectievakje in om foutverwerking te escaleren als het aantal toepassingsconflicten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.
Escalatie-actie: Kies wat er moet gebeuren wanneer foutverwerking wordt geëscaleerd:
- Record registeren in uitzonderingstabel (standaard): de taak wordt voortgezet en de fout wordt geschreven naar de uitzonderingentabel.
-
Tabel opschorten: de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
InformatieHet gedrag is afhankelijk van de Verwerkingsmodus wijzigen:
-
In de modus Transactioneel toepassen worden de laatste wijzigingen niet gerepliceerd
-
In de modus Batchgewijs optimaliseren toepassen is het mogelijk dat er geen gegevens worden gerepliceerd of dat gegevens maar gedeeltelijk worden gerepliceerd.
-
-
Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.
Omgevingsgerelateerde fouten
-
Maximum aantal nieuwe pogingen: Selecteer deze optie en geef vervolgens het maximumaantal pogingen op voor het opnieuw proberen van een taak als er een herstelbare omgevingsgerelateerde fout plaatsvindt. Nadat u hebt geprobeerd de taak het opgegeven aantal keer opnieuw uit te voeren, wordt de taak gestopt en moet u handmatig ingrijpen.
Schakel het selectievakje uit of geef '0' op om de taak niet te proberen de taak opnieuw uit te voeren.
Geef '-1' op om een oneindig aantal keren te proberen de taak opnieuw uit te voeren.
-
Interval tussen nieuwe pogingen (seconden): Gebruik de teller om het aantal seconden te selecteren of in te voeren dat het systeem wacht tussen nieuwe pogingen.
Geldige waarden zijn 0-2.000.
-
- Interval voor opnieuw proberen bij lange storingen vergroten: Schakel dit selectievakje in om de interval voor opnieuw proberen te verhogen voor lange storingen. Als deze optie is ingeschakeld, verdubbelt de interval tussen elke nieuwe poging en de volgende poging totdat de Maximuminterval voor nieuwe pogingen is bereikt (en er door wordt gegaan met nieuwe pogingen op basis van de opgegeven maximuminterval).
- Maximuminterval voor nieuwe pogingen (seconden): Gebruik de teller om te selecteren of in te voeren hoeveel seconden er gewacht wordt tussen pogingen om een taak opnieuw uit te voeren als de optie Interval voor opnieuw proberen bij lange storingen vergroten is ingeschakeld. Geldige waarden zijn 0-2.000.
Verwerking van wijzigingen afstemmen
Afstemming transactie-offload
-
Offload transactie in voortgang naar de schijf als:
De replicatietaak bewaart de transactiegegevens meestal in het geheugen totdat deze volledig doorgevoerd zijn naar de bron en/of het doel. Transacties die groter zijn dat het toegewezen geheugen of die niet zijn doorgevoerd binnen de opgegeven tijdslimiet worden geoffloaded naar de schijf.
- Geheugengrootte transactie overschrijdt (MB): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De standaardwaarde is 1024.
- Duur transacties overschrijdt (seconden): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De duur wordt berekend vanaf het moment dat de replicatietaak is begonnen met het vastleggen van de transactie. De standaardwaarde is 60.
Batch afstemmen
De volgende instellingen zijn beschikbaar als de Toepassingsmodus is ingesteld op Batchgewijs geoptimaliseerd.
- Batchgewijs wijzigingen in intervallen toepassen:
-
Groter dan: de minimumtijd die gewacht wordt tussen elke uitvoering van batchwijzigingen. De standaardwaarde is 1.
Door de waarde Langer dan te verhogen, neemt de frequentie af waarmee wijzigingen worden toegepast op het doel maar wordt tegelijkertijd de grootte van de batches verhoogt. Hierdoor kunnen de prestaties verbeteren bij het toepassen van wijzigingen voor de doeldatabases die zijn geoptimaliseerd voor het verwerken van grote batches.
- Kleiner dan: de maximumtijd dat gewacht wordt tussen elke uitvoering van batchwijzigingen (voordat er een time-out optreedt). In andere woorden: de maximum acceptabele latentie. De standaardwaarde is 30. Deze waarde bepaalt de maximumhoeveelheid tijd die gewacht wordt voordat de wijzigingen worden toegepast nadat de waarde Langer dan is bereikt.
-
Gedwongen een batch toepassen wanneer verwerkingsgeheugen groter is dan (in MB): de maximumhoeveelheid geheugen die wordt gebruikt voor de voorverwerking in de modus Batchgewijs geoptimaliseerd toepassen. De standaardwaarde is 500.
Voor de maximale batchgrootte stelt u deze waarde in op de hoogste hoeveelheid geheugen die u kunt toewijzen aan de replicatietaak. Hierdoor kunnen de prestaties verbeteren bij het toepassen van wijzigingen voor de doeldatabases die zijn geoptimaliseerd voor het verwerken van grote batches.
Interval
-
Wijzigingen om de (minuten) lezen
Stel de interval tussen het lezen van wijzigingen van de bron in minuten in. Het geldige bereik ligt tussen 1 en 1440.
InformatieDeze optie is alleen beschikbaar in de volgende gevallen:
- Gateway voor gegevensverplaatsing gebruiken
- Gegevens tijdelijk opslaan vanuit SaaS-applicatiebronnen
- De taak wordt gedefinieerd met de bijwerkmethode Wijzigingsgegevens vastleggen (CDC)
Diverse afstemmingen
Cachegrootte instructies (aantal instructies)
Het maximumaantal voorbereide instructies om te bewaren op de server om later uit te voeren (bij het toepassen van wijzigingen op het doel). De standaardwaarde is 50. Het maximum is 200.
Taakherstelgegevens opslaan in doeldatabase
Selecteer deze optie om taakspecifieke herstelgegevens op te slaan in de doeldatabase. Als deze optie is geselecteerd, maakt de replicatietaak een tabel met de naam attrep_txn_state in de doeldatabase. Deze tabel bevat transactiegegevens die gebruikt kunnen worden om een taak te herstellen voor het geval dat de bestanden in de gegevensmap van Gateway voor gegevensverplaatsing zijn beschadigd of als het opslagapparaat dat de gegevensmap bevat niet juist werkt.
Wijzigingen toepassen met SQL MERGE
Als deze optie niet is geselecteerd, voert de replicatietaak afzonderlijke INSERT-, UPDATE- en DELETE-instructies bulksgewijs uit voor elk wijzigingstype in de tabel Net Changes.
Deze methode is dan zeer efficiënt, maar het inschakelen van de optie Wijzigingen toepassen met SQL MERGE werkt zelfs nog beter bij het werken met eindpunten die deze optie ondersteunen.
Dit komt door de volgende redenen:
- Hierdoor vermindert het aantal uitvoeringen van SQL-instructies per tabel van drie naar één. Bij de meeste UPDATE-bewerkingen in grote, onveranderbare op bestanden gebaseerde clouddatabases (zoals Google Cloud BigQuery) worden de getroffen bestanden opnieuw geschreven. Bij dergelijke bewerkingen is de verlaging van drie SQL-instructies per tabel naar één zeer belangrijk.
- De doeldatabase hoeft de tabel Net Changes slechts één keer te scannen, wat aanzienlijk veel I/O bespaart.
Invoegingen optimaliseren
Als Wijzigingen toepassen met SQL MERGE is geselecteerd samen met de optie Invoegingen optimaliseren en de wijzigingen bestaan alleen uit INSERT's, voert de replicatietaak INSERT's uit in plaats dat SQL MERGE wordt gebruikt. Dit zal doorgaans de prestaties verbeteren en zo kosten verlagen, maar het kan ook resulteren in dubbele records in de doeldatabase.
- De opties Wijzigingen toepassen met SQL MERGE1 en Invoegingen optimaliseren zijn alleen beschikbaar voor taken die zijn geconfigureerd met de volgende doeleindpunten:
- Google Cloud BigQuery
- Databricks
- Snowflake
- De opties Wijzigingen toepassen met SQL MERGE1 en Invoegingen optimaliseren zijn alleen beschikbaar voor taken die zijn geconfigureerd met de volgende doeleindpunten:
- Salesforce
- Oracle
-
Als de optie Wijzigingen toepassen met SQL MERGE is ingeschakeld:
- Herstelbare gegevensfouten of gegevensfouten die niet hersteld kunnen worden, worden verwerkt als tabelfouten.
- Het afhandelingsbeleid voor toepassingsconflicten kan met de volgende instellingen niet worden bewerkt.
- Geen record gevonden voor het toepassen van een VERWIJDERING: record negeren
Sleutel dupliceren bij toepassing van INVOEGEN: Het bestaande doelrecord BIJWERKEN
InformatieAls de optie Invoegingen optimaliseren ook is geselecteerd, wordt de optie Sleutel dupliceren bij toepassing van INVOEGEN ingesteld op Duplicaten in het doel toestaan.- Geen record gevonden voor het toepassen van een UPDATE: Het ontbrekende doelrecord INVOEGEN
- Escalatie-actie: Record registeren in uitzonderingstabel
- De volgende opties Voor andere gegevensfouten Afhandelingsbeleid voor gegevensfouten zijn niet beschikbaar:
- Record negeren
- Record registeren in uitzonderingstabel
- De werkelijke SQL MERGE-bewerking wordt alleen uitgevoerd op de definitieve doeltabellen. INSERT-bewerkingen worden uitgevoerd op de tussenliggende wijzigingstabellen (als de replicatiemodi Wijzigingen toepassen of Wijzigingen opslaan zijn ingeschakeld).
Transactioneel toepassen
De volgende instellingen zijn alleen beschikbaar als de Toepassingsmodus is ingesteld op Transactioneel.
-
Minimumaantal wijzigingen per transactie: het minimumaantal wijzigingen dat in elke transactie wordt opgenomen. De standaardwaarde is 1000.
InformatieDe replicatietaak past wijzigingen op het doel toe als het aantal wijzigingen gelijk is aan of groter is dan de waarde Minimumaantal wijzigingen per transactie OF als de waarde voor de time-out van batches is bereikt (zie hieronder) - naargelang wat eerst plaatsvindt. Omdat de frequentie van wijzigingen die worden toegepast op het doel door deze twee parameters wordt beheerd, worden wijzigingen in de bronrecords mogelijk niet direct in de doelrecords weergegeven. - Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden): de maximumtijd om transacties in batches te verzamelen voordat er een time-out optreedt. De standaardwaarde is 1.
Tekensubstitutie
U kunt brontekens in de doeldatabase vervangen of verwijderen of u kunt brontekens vervangen of verwijderen die niet door een geselecteerde tekenset worden ondersteund.
Alle tekens moeten worden gespecificeerd als Unicode-codepunten.
- Tekens worden ook vervangen in controletabellen van de controletabellen.
Ongeldige waarden worden aangegeven met een rode driehoek in de rechterbovenhoek van de tabelcel. Als u met de muiscursor op de driehoek gaat staan, wordt het foutbericht getoond.
Transformaties op tabelniveau of algemene transformaties die voor de taak zijn gedefinieerd, worden uitgevoerd nadat de tekens zijn vervangen.
Vervangingsacties die zijn gedefinieerd in de tabel Brontekens substitueren of verwijderen worden uitgevoerd voorafgaand aan de vervangingsactie die is gedefinieerd in de tabel Brontekens substitueren of verwijderen die niet worden ondersteund door de geselecteerde tekenset.
- Tekenvervanging ondersteunt geen LOB‑gegevenstypen.
Brontekens vervangen of verwijderen
Gebruik de tabel Brontekens substitueren of verwijderen om vervangingen voor specifieke brontekens te definiëren. Dit kan bijvoorbeeld handig zijn als de Unicode-weergave van een teken anders is op de bron- en doelplatformen. Op Linux bijvoorbeeld wordt het minusteken in de Shift_JIS tekenset vertegenwoordigd door U+2212, maar op Windows wordt dit vertegenwoordigd als U+FF0D.
Naar | Doe dit |
---|---|
Definieer substitutie-acties. |
|
Het opgegeven bron- of doelteken bewerken | Klik op aan het einde van een rij en selecteer Bewerken. |
Vermeldingen uit de tabel verwijderen | Klik op aan het einde van een rij en selecteer Verwijderen. |
Brontekens vervangen of verwijderen die niet worden ondersteund door de geselecteerde tekenset.
Gebruik de tabel Niet-ondersteunde tekens per tekenset om een afzonderlijk vervangingsteken te definiëren voor alle tekens die niet worden ondersteund door de geselecteerde tekenset.
Naar | Doe dit |
---|---|
Definieer of bewerk een substitutie-actie. |
|
Schakel de substitutie-actie uit. | Selecteer de lege vermelding in de vervolgkeuzelijst Tekenset. |
Meer opties
Deze opties worden niet weergegeven in de gebruikersinterface omdat ze alleen relevant zijn voor specifieke versies of omgevingen. Deze opties dienen daarom niet te worden ingesteld tenzij hier expliciet opdracht voor wordt gegeven door Qlik Support of in de productdocumentatie.
Kopieer de optie naar het veld Kenmerknaam toevoegen en klik op Toevoegen om een optie in te stellen. Stel vervolgens de waarde in of schakel de optie in op basis van de instructies die u hebt ontvangen.
Taken plannen bij het werken zonder Gateway voor gegevensverplaatsing
Gateway voor gegevensverplaatsing wordt niet ondersteund met een Qlik Talend Cloud Starter-abonnement en is optioneel bij andere abonnementsniveaus. Bij het werken zonder Gateway voor gegevensverplaatsing wordt vrijwel directe CDC (wijzigingsgegevens vastleggen (niet ondersteund). U houdt de doelgegevens actueel door een planningsinterval in te stellen. Het schema bepaalt hoe vaak de doelgegevensverzamelingen worden bijgewerkt met wijzigingen van de brongegevensverzamelingen. Waar het schema de bijwerkfrequentie bepaalt, bepaalt het type gegevensverzameling juist de bijwerkmethode. Als de bronmetagegevens CDC ondersteunen, worden alleen de wijzigingen van de brongegevens gerepliceerd en toegepast op de betreffende doeltabellen. Ondersteunen de brongegevensverzamelingen CDC niet (zoals, Weergaven), worden wijzigingen toegepast door alle brongegevens te laden naar de betreffende doeltabellen. In het geval enkele brongegevensverzamelingen CDC ondersteunen en andere niet, worden er twee afzonderlijke subtaken gemaakt (ervan uitgaand dat de replicatieopties Wijzigingen toepassen of Wijzigingen opslaan zijn geselecteerd): één voor het laden van de gegevensverzamelingen die geen CDC ondersteunen en één subtaak voor het vastleggen van de wijzigingen naar gegevensverzamelingen die CDC wel ondersteunen. In dit geval wordt sterk aanbevolen om hetzelfde schema in te stellen voor beide subtaken om de consistentie van gegevens te garanderen.
Raadpleeg Minimumaantal toegestane planningsintervallen voor informatie over minimum planningsintervallen op basis van type gegevensbron en abonnementsniveau.
Ga als volgt te werk om de planning te wijzigen:
Open uw project en voer een van het volgende uit:
- Klik in de taakweergave op van een replicatietaak en selecteer Planning.
- Klik in de pijplijnweergave op van een replicatietaak en selecteer Planning.
- Open de replicatietaak en klik op de werkbalkknop Planning.
- Wijzig de planningsinstellingen naar wens en klik vervolgens op OK.