Instellingen voor cloudopslagdoelen

U kunt de standaardinstellingen voor het tijdelijk opslaan in datalake naar wens aanpassen.

Algemeen

Bijwerkmethode

U kunt gegevens tijdelijk opslaan in twee verschillende modi. U kunt de modus niet wijzigen nadat de tussenopslaagtaak voor datalake is voorbereid.

• Vastleggen van wijzigingsgegevens (CDC) met behulp van wijzigingstabellen: Datalake-tussenopslagtaken starten met een volledige lading (waarbij alle geselecteerde tabellen naar het doel worden geladen). De doelgegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture - vastleggen van wijzigingsgegevens).

  InformatieCDC (vastleggen van wijzigingsgegevens) van DDL-bewerkingen wordt niet ondersteund.

  Bij het werken met Data Movement gateway, behalve bij gebruik van een SaaS-applicatiebron, worden wijzigingen vrijwel direct van de bron vastgelegd. Als u werkt zonder Data Movement gateway of met SaaS-applicatiebronnen, worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Scheduling tasks.

• Herladen: Voert een volledige lading uit van de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig of periodiek worden uitgevoerd.

  InformatieDeze instelling is niet beschikbaar bij het gebruik van een connector van een SaaS-applicatie.

Te gebruiken map

Selecteer een van de volgende opties, afhankelijk van de bucketmap waarnaar u de bestanden wilt schrijven:

• Standaardmap

  De indeling van de standaardmap is <uw-projectnaam>/<uw-taaknaam>

• Hoofdmap

  De bestanden worden naar de hoofd-bucketmap geschreven.

• Map

  Geef een mapnaam op. De map wordt tijdens de gegevenstaak gemaakt als deze nog niet bestaat.

  Informatie De mapnaam mag geen speciale tekens bevatten (bijvoorbeeld @, #, !, enzovoort).

Gegevens uploaden

Bestandskenmerken

Veldscheidingsteken

Het scheidingsteken dat wordt gebruikt om velden (kolommen) in de doelbestanden te scheiden. De standaardinstelling is een komma.

Voorbeeld van een komma als scheidingsteken gebruiken:

"mike","male"

Scheidingsteken kunnen standaardtekens of een hexadecimale (hex) waarde zijn. Merk op dat het "0x" prefix moet worden gebruikt om een hexadecimaal scheidingsteken aan te duiden (bijv. 0x01 = SOH0x01 = SOH). In de velden Veldscheidingsteken, Recordscheidingsteken en Null-waarde kan het scheidingsteken uit aaneengeschakelde hex-waarden bestaan (bijv. 0x0102 = SOHSTX), terwijl in de velden Aanhalingsteken en Wisselteken aanhalingsteken kan dit alleen een afzonderlijke hex-waarde zijn.

Het hexadecimaal getal 0x00 wordt niet ondersteund (d.w.z. alleen 0x01-0xFF wordt ondersteund).

Null-waarde

De tekenreeks die wordt gebruikt om een null-waarde in de doelbestanden aan te geven.

Voorbeeld (waarbij \n het recordscheidingsteken en @ de null-waarde is):

Recordscheidingsteken

Het scheidingsteken dat wordt gebruikt om records (rijen) in de doelbestanden te scheiden. De standaardinstelling is een regeleinde (\n).

Voorbeeld:

Aanhalingsteken

Het teken dat wordt gebruikt aan het begin en einde van een tekstkolom. De standaardinstelling is dubbele aanhalingstekens ("). Als een kolom die kolomscheidingstekens bevat tussen aanhalingstekens wordt geplaatst, worden de kolomscheidingstekens geïnterpreteerd als werkelijke gegevens en niet als kolomscheidingstekens.

Voorbeeld (waarbij @ het aanhalingsteken is):

Wisselteken aanhalingsteken

Het teken dat wordt gebruik om het aanhalingsteken niet te gebruiken in de werkelijke gegevens. De standaardinstelling is dubbele aanhalingstekens (").

Voorbeeld (waarbij " het aanhalingsteken en \ het wisselteken is):

Parquet-versie

Selecteer welke versie wordt gebruikt op basis van de versie die het doelplatform ondersteunt. Houd er rekening mee dat Parquet versie 1.0 alleen de tijdstempeleenheid MICRO ondersteunt, terwijl Parquet-versie 2.6 zowel de tijdstempeleenheden MICRO als NANO ondersteunt.

Eenheid Parquet-tijdstempel

Als de Parquet-versie is ingesteld op 2.6, kiest u MICRO of NANO. Als de Parquet-versie is ingesteld op 1.0, wordt alleen MICRO ondersteund.

Maximale LOB-grootte voor Parquet (kB)

De standaard maximum LOB-grootte is 64 KB en de maximumwaarde die in dit veld kunt opgeven is 10.000 KB. Voor de verwerking van LOB-kolommen zijn grotere hulpbronnen vereist, wat van invloed is op de prestaties. Verhoog deze waarde alleen als u LOB-gegevens repliceert die groter zijn dan 64 KB en alle LOB‑gegevens naar het doel gerepliceerd moeten worden.

Maximumbestandsgrootte

De maximumgrootte die een bestand kan bereiken voordat het wordt gesloten (en optioneel wordt gecomprimeerd).

De maximumgrootte die een bestand kan bereiken voordat het wordt gesloten. Kleinere bestanden worden mogelijk sneller geüpload (afhankelijk van het netwerk) en verbeteren de prestaties indien ze worden gebruikt in combinatie met de optie Parallelle uitvoering. Het wordt over het algemeen afgeraden om de database te vullen met kleine bestanden.

Bestanden comprimeren met

Kies een van de compressie-opties om de doelbestanden te comprimeren of GEEN (standaardinstelling) om ze ongecomprimeerd te laten. De beschikbare compressie-opties worden bepaald door de geselecteerde bestandsindeling.

Metagegevenskoptekst toevoegen

U kunt eventueel een veldnamenrij toevoegen aan de gegevensbestanden. De veldnamenrij kan de namen van de bronkolommen en/of de tussenliggende (d.w.z. Qlik Talend Data Integration) gegevenstypen bevatten.

Voorbeeld van een doelbestand met een veldnamenrij als zowel Met kolomnamen als Met gegevenstypen is geselecteerd:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Wijzigingsverwerking

In deze sectie worden de voorwaardelijke instellingen in Verwerken wijzigen beschreven.

Wijzigen toepassen/opslaan als

• Bestandsgrootte bereikt: geef de maximumgrootte op van wijzigingsgegevens die moeten worden samengevoegd voordat u het bestand uploadt naar het doel.
• Verstreken tijd bereikt: verstreken tijd bereikt x.

Metagegevensbestanden

Als de optie Metagegevensbestanden maken in de doelmap is geselecteerd voor elk gegevensbestand, wordt een bijbehorend metagegevensbestand met de extensie .dfm gemaakt in de opgegeven doelmap. De metegegevensbestanden geven extra informatie over de taak/gegevens, zoals het bronconnectortype, de naam van de brontabel, het aantal records in het gegevensbestand, enzovoort.

Voor een volledige beschrijving van het metagegevensbestand en mogelijke gebruikstoepassingen gaat u naar Beschrijving van het metagegevensbestand

Metagegevens

LOB-kolommen

LOB-kolommen opnemen en kolomgrootte beperken tot (KB)

U kunt ervoor kiezen om LOB-kolommen in de taak op te nemen en de maximale LOB-grootte in te stellen. LOB's die groter zijn dan de maximum LOB-grootte worden afgekapt.

Toewijzing JSON-kolom

Wijs compatibele JSON-kolommen van de bron toe aan JSON-kolommen in het doel

Wanneer deze optie is geselecteerd, worden JSON-kolommen in de bron automatisch toegewezen aan JSON-kolommen in het doel.

De status en zichtbaarheid van deze optie wordt bepaald door de volgende factoren:

• Nieuwe taken: Deze optie wordt standaard ingeschakeld als zowel de bron als het doel het JSON-gegevenstype ondersteunen.

• Bestaande taken: Deze optie is standaard uitgeschakeld, zelfs als zowel de bron als het doel het JSON-gegevenstype ondersteunen. Dit is om achterwaartse compatibiliteit te behouden met downstream processen - zoals transformaties - die verwachten dat de doelgegevens in STRING-indeling zijn (wat het verouderde gedrag is). U kunt de optie uitgeschakeld laten of u kunt de downstreamprocessen bewerken zodat ze compatibel zijn met de JSON-indeling en vervolgens deze optie inschakelen.

• Nieuwe en bestaande taken: Als alleen de bron het JSON-gegevenstype ondersteunt, is deze optie niet zichtbaar. Als JSON-ondersteuning in een later stadium aan het doel wordt toegevoegd, wordt de optie zichtbaar, maar blijft deze uitgeschakeld. Dit is om achterwaartse compatibiliteit te behouden met downstream processen - zoals transformaties - die verwachten dat de doelgegevens in STRING-indeling zijn (wat het verouderde gedrag is).

Controletabellen

Selecteer welke van de volgende controletabellen in het doelplatform moeten worden aangemaakt:

• Replicatiestatus: Geeft details over de huidige tussenopslagtaak, inclusief taakstatus, de hoeveelheid geheugen die door de taak wordt gebruikt, het aantal wijzigingen dat nog niet is toegepast op het gegevensplatform en de positie in de gegevensbron van waaruit de gegevens op dit moment worden gelezen.
• Tijdelijk ingetrokken tabellen: geeft een lijst met tijdelijk ingetrokken tabellen en de reden waarom ze tijdelijk zijn ingetrokken.
• Tussenopslaggeschiedenis: geeft informatie over de taakgeschiedenis, inclusief het aantal en volume aan records dat tijdens een tussenopslagtak wordt verwerkt, de latentie aan het einde van een CDC-taak en meer.
• Wijzig gegevenspartities: Geeft records van partities die zijn gemaakt in de doeldatabase vanwege Gegevenspartities wijzigen. U kunt deze informatie gebruiken om gepartioneerde gegevens te identificeren die nog verder verwerkt moeten worden.

Voor een gedetailleerde beschrijving van elk van de controletabellen, raadpleegt u Controletabellen

Volledige lading

Prestaties afstemmen

• Maximumaantal tabellen dat parallel wordt geladen: geef het maximumaantal tabellen op dat tegelijkertijd naar het doel wordt geladen. De standaardwaarde is 5.

• Time-out bij transactionele consistentie (seconden):geef het aantal seconden op dat gewacht wordt voordat open transacties worden gesloten en de bewerking Volledige lading wordt gestart. De standaardwaarde is 600 (10 minuten). De volledige lading wordt gestart nadat de waarde van de time-out is bereikt, zelfs als er open transacties aanwezig zijn.

  InformatieU moet de doeltabellen opnieuw laden om transacties te repliceren die open waren op het moment dat de volledige lading werd gestart, maar alleen werden doorgevoerd nadat de time-outwaarde is bereikt.
• Frequentie doorvoeren tijdens volledige lading: het maximumaantal gebeurtenissen dat samen kan worden overgedragen. De standaardwaarde is 10000.

Nadat volledige lading is voltooid

Primaire sleutel of unieke index maken: selecteer deze optie als u het maken van de primaire sleutel of unieke index op het gegevensplatform wilt uitstellen tot de volledige lading is voltooid.

Voor initiële lading

Wijzigingen opslaan

Wanneer u de update-methode Change Data Capture (CDC) selecteert, worden updates van de brongegevens opgeslagen in wijzigingstabellen op het doelplatform. Wijzigingstabellen leggen alle invoeg-, update- en verwijderbewerkingen van de bron vast, waardoor downstreamtoepassingen wijzigingen incrementeel kunnen verwerken.

Deze sectie beschrijft hoe u de opties voor wijzigingstabellen configureert: DDL-afhandeling, opslag van update-images en het gedrag bij het maken van tabellen.

Voor diepgaande informatie over wijzigingstabellen, zie Wijzigingstabellen gebruiken.

Basisinstellingen

DDL-opties

DDL (Data Definition Language)-opties bepalen hoe schemawijzigingen vanuit de bron worden verwerkt in de wijzigingstabellen.

• Toepassen op wijzigingstabel: Wanneer u deze optie selecteert, past het systeem automatisch DDL-wijzigingen van de brontabellen (zoals het toevoegen of verwijderen van kolommen) toe op de bijbehorende wijzigingstabellen. Gebruik deze optie wanneer uw downstreamtoepassingen wijzigingstabellen nodig hebben om alle schemawijzigingen van de bron weer te geven.

• Negeren: Het systeem negeert alle DDL-wijzigingen in de bron. De structuur van de wijzigingstabel blijft ongewijzigd. Gebruik deze optie wanneer DDL-wijzigingen in de bron de opgeslagen wijzigingen niet mogen beïnvloeden, of wanneer uw doelsysteem vaste tabelschema's vereist.

Geavanceerde instellingen

Bij update

De instellingen voor 'Bij UPDATE' bepalen welke gegevens worden vastgelegd wanneer een bronrecord wordt bijgewerkt.

Opslaan vóór en na afbeelding: Het systeem legt zowel de oorspronkelijke gegevens (vóór de update) als de gewijzigde gegevens (na de update) vast. Deze optie vereist meer opslagruimte, maar biedt volledige auditinformatie, waardoor vervolgsystemen oude en nieuwe waarden kunnen vergelijken of complexe wijzigingsanalyses kunnen uitvoeren. Gebruik dit wanneer uw applicaties volledige wijzigingscontext nodig hebben.

Wanneer deze optie is uitgeschakeld, legt het systeem alleen de gewijzigde gegevens vast (na de update), niet de oorspronkelijke waarden. Deze optie vermindert opslagvereisten op het doel. Gebruik dit wanneer u alleen de huidige staat van gewijzigde records nodig hebt en geen historische waarden van vóór de wijziging vereist.

Aanmaken wijzigingstabel

Overschrijven van de standaard wijzigingstabelsuffix en koptekstkolomprefix

• Achtervoegsel: Geef een tekenreeks op om te gebruiken als achtervoegsel voor alle wijzigingstabellen. De standaardwaarde is __ct. De naam van de wijzigingstabel is de naam van de doeltabel met de toegevoegde suffix. Bij de standaardwaarde is de naam van de wijzigingstabel bijvoorbeeld HR__ct.
• Voorvoegsel kopkolom: Geef een tekenreeks op om te gebruiken als voorvoegsel voor alle kopkolommen van de wijzigingstabel. De standaardwaarde is header__. Bij gebruik van de standaardwaarde, krijgt de kopkolom stream_position de naam header__stream_position.

Bepalen hoe bestaande wijzigingstabellen worden afgehandeld wanneer volledige lading wordt gestart

Wanneer een volledige lading start, bepalen deze instellingen hoe bestaande wijzigingstabellen op het doel worden afgehandeld. Selecteer de optie die het beste past bij uw vereisten voor gegevensherstel en -opslag:

• VERWIJDEREN en MAKEN: Het systeem verwijdert de bestaande wijzigingstabel volledig en maakt een nieuwe, lege tabel aan. Alle eerder opgeslagen wijzigingen zijn verwijderd. Gebruik dit wanneer u een frisse start wilt met elke volledige lading cyclus.

• Oude wijzigingen verwijderen en nieuwe wijzigingen opslaan in de bestaande wijzigingstabel: Het systeem verwijdert alle gegevens uit de bestaande wijzigingstabel zonder de structuur of metagegevens ervan te beïnvloeden. Nieuwe wijzigingen worden in dezelfde tabel opgeslagen. Gebruik dit wanneer u de tabelstructuur wilt behouden, maar eerdere wijzigingen wilt wissen.

• Oude wijzigingen behouden en nieuwe wijzigingen opslaan in de bestaande wijzigingstabel: Het systeem behoudt alle bestaande gegevens en metagegevens in de wijzigingstabel. Nieuwe wijzigingen worden toegevoegd aan de bestaande gegevens. Gebruik dit wanneer u alle wijzigingen over meerdere volledige lading cycli moet verzamelen.

Gegevenspartities wijzigen

Bij een standaard tussenopslagtaak (zonder wijzigingsgegevenspartitionering) worden wijzigingen in een willekeurige volgorde in het doel opgeslagen. Met Gegevenspartitie wijzigen kunnen wijzigingsgegevens van veel tabellen consistent worden verwerkt. U kunt de duur van partities evenals als de basistijd van de partities definiëren om de algehele consistentie van de gepartioneerde gegevens te garanderen (d.w.z. geen gedeeltelijke transacties, geen orderkoppen zonder orderrijen enz.).

Informatie over de partities wordt geregistreerd in de controletabel attrep_cdc_partitions in de doeldatabase. U kunt deze informatie gebruiken om gepartioneerde gegevens te identificeren die nog verder verwerkt moeten worden.

Inzicht in hoe partitionering werkt volgens brontype

• Van databasebronnen:

  Bij een standaard tussenopslagtaak (zonder wijzigingsgegevenspartitionering) worden wijzigingen in een willekeurige volgorde in het doel opgeslagen. Met Gegevenspartitie wijzigen kunnen wijzigingsgegevens van veel tabellen consistent worden verwerkt. U kunt de duur van partities evenals als de basistijd van de partities definiëren om de algehele consistentie van de gepartioneerde gegevens te garanderen (d.w.z. geen gedeeltelijke transacties, geen orderkoppen zonder orderrijen enz.).

  • Geplande CDC: Partities worden aangemaakt wanneer de geplande taakinstantie wordt uitgevoerd. Dus, als een taak bijvoorbeeld elke dag om middernacht is gepland, en Partitie elke is ingesteld op 4 uur, dan zal het aantal gemaakte partities de tijd weergeven waarop de commits hebben plaatsgevonden gedurende de laatste 24 uur. Als er commits plaatsvonden van 01:00-03:00 en 16:15-18:00 en de Basistijd partitionering is ingesteld op 0:00 uur, dan worden er twee partities gemaakt: 0:00-04:00 en 16:00-20:00.

  • Continue CDC: Als Partitie om de is ingesteld op 4 uur, maakt Replicate elke 4 uur een partitie die alle commits bevat die gedurende die periode plaatsvonden. Als er gedurende 4 uur geen commits waren, dan wordt er geen partitie aangemaakt voor die periode.

• Van SaaS-applicatiebronnen:

  Taken die gegevens extraheren uit SaaS-applicatiebronnen zijn altijd gepland. Partities zijn gebaseerd op de tijd van gegevensextractie, aangezien het concept van commits niet bestaat in SaaS-applicatiebronnen. Gegevensextractie begint wanneer de geplande taakinstantie wordt uitgevoerd. Dus, als een taak bijvoorbeeld elke dag om middernacht is gepland, en Partitie elke is ingesteld op 4 uur, dan zal het aantal gemaakte partities de duur van de gegevensextractie vertegenwoordigen. Als de gegevensextractie minder dan twee uur duurt, wordt één partitie aangemaakt. Maar als de extractie zes uur duurt (bijvoorbeeld), worden er twee partities gemaakt.

Partitioneringsopties

• Partitie om de - Geef de lengte (in uren en minuten) van elke partitie op.

  Informatie

  Aanbevolen wordt om een partitielengte van meer dan één uur op te geven. De latentie verbetert mogelijk als u een partitielengte van minder dan één uur opgeeft, maar veel partities in het doel maken kan ook invloed hebben op de prestaties (van het doel), met name in systemen met veel wijzigingen.

  Als u een taak hervat van de tijd voordat de laatste partitie is gemaakt, schrijft de tussenopslagtaak voor datalake naar een partitie die al is gesloten.

• Basistijd partitionering - Partities worden gemaakt gedurende een periode van 24 uur die wordt berekend volgens de gespecificeerde Basistijd partitionering in de brondatabase (in UTC-tijd). Bijvoorbeeld: een partitie-interval van 8 uur met een Basistijd partitionering van 02:00 uur, maakt de volgende partities: 02:00-10:00, 10:00-18:00 en 18:00-02:00, maar niet noodzakelijkerwijs in die volgorde. Als een taak bijvoorbeeld om 01:00 uur is gestart, is het tijdsbestek van de eerste partitie 18:00-02:00. Daarnaast geldt dat als een taak in het midden van een partitie is gestart (bijvoorbeeld om 04:00), dan worden de wijzigingsgegevens ingevoegd in de partitie van 02:00-10:00, ook al zijn er vóór 04:00 geen wijzigingen vastgelegd.

Tabelkopkolommen

De wijzigingstabel bevat systeemmetadatacolommen met een configureerbaar voorvoegsel. Standaard worden deze kolommen voorafgegaan door header__ (bijvoorbeeld header__stream_position, header__operation). Deze kolommen geven informatie over elke wijzigingsrecord, zoals het bewerkingstype (INSERT, UPDATE, DELETE) en de volgorde waarin wijzigingen zijn opgetreden.

U kunt specifieke kopkolommen uitsluiten uit de wijzigingstabel als u die metadata niet nodig hebt. Dit vermindert de opslagvereisten op het doelplatform.

Fout bij verwerking

Gegevensfouten

Fouten in het afkappen van gegevens

Voor fouten in het afkappen van gegevens: Selecteer wat er moet gebeuren als er een afkapping plaatsvindt in een of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Overige gegevensfouten

Voor overige gegevensfouten: Selecteer wat er moet gebeuren als er een fout ontstaat in één of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking van gegevens escaleren

Foutverwerking escaleren wanneer gegevensfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal niet-afgekapte gegevensfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: Kies wat er moet gebeuren wanneer foutverwerking wordt geëscaleerd. Houd er rekening mee dat de beschikbare acties afhankelijk zijn van de actie die is geselecteerd in de vervolgkeuzelijst Voor overige gegevensfouten die hierboven wordt beschreven.

• Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet landed.

• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Tabelfouten

Wanneer een tabelfout ontstaat: selecteer een van het volgende uit de vervolgkeuzelijst:

• Tabel opschorten (standaard): de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
• Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking escaleren wanneer tabelfouten ontstaan (per tabel):: schakel dit selectievakje in om foutverwerking te escaleren als het aantal tabelfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: het escalatiebeleid voor tabelfouten is ingesteld op Taak stoppen en dit kan niet worden gewijzigd.

Omgevingsgerelateerd

• Maximum aantal nieuwe pogingen: Selecteer deze optie en geef vervolgens het maximumaantal pogingen op voor het opnieuw proberen van een taak als er een herstelbare omgevingsgerelateerde fout plaatsvindt. Nadat u hebt geprobeerd de taak het opgegeven aantal keer opnieuw uit te voeren, wordt de taak gestopt en moet u handmatig ingrijpen.

  Schakel het selectievakje uit of geef '0' op om de taak niet te proberen de taak opnieuw uit te voeren.

  Geef '-1' op om een oneindig aantal keren te proberen de taak opnieuw uit te voeren.

  • Interval tussen nieuwe pogingen (seconden): Gebruik de teller om het aantal seconden te selecteren of in te voeren dat het systeem wacht tussen nieuwe pogingen.

    Geldige waarden zijn 0-2.000.

• Interval voor opnieuw proberen bij lange storingen vergroten: Schakel dit selectievakje in om de interval voor opnieuw proberen te verhogen voor lange storingen. Als deze optie is ingeschakeld, verdubbelt de interval tussen elke nieuwe poging en de volgende poging totdat de Maximuminterval voor nieuwe pogingen is bereikt (en er door wordt gegaan met nieuwe pogingen op basis van de opgegeven maximuminterval).
  • Maximuminterval voor nieuwe pogingen (seconden): Gebruik de teller om te selecteren of in te voeren hoeveel seconden er gewacht wordt tussen pogingen om een taak opnieuw uit te voeren als de optie Interval voor opnieuw proberen bij lange storingen vergroten is ingeschakeld. Geldige waarden zijn 0-2.000.

Verwerking van wijzigingen afstemmen

Afstemming transactionele offload

• Offload transacties in voortgang naar de schijf als:

  Transactiegegevens worden meestal in het geheugen bewaard totdat deze volledig doorgevoerd zijn naar de bron of het doel. Transacties die groter zijn dat het toegewezen geheugen of die niet zijn doorgevoerd binnen de opgegeven tijdslimiet worden geoffloaded naar de schijf.

  • Totale geheugengrootte transacties overschrijdt (MB): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De standaardwaarde is 1024.
  • Duur transacties overschrijdt (seconden): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De duur wordt berekend vanaf het moment dat Qlik Talend Data Integration is begonnen met het vastleggen van de transactie. De standaardwaarde is 60.

Batch afstemmen

• Minimumaantal wijzigingen per transactie: Het minimumaantal wijzigingen dat in elke transactie wordt opgenomen. De standaardwaarde is 1000.

  Informatie

  De wijzigingen worden toegepast op het doel als het aantal wijzigingen gelijk is aan of groter is dan de waarde Minimumaantal wijzigingen per transactie OF als de waarde Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden) die hieronder wordt beschreven is bereikt - naargelang wat als eerste wordt bereikt. Omdat de frequentie van wijzigingen die worden toegepast op het doel door deze twee parameters wordt beheerd, worden wijzigingen in de bronrecords mogelijk niet direct in de doelrecords weergegeven.

• Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden): De maximumtijd om transacties in batches te verzamelen voordat er een time-out optreedt. De standaardwaarde is 1.

Interval

• Wijzigingen om de (minuten) lezen

  De interval tussen het lezen van wijzigingen van de bron in minuten. Het geldige bereik ligt tussen 1 en 1440.

  Informatie

  Deze optie is alleen voor taken die gebruikmaken van:

  • Data Movement gateway
  • Alleen de bijwerkmethode Wijzigingsgegevens vastleggen (CDC).

Controleren op wijzigingen

• Volgens het interval van delta-extractie: Wanneer deze optie is geselecteerd, controleert de gegevenstaak op wijzigingen volgens het interval van delta-extractie.

  InformatieHet interval begint na elke 'ronde'. Een ronde kan worden gedefinieerd als de tijd die de gegevenstaak nodig heeft om de wijzigingen uit de brontabellen te lezen en deze naar het doel te verzenden (als één transactie). De duur van een ronde varieert afhankelijk van het aantal tabellen en wijzigingen. Dus als u een interval van 10 minuten opgeeft en een ronde 4 minuten duurt, dan is de werkelijke tijd tussen het controleren op wijzigingen 14 minuten.

  • Interval voor delta-extractie: De frequentie waarmee delta's uit uw systeem worden geëxtraheerd. De standaardinstelling is 60 seconden.

• Zoals gepland: wanneer deze optie is geselecteerd, zal de gegevenstaak de delta één keer extraheren en dan stoppen. Het zal dan uitgevoerd blijven worden zoals gepland.

  InformatieDeze optie is alleen relevant als het interval tussen de CDC-cycli 24 uur of meer is.

  Voor informatie over planning:

  • "Gegevens tijdelijk opslaan in datalake" taken in een replicatieproject, zie CDC plannen voor tussenopslagtaken in lake

Diverse afstemmingen

• Grootte van de instructiecache (aantal instructies): Het maximumaantal voorbereide instructies om op de server te bewaren voor latere uitvoering (bij het toepassen van wijzigingen op het doel). De standaardwaarde is 50. Het maximum is 200.

• VERWIJDEREN en INVOEGEN bij het bijwerken van een primaire-sleutelkolom: Voor deze optie moet volledige aanvullende logboekregistratie zijn ingeschakeld in de brondatabase.

  InformatieDeze instelling is niet beschikbaar voor taken die een SaaS-applicatieconnector gebruiken, tenzij het een Lite-connector is.

Automatische schema-evolutie

Selecteer hoe de volgende soorten DDL-wijzigingen in het schema moeten worden verwerkt. Wanneer u de instellingen voor schema-evolutie hebt gewijzigd, moet u de taak opnieuw voorbereiden. De onderstaande tabel beschrijft welke acties beschikbaar zijn voor de ondersteunde DDL-wijzigingen.

Tekensubstitutie

U kunt brontekens in de doeldatabase vervangen of verwijderen of u kunt brontekens vervangen of verwijderen die niet door een geselecteerde tekenset worden ondersteund.

Brontekens vervangen of verwijderen

Gebruik de tabel Brontekens substitueren of verwijderen om vervangingen voor specifieke brontekens te definiëren. Dit kan bijvoorbeeld handig zijn als de Unicode-weergave van een teken anders is op de bron- en doelplatformen. Op Linux bijvoorbeeld wordt het minusteken in de Shift_JIS tekenset vertegenwoordigd door U+2212, maar op Windows wordt dit vertegenwoordigd als U+FF0D.

Brontekens vervangen of verwijderen die niet worden ondersteund door de geselecteerde tekenset.

Gebruik de tabel Niet-ondersteunde tekens per tekenset om een afzonderlijk vervangingsteken te definiëren voor alle tekens die niet worden ondersteund door de geselecteerde tekenset.

Segmenten van gegevensverzamelingen parallel laden

Tijdens de volledige lading kunt u het laden van grote gegevensverzamelingen versnellen door de gegevensverzameling op te splitsen in segmenten, die parallel geladen worden. Tabellen kunnen worden gesplitst op gegevensbereik, alle partities, alle subpartities of specifieke partities.

Ga voor meer informatie naar Segmenten van gegevensverzamelingen parallel repliceren.

Meer opties

Deze opties worden niet weergegeven in de gebruikersinterface omdat ze alleen relevant zijn voor specifieke versies of omgevingen. Deze opties dienen daarom niet te worden ingesteld tenzij hier expliciet opdracht voor wordt gegeven door Qlik Support of in de productdocumentatie.

Kopieer de optie naar het veld Kenmerknaam toevoegen en klik op Toevoegen om een optie in te stellen. Stel vervolgens de waarde in of schakel de optie in op basis van de instructies die u hebt ontvangen.

CDC plannen voor tussenopslagtaken in lake

In de volgende gebruiksscenario's moet u een planningsinterval definiëren om de doelgegevens up-to-date te houden:

• Bij toegang tot een gegevensbron zonder Data Movement gateway
• Gebruikmaken van een SaaS-applicatieconnector die geen Lite-connector is.
• Bij het vastleggen van wijzigingen van een SAP OData-bron met behulp van de optie Zoals gepland.

Het schema bepaalt hoe vaak de doelgegevensverzamelingen worden bijgewerkt met wijzigingen van de brongegevensverzamelingen. Waar het schema de bijwerkfrequentie bepaalt, bepaalt het type gegevensverzameling de bijwerkmethode. Als een dataset CDC ondersteunt, worden alleen de wijzigingen in die dataset opgehaald en doorgegeven aan de betreffende doeltabel. Als een gegevensverzameling geen CDC ondersteunt, (bijvoorbeeld een Weergave), worden wijzigingen toegepast door de gehele gegevensverzameling opnieuw te laden. Met SaaS-applicatieconnectoren wordt één taak aangemaakt met de mogelijkheid om CDC-intervallen en herlaadintervallen te plannen tijdens de onboarding, en later in de planningsinstellingen van de taak. Wanneer andere connectortypen (bijvoorbeeld databases) worden gebruikt met de CDC-updatemethode, als sommige van de geselecteerde gegevensverzamelingen CDC ondersteunen en andere niet, worden er twee afzonderlijke subtaken gemaakt: één voor het ophalen van de wijzigingen in de gegevensverzamelingen die CDC ondersteunen, en de andere voor het opnieuw laden van de gegevensverzamelingen die geen CDC ondersteunen.

Ga als volgt te werk om de planning te wijzigen:

1. Open uw pijplijnproject en doe dan één van de volgende:

   • In de takenweergave, klikt u op op een gegevenstaak en selecteer Planning.
   • In pijplijnweergave, klik op een gegevenstaak en selecteer Planning.
   • Open de replicatietaak en klik op de werkbalkknop Planning.
2. Wijzig de planningsinstellingen naar wens en klik vervolgens op OK.

Een gemiste uitvoering voor een taak uitvoeren op basis van Data Movement gateway

Soms kan een netwerkprobleem ertoe leiden dat de verbinding met Data Movement gateway wordt verbroken. Als de verbinding met Data Movement gateway niet hersteld is vóór de volgende geplande run, kan de gegevenstaak niet volgens schema worden uitgevoerd. In dergelijke gevallen kunt u kiezen of u al dan niet een run onmiddellijk wilt uitvoeren nadat de verbinding is hersteld.

De standaardinstellingen voor alle Data Movement gateways zijn gedefinieerd in het Beheer-activiteitencentrum. U kunt deze instellingen voor afzonderlijke taken overschrijven zoals hieronder beschreven.

Ga als volgt te werk

1. Open uw project en voer een van het volgende uit:

   • In de takenweergave, klikt u op op de gegevenstaak en selecteer Planning.

   • In pijplijnweergave, klik op de gegevenstaak en selecteer Planning.

   • Open de gegevenstaak en klik op de werkbalkknop Planning.

   Het dialoogvenster Planning - <task> wordt geopend.

2. Schakel Aangepaste instellingen gebruiken voor deze taak in.

3. Onderaan het dialoogvenster kiest u een van de volgende opties voor Gemiste geplande taken uitvoeren.

   • Zo snel mogelijk en daarna zoals gepland als het belangrijk is om een taak uit te voeren vóór de volgende geplande instantie

   • Volgens planning om de taak uit te voeren bij de volgende geplande instantie

4. Sla uw instellingen op.

Zie ook: Een taakuitvoering uitvoeren na een gemist schema.