Instellingen voor cloudopslagdoelen

U kunt de standaardinstellingen voor data lake-tussenopslag naar wens wijzigen.

Algemeen

Updatemethode

U kunt gegevens in twee verschillende modi in de tussenopslag plaatsen. Het is niet mogelijk om de modus te wijzigen nadat de data lake-tussenopslagtaak is voorbereid.

• Wijzigingsgegevens vastleggen (CDC) met behulp van wijzigingstabellen: Tussenopslagtaken van de datalake starten met een volledige lading (waarbij alle geselecteerde tabellen naar het doel worden geladen). De doelgegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture - vastleggen van wijzigingsgegevens).

  InformatieCDC (vastleggen van wijzigingsgegevens) van DDL-bewerkingen wordt niet ondersteund.

  Bij het werken met Data Movement gateway worden wijzigingen van de bron vrijwel direct vastgelegd. Als u werkt zonder Data Movement gateway, worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Instellingen voor cloudopslagdoelen.

• Opnieuw laden: Voert een volledige lading uit van de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig of periodiek worden uitgevoerd.

Te gebruiken map

Selecteer een van de volgende, op basis van de bucketmap waarnaar de bestanden geschreven moeten worden:

• Standaardmap: De standaardmapindeling is <uw-project-naam>/<uw-taak-naam>
• Hoofdmap: De bestanden worden direct naar de bucket geschreven.

• Geef: Geef de naam van de map op. De map wordt gemaakt tijdens de uitvoering van de tussenopslagtaak van de datalake als de map niet bestaat.

  Informatie De mapnaam kan geen speciale tekens bevatten (zoals, @, #, !, enz.).

Gegevenspartitionering wijzigen

In een standaard tussenopslagtaak worden wijzigingen in willekeurige volgorde in de tussenopslag op het doel geplaatst. Met Change Data Partitioning kunnen wijzigingsgegevens uit veel tabellen op een consistente manier worden verwerkt. U kunt de duur van partities en de basistijd voor partitionering definiëren, waardoor de algehele consistentie van de gepartitioneerde gegevens wordt gewaarborgd (d.w.z. geen gedeeltelijke transacties, geen orderkoppen zonder orderregels, enzovoort).

Informatie over de partities wordt vastgelegd in de besturingstabel attrep_cdc_partitions in de doeldatabase. Deze informatie kan worden gebruikt om gepartitioneerde gegevens te identificeren die verder moeten worden verwerkt.

De partitioneringsopties zijn als volgt:

• Elke partitioneren - Geef de lengte (in uren en minuten) van elke partitie op.

  Informatie

  Het wordt aanbevolen om een partitielengte van meer dan een uur op te geven. Hoewel het opgeven van een partitielengte van minder dan een uur de latentie kan verbeteren, kan het maken van veel partities op het doel ook van invloed zijn op de (doel)prestaties (vooral in systemen met grote hoeveelheden wijzigingen).

  Als u een taak hervat van VOORDAT de laatste partitie is gemaakt, schrijft de data lake-tussenopslagtaak naar een partitie die al is gesloten.

• Basistijd partitie - Partities worden gemaakt gedurende een periode van 24 uur, die wordt berekend op basis van de opgegeven "Basistijd partitionering" in de brondatabase (in UTC-tijd). Een partitie-interval van 8 uur met een "Basistijd partitionering" van 02:00 uur maakt bijvoorbeeld de volgende partities: 02:00-10:00, 10:00-18:00, 18:00-02:00 - maar niet noodzakelijkerwijs in die volgorde. Als een taak bijvoorbeeld om 01:00 uur is gestart, is het tijdsbestek van de eerste partitie 18:00-02:00 uur. Bovendien, als een taak in het midden van een partitie is gestart (bijv. om 04:00 uur), worden de wijzigingsgegevens ingevoegd in de partitie 02:00-10:00 (ook al zijn er vóór 04:00 uur geen wijzigingen vastgelegd).

Gegevens uploaden

Bestandskenmerken

Veldscheidingsteken

Het scheidingsteken dat wordt gebruikt om velden (kolommen) in de doelbestanden te scheiden. De standaardwaarde is een komma.

Voorbeeld met een komma als scheidingsteken:

"mike","male"

Scheidingstekens kunnen standaardtekens of een hexadecimale (hex) waarde zijn. Merk op dat het voorvoegsel "0x" moet worden gebruikt om een hexadecimaal scheidingsteken aan te duiden (bijv. 0x01 = SOH). In de velden Veldscheidingsteken, Recordscheidingsteken en Null-waarde kan het scheidingsteken bestaan uit aaneengeschakelde hex-waarden (bijv. 0x0102 = SOHSTX), terwijl het in de velden Aanhalingsteken en Escape-teken voor aanhalingsteken slechts een enkele hex-waarde kan zijn.

Het hexadecimale getal 0x00 wordt niet ondersteund (d.w.z. alleen 0x01-0xFF worden ondersteund).

Null-waarde

De tekenreeks die wordt gebruikt om een null-waarde in de doelbestanden aan te geven.

Voorbeeld (waarbij \n het recordscheidingsteken is en @ de null-waarde is):

Recordscheidingsteken

Het scheidingsteken dat wordt gebruikt om records (rijen) in de doelbestanden te scheiden. De standaardwaarde is een nieuwe regel (\n).

Voorbeeld:

Aanhalingsteken

Het teken dat wordt gebruikt aan het begin en einde van een tekstkolom. De standaardwaarde is het dubbele aanhalingsteken ("). Wanneer een kolom die kolomscheidingstekens bevat, tussen dubbele aanhalingstekens staat, worden de kolomscheidingstekens geïnterpreteerd als werkelijke gegevens en niet als kolomscheidingstekens.

Voorbeeld (waarbij een @ het aanhalingsteken is):

Escape-teken voor aanhalingsteken

Het teken dat wordt gebruikt om een aanhalingsteken in de werkelijke gegevens te escapen. De standaardwaarde is het dubbele aanhalingsteken (").

Voorbeeld (waarbij " het aanhalingsteken is en \ het escape-teken is):

Parquet-versie

Selecteer welke versie u wilt gebruiken, afhankelijk van welke versie het doelplatform ondersteunt. Merk op dat Parquet-versie 1.0 alleen de tijdstempeleenheid MICRO ondersteunt, terwijl Parquet-versie 2.6 zowel de tijdstempeleenheden MICRO als NANO ondersteunt.

Parquet-tijdstempeleenheid

Wanneer de Parquet-versie is ingesteld op 2.6, kiest u MICRO of NANO. Wanneer de Parquet-versie is ingesteld op 1.0, wordt alleen MICRO ondersteund.

Maximale LOB-grootte Parquet (KB)

De standaard maximale LOB-grootte is 64 KB en de maximale waarde die u in dit veld kunt invoeren is 10.000 KB. Het verwerken van LOB-kolommen vereist meer bronnen, wat op zijn beurt de prestaties beïnvloedt. Verhoog deze waarde alleen als u LOB-gegevens repliceert die groter zijn dan 64 KB en u vereist dat alle LOB-gegevens naar het doel worden gerepliceerd.

Maximale bestandsgrootte

De maximale grootte die een bestand kan bereiken voordat het wordt gesloten (en optioneel gecomprimeerd).

De maximumgrootte die een bestand kan bereiken voordat het wordt gesloten. Kleinere bestanden worden mogelijk sneller geüpload (afhankelijk van het netwerk) en verbeteren de prestaties indien ze worden gebruikt in combinatie met de optie Parallelle uitvoering. Het wordt over het algemeen afgeraden om de database te vullen met kleine bestanden.

Bestanden comprimeren met

Kies een van de compressieopties om de doelbestanden te comprimeren of NONE (de standaardwaarde) om ze ongecomprimeerd te laten. Merk op dat de beschikbare compressieopties worden bepaald door de geselecteerde bestandsindeling.

Metagegevenskoptekst toevoegen

U kunt eventueel een veldnamenrij toevoegen aan de gegevensbestanden. De veldnamenrij kan de namen van de bronkolommen en/of de tussenliggende (d.w.z. Qlik Talend Data Integration) gegevenstypen bevatten.

Voorbeeld van een doelbestand met een veldnamenrij als zowel Met kolomnamen als Met gegevenstypen is geselecteerd:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Wijzigingsverwerking

Deze sectie beschrijft voorwaardelijke instellingen in Wijzigingsverwerking.

Wijzigingen toepassen/opslaan wanneer

• Bestandsgrootte bereikt: Geef de maximale grootte van wijzigingsgegevens op die moet worden verzameld voordat het bestand naar het doel wordt geüpload.
• Verstreken tijd bereikt: Verstreken tijd bereikt x.

Metagegevensbestanden

Wanneer de optie Metagegevensbestanden maken in de doelmap is geselecteerd, wordt voor elk gegevensbestand een bijbehorend metagegevensbestand met de extensie .dfm gemaakt in de opgegeven doelmap. De metagegevensbestanden bieden aanvullende informatie over de taak/gegevens, zoals het type bronconnector, de naam van de brontabel, het aantal records in het gegevensbestand, enzovoort.

Voor een volledige beschrijving van het metagegevensbestand en mogelijke toepassingen, raadpleegt u Beschrijving van het metagegevensbestand

Metagegevens

LOB-kolommen

LOB-kolommen opnemen en kolomgrootte beperken tot (KB)

U kunt ervoor kiezen om LOB-kolommen in de taak op te nemen en de maximale LOB-grootte in te stellen. LOB's die groter zijn dan de maximale grootte, worden afgekapt.

JSON-kolomtoewijzing

Wijs compatibele JSON-kolommen van de bron toe aan JSON-kolommen in het doel

Wanneer deze optie is geselecteerd, worden JSON-kolommen in de bron automatisch toegewezen aan JSON-kolommen in het doel.

De status en zichtbaarheid van deze optie wordt bepaald door de volgende factoren:

• Nieuwe taken: Deze optie wordt standaard ingeschakeld als zowel de bron als het doel het JSON-gegevenstype ondersteunen.

• Bestaande taken: Deze optie is standaard uitgeschakeld, zelfs als zowel de bron als het doel het JSON-gegevenstype ondersteunen. Dit is om achterwaartse compatibiliteit te behouden met stroomafwaartse processen - zoals transformaties - die verwachten dat de doelgegevens in STRING-indeling zijn (wat het verouderde gedrag is). U kunt de optie uitgeschakeld laten of u kunt de downstreamprocessen bewerken zodat ze compatibel zijn met de JSON-indeling en vervolgens deze optie inschakelen.

• Nieuwe en bestaande taken: Als alleen de bron het JSON-gegevenstype ondersteunt, is deze optie niet zichtbaar. Als JSON-ondersteuning in een later stadium aan het doel wordt toegevoegd, wordt de optie zichtbaar, maar blijft deze uitgeschakeld. Dit is om achterwaartse compatibiliteit te behouden met downstream processen - zoals transformaties - die verwachten dat de doelgegevens in STRING-indeling zijn (wat het verouderde gedrag is).

Besturingstabellen

Selecteer welke van de volgende besturingstabellen u op het doelplatform wilt maken:

• Replicatiestatus: Biedt details over de huidige tussenopslagtaak, waaronder de taakstatus, de hoeveelheid geheugen die door de taak wordt verbruikt, het aantal wijzigingen dat nog niet is toegepast op het gegevensplatform en de positie in de gegevensbron van waaruit de gegevens momenteel worden gelezen.
• Opgeschorte tabellen: Biedt een lijst met opgeschorte tabellen en de reden waarom ze zijn opgeschort.
• Replicatiegeschiedenis: Biedt informatie over de taakgeschiedenis, waaronder het aantal en het volume van de records die zijn verwerkt tijdens een tussenopslagtaak, de latentie aan het einde van een CDC-taak en meer.
• Wijzigingsgegevenspartities: Biedt records van partities die in de doeldatabase zijn gemaakt als gevolg van Gegevenspartitionering wijzigen. U kunt deze informatie gebruiken om gepartitioneerde gegevens te identificeren die verder moeten worden verwerkt.

Voor een gedetailleerde beschrijving van elk van de besturingstabellen, raadpleegt u Controletabellen

Volledige lading

Prestatieafstemming

• Maximumaantal tabellen om parallel te laden: Voer het maximumaantal tabellen in dat tegelijkertijd in het doel moet worden geladen. De standaardwaarde is 5.

• Time-out voor transactieconsistentie (seconden): Voer het aantal seconden in dat moet worden gewacht tot openstaande transacties zijn gesloten, voordat de bewerking voor volledige lading begint. De standaardwaarde is 600 (10 minuten). De volledige lading start nadat de time-outwaarde is bereikt, zelfs als er nog transacties openstaan.

  InformatieOm transacties te repliceren die openstonden toen de volledige lading startte, maar pas werden vastgelegd nadat de time-outwaarde was bereikt, moet u de doeltabellen opnieuw laden.
• Vastleggingssnelheid tijdens volledige lading: Het maximumaantal gebeurtenissen dat samen kan worden overgedragen. De standaardwaarde is 10000.

Nadat de volledige lading is voltooid

Primaire sleutel of uniek maken: Selecteer deze optie als u het maken van de primaire sleutel of unieke index op het gegevensplatform wilt uitstellen tot nadat de volledige lading is voltooid.

Voor initiële lading

Bij het verplaatsen van gegevens vanuit een SaaS-applicatiebron, kunt u instellen hoe de initiële volledige lading moet worden uitgevoerd:

Verwerking van wijzigingen opslaan

De koptekstkolommen van de wijzigingstabel bieden informatie over de bewerking voor wijzigingsverwerking, zoals het type bewerking (bijvoorbeeld INSERT), de vastleggingstijd, enzovoort. Als u deze informatie niet nodig hebt, kunt u de gegevenstaak configureren om de wijzigingstabellen te maken zonder enkele of alle koptekstkolommen, waardoor hun voetafdruk in de doeldatabase wordt verkleind. Schakel hiervoor de selectievakjes uit voor de koptekstkolommen die u wilt uitsluiten.

Merk op dat u geen extra kolommen kunt verwijderen of kolommen kunt herstellen terwijl een taak wordt uitgevoerd. Om uw initiële selectie te wijzigen, moet u eerst de taak stoppen, vervolgens uw selectie wijzigen en ten slotte de doeltabellen opnieuw laden.

Voor een beschrijving van de koptekstkolommen, zie Wijzigingstabellen gebruiken.

Foutafhandeling

Gegevensfouten

Fouten bij afkappen van gegevens

Voor fouten in het afkappen van gegevens: Selecteer wat er moet gebeuren als er een afkapping plaatsvindt in een of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Andere gegevensfouten

Voor overige gegevensfouten: Selecteer wat er moet gebeuren als er een fout ontstaat in één of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Afhandeling van gegevensfouten escaleren

Foutverwerking escaleren wanneer gegevensfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal niet-afgekapte gegevensfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: Kies wat er moet gebeuren wanneer foutverwerking wordt geëscaleerd. Houd er rekening mee dat de beschikbare acties afhankelijk zijn van de actie die is geselecteerd in de vervolgkeuzelijst Voor overige gegevensfouten die hierboven wordt beschreven.

• Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet landed.

• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Tabelfouten

Aantal nieuwe pogingen voordat een tabel fout wordt geretourneerd

Met deze optie kunt u bepalen wanneer het beleid voor tabel foutafhandeling wordt geactiveerd. Standaard, nadat een tabel fout is opgetreden, wordt de tabel opgeschort of de taak gestopt (afhankelijk van de geselecteerde actie) na drie nieuwe pogingen. Soms treedt een tabel fout op als gevolg van gepland onderhoud van de SaaS-applicatie. In deze gevallen is het standaard aantal nieuwe pogingen mogelijk niet voldoende om het onderhoud te voltooien voordat het beleid voor tabel foutafhandeling wordt geactiveerd. Dit hangt ook af van het planningsinterval van de taak, aangezien een nieuwe poging wordt uitgevoerd elke keer dat de taak wordt uitgevoerd. Dus, bijvoorbeeld, als u een taak plant om elk uur uit te voeren en de SaaS-applicatie offline wordt gehaald voor onderhoud precies wanneer de taak begint te draaien, zorgt de standaard van drie nieuwe pogingen ervoor dat de SaaS-applicatie tot drie uur offline kan zijn zonder dat het beleid voor tabel foutafhandeling wordt geactiveerd. Een langer onderhoudsvenster zou vereisen dat u het aantal nieuwe pogingen verhoogt (of de planning wijzigt) om te voorkomen dat het beleid voor tabel foutafhandeling wordt geactiveerd.

Samenvattend, als u weet dat uw SaaS-applicatie periodiek onderhoud ondergaat, is het een goede gewoonte om het aantal nieuwe pogingen te verhogen volgens de planning, zodat het onderhoud kan worden voltooid zonder dat het beleid voor tabel foutafhandeling wordt geactiveerd.

Wanneer een tabelfout ontstaat: selecteer een van het volgende uit de vervolgkeuzelijst:

• Tabel opschorten (standaard): de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
• Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking escaleren wanneer tabelfouten ontstaan (per tabel):: schakel dit selectievakje in om foutverwerking te escaleren als het aantal tabelfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: het escalatiebeleid voor tabelfouten is ingesteld op Taak stoppen en dit kan niet worden gewijzigd.

Omgeving

• Maximum aantal nieuwe pogingen: Selecteer deze optie en geef vervolgens het maximumaantal pogingen op voor het opnieuw proberen van een taak als er een herstelbare omgevingsgerelateerde fout plaatsvindt. Nadat u hebt geprobeerd de taak het opgegeven aantal keer opnieuw uit te voeren, wordt de taak gestopt en moet u handmatig ingrijpen.

  Schakel het selectievakje uit of geef '0' op om de taak niet te proberen de taak opnieuw uit te voeren.

  Geef '-1' op om een oneindig aantal keren te proberen de taak opnieuw uit te voeren.

  • Interval tussen nieuwe pogingen (seconden): Gebruik de teller om het aantal seconden te selecteren of in te voeren dat het systeem wacht tussen nieuwe pogingen.

    Geldige waarden zijn 0-2.000.

• Interval voor opnieuw proberen bij lange storingen vergroten: Schakel dit selectievakje in om de interval voor opnieuw proberen te verhogen voor lange storingen. Als deze optie is ingeschakeld, verdubbelt de interval tussen elke nieuwe poging en de volgende poging totdat de Maximuminterval voor nieuwe pogingen is bereikt (en er door wordt gegaan met nieuwe pogingen op basis van de opgegeven maximuminterval).
  • Maximuminterval voor nieuwe pogingen (seconden): Gebruik de teller om te selecteren of in te voeren hoeveel seconden er gewacht wordt tussen pogingen om een taak opnieuw uit te voeren als de optie Interval voor opnieuw proberen bij lange storingen vergroten is ingeschakeld. Geldige waarden zijn 0-2.000.

Afstemming van wijzigingsverwerking

Afstemming van transactionele offload

• Lopende transacties offloaden naar schijf als:

  Transactiegegevens worden meestal in het geheugen bewaard totdat ze volledig zijn vastgelegd in de bron of het doel. Transacties die groter zijn dan het toegewezen geheugen of die niet binnen de opgegeven tijdslimiet zijn vastgelegd, worden echter naar de schijf geoffload.

  • Totale geheugengrootte voor alle transacties overschrijdt (MB): De maximale grootte die alle transacties in het geheugen kunnen innemen voordat ze naar de schijf worden geoffload. De standaardwaarde is 1024.
  • Transactieduur overschrijdt (seconden): De maximale tijd dat elke transactie in het geheugen kan blijven voordat deze naar de schijf wordt geoffload. De duur wordt berekend vanaf het moment dat Qlik Talend Data Integration begon met het vastleggen van de transactie. De standaardwaarde is 60.

Batchafstemming

• Minimumaantal wijzigingen per transactie: Het minimumaantal wijzigingen dat in elke transactie wordt opgenomen. De standaardwaarde is 1000.

  Informatie

  De wijzigingen worden toegepast op het doel als het aantal wijzigingen gelijk is aan of groter is dan de waarde Minimumaantal wijzigingen per transactie OF als de waarde Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden) die hieronder wordt beschreven is bereikt - naargelang wat als eerste wordt bereikt. Omdat de frequentie van wijzigingen die worden toegepast op het doel door deze twee parameters wordt beheerd, worden wijzigingen in de bronrecords mogelijk niet direct in de doelrecords weergegeven.

• Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden): De maximumtijd om transacties in batches te verzamelen voordat er een time-out optreedt. De standaardwaarde is 1.

Interval

Instellingen bij gebruik van SAP ODP en SaaS-applicatie (Lite) connectoren

• Wijzigingen om de (minuten) lezen

  De interval tussen het lezen van wijzigingen van de bron in minuten. Het geldige bereik ligt tussen 1 en 1440.

  Informatie

  Deze optie is alleen beschikbaar wanneer de gegevenstaak is gedefinieerd met:

  • Data Movement gateway
  • Een van de volgende bronnen:
    • SaaS-applicatie alleen via Lite-connectoren
    • SAP ODP
  • Alleen de bijwerkmethode Wijzigingsgegevens vastleggen (CDC).

Instellingen bij gebruik van de SAP OData-connector

Controleren op wijzigingen

• Volgens het interval van delta-extractie Wanneer deze optie is geselecteerd, controleert de gegevenstaak op wijzigingen volgens het interval van delta-extractie.

  InformatieHet interval begint na elke 'ronde'. Een ronde kan worden gedefinieerd als de tijd die de gegevenstaak nodig heeft om de wijzigingen uit de brontabellen te lezen en deze naar het doel te verzenden (als één transactie). De duur van een ronde varieert afhankelijk van het aantal tabellen en wijzigingen. Dus als u een interval van 10 minuten opgeeft en een ronde 4 minuten duurt, dan is de werkelijke tijd tussen het controleren op wijzigingen 14 minuten.

  • Interval delta-extractie: De frequentie waarmee delta's uit uw systeem worden geëxtraheerd. De standaardinstelling is 60 seconden.

• Zoals gepland: wanneer deze optie is geselecteerd, zal de gegevenstaak de delta één keer extraheren en dan stoppen. Het zal dan uitgevoerd blijven worden zoals gepland.

  InformatieDeze optie is alleen relevant als het interval tussen de CDC-cycli 24 uur of meer is.

  Voor informatie over planning:

  • "Gegevens tijdelijk opslaan in datalake" taken in een replicatieproject, zie CDC plannen voor lake-tussenopslagtaken

Diverse afstemmingen

• Cachegrootte voor instructies (aantal instructies): Het maximumaantal voorbereide instructies dat op de server moet worden opgeslagen voor latere uitvoering (bij het toepassen van wijzigingen op het doel). De standaardwaarde is 50. Het maximum is 200.

• DELETE en INSERT bij het bijwerken van een primaire sleutelkolom: Voor deze optie moet volledige aanvullende logboekregistratie zijn ingeschakeld in de brondatabase.

  InformatieDeze instelling is niet beschikbaar bij het gebruik van een voorbeeldconnector van een SaaS-applicatie. Voorbeeldconnectoren worden aangegeven met de knop , zowel in het dialoogvenster Verbinding maken als in de online Help.

Schema-evolutie

Selecteer hoe u de volgende typen DDL-wijzigingen in het schema wilt afhandelen. Wanneer u de instellingen voor schema-evolutie hebt gewijzigd, moet u de taak opnieuw voorbereiden. De onderstaande tabel beschrijft welke acties beschikbaar zijn voor de ondersteunde DDL-wijzigingen.

Tekenvervanging

U kunt brontekens in de doeldatabase vervangen of verwijderen of u kunt brontekens vervangen of verwijderen die niet door een geselecteerde tekenset worden ondersteund.

Brontekens vervangen of verwijderen

Gebruik de tabel Brontekens substitueren of verwijderen om vervangingen voor specifieke brontekens te definiëren. Dit kan bijvoorbeeld handig zijn als de Unicode-weergave van een teken anders is op de bron- en doelplatformen. Op Linux bijvoorbeeld wordt het minusteken in de Shift_JIS tekenset vertegenwoordigd door U+2212, maar op Windows wordt dit vertegenwoordigd als U+FF0D.

Brontekens vervangen of verwijderen die niet worden ondersteund door de geselecteerde tekenset.

Gebruik de tabel Niet-ondersteunde tekens per tekenset om een afzonderlijk vervangingsteken te definiëren voor alle tekens die niet worden ondersteund door de geselecteerde tekenset.

Gegevenssetsegmenten parallel laden

Tijdens een volledige lading kunt u het laden van grote gegevenssets versnellen door de gegevensset in segmenten te splitsen, die parallel worden geladen. Tabellen kunnen worden gesplitst op gegevensbereiken, alle partities, alle subpartities of specifieke partities.

Voor meer informatie, zie Segmenten van gegevensverzamelingen parallel repliceren.

Meer opties

Deze opties worden niet weergegeven in de gebruikersinterface omdat ze alleen relevant zijn voor specifieke versies of omgevingen. Deze opties dienen daarom niet te worden ingesteld tenzij hier expliciet opdracht voor wordt gegeven door Qlik Support of in de productdocumentatie.

Kopieer de optie naar het veld Kenmerknaam toevoegen en klik op Toevoegen om een optie in te stellen. Stel vervolgens de waarde in of schakel de optie in op basis van de instructies die u hebt ontvangen.

CDC plannen voor lake-tussenopslagtaken

In de volgende use cases moet u een planningsinterval definiëren om de doelgegevens up-to-date te houden:

• Toegang tot een gegevensbron zonder Data Movement gateway
• Een preview-connector voor een SaaS-applicatie gebruiken. Raadpleeg de Help van de connector om te zien of uw connector in preview is.
• Bij het vastleggen van wijzigingen uit een SAP OData-bron met behulp van de optie Zoals gepland.

De planning bepaalt hoe vaak de doelgegevenssets worden bijgewerkt met wijzigingen in de brongegevenssets. Terwijl de planning de updatefrequentie bepaalt, bepaalt het type gegevensset de updatemethode. Als de bronmetagegevens CDC (wijzigingsgegevens vastleggen) ondersteunen, worden alleen de wijzigingen van de brongegevens gerepliceerd en toegepast op de betreffende doeltabellen. Ondersteunen de brongegevensverzamelingen CDC niet (zoals, Weergaven), worden wijzigingen toegepast door alle brongegevens te laden naar de betreffende doeltabellen. In het geval enkele brongegevensverzamelingen CDC ondersteunen en andere niet, worden er twee afzonderlijke subtaken gemaakt (ervan uitgaand dat de bijwerkmethode Wijzigingsgegevens vastleggen (CDC) is ingesteld op geselecteerd): één voor het laden van de gegevensverzamelingen die geen CDC ondersteunen en één subtaak voor het vastleggen van de wijzigingen naar gegevensverzamelingen die CDC wel ondersteunen. In dit geval wordt het ten zeerste aanbevolen om niet hetzelfde planningsinterval voor beide taken aan te houden (als u besluit de updatefrequentie in de toekomst te wijzigen), om de gegevensconsistentie te waarborgen.

De planning wijzigen:

1. Open uw pijplijnproject en doe vervolgens een van de volgende dingen:

   • Klik in de takenweergave op op een gegevenstaak en selecteer Planning.
   • Klik in de pijplijnweergave op op een gegevenstaak en selecteer Planning.
   • Open de replicatietaak en klik op de werkbalkknop Planning.
2. Wijzig de planningsinstellingen naar wens en klik vervolgens op OK.

Een gemiste uitvoering uitvoeren voor een taak op basis van Data Movement gateway

Soms kan een netwerkprobleem ertoe leiden dat de verbinding met Data Movement gateway wordt verbroken. Als de verbinding met Data Movement gateway niet hersteld is vóór de volgende geplande run, kan de gegevenstaak niet volgens schema worden uitgevoerd. In dergelijke gevallen kunt u kiezen of u al dan niet een run onmiddellijk wilt uitvoeren nadat de verbinding is hersteld.

De standaardinstellingen voor alle Data Movement gateways zijn gedefinieerd in het activiteitencentrum Beheer. U kunt deze instellingen voor afzonderlijke taken overschrijven, zoals hieronder wordt beschreven.

Dit doet u als volgt

1. Open uw project en doe vervolgens een van de volgende dingen:

   • Klik in de takenweergave op op de gegevenstaak en selecteer Planning.

   • Klik in de pijplijnweergave op op de gegevenstaak en selecteer Planning.

   • Open de gegevenstaak en klik op de werkbalkknop Planning.

   Het dialoogvenster Planning - <taak> wordt geopend.

2. Schakel Aangepaste instellingen gebruiken voor deze taak in.

3. Kies onder aan het dialoogvenster een van de volgende opties voor Gemiste geplande taken uitvoeren.

   • Zo snel mogelijk en vervolgens zoals gepland als het belangrijk is om een taak uit te voeren vóór de volgende geplande instantie

   • Zoals gepland om de taak uit te voeren bij de volgende geplande instantie

4. Sla uw instellingen op.

Zie ook: Een taakuitvoering uitvoeren na een gemist schema.