Instellingen voor Lake-tussenopslag

De volgende instellingen voor de Lake-tussenopslagtaak zijn van toepassing op Qlik Open Lakehouse-projecten die een database- of SaaS-bron gebruiken.

U kunt instellingen configureren voor de gegevenstaak voor tussenopslag in een lake.

• Open de tussenopslagtaak en klik op Instellingen op de werkbalk.

Het dialoogvenster Instellingen: <Taaknaam> wordt geopend. De beschikbare instellingen worden hieronder beschreven.

Algemeen

Bijwerkmethode

Het tussenopslagtaak start altijd met een volledige lading. Nadat de volledige lading is afgerond, kunt u de tijdelijk opgeslagen gegevens met een van de volgende methoden up-to-date houden:

InformatieU kunt de bijwerkmethode niet wijzigen zodra de voorbereiding van de tussenopslaggegevenstaak is afgerond.

• Vastleggen van wijzigingsgegevens (CDC)

  De tijdelijk opgeslagen gegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture). CDC wordt mogelijk niet ondersteund door alle gegevensbronnen. CDC legt geen DDL-bewerkingen vast, zoals het hernoemen van kolommen of wijzigingen in metagegevens.

  Als uw gegevens ook weergaven of tabellen bevatten die geen CDC ondersteunen, worden er twee gegevenspijplijnen gemaakt. Een pijplijn met alle tabellen die CDC ondersteunen en een andere pijplijn met alle andere tabellen en weergaven waarbij Opnieuw laden als bijwerkmethode wordt gebruikt.

• Opnieuw laden

  Alle tijdelijk opgeslagen gegevens worden opnieuw vanuit de bron geladen. Dit is nuttig als uw bron CDC niet ondersteunt, maar kan worden gebruikt met een willekeurige ondersteunde gegevensbron.

  U kunt de nieuwe ladingen regelmatig plannen.

  InformatieDeze instelling is niet beschikbaar bij het gebruik van een voorbeeldconnector van een SaaS-applicatie. Voorbeeldconnectoren worden aangegeven met de knop , zowel in het dialoogvenster Verbinding maken als in de online Help.

Te gebruiken map

Selecteer welke map u wilt gebruiken voor het tijdelijk opslaan van gegevens in het tussenopslaggebied.

• Standaardmap

  Hiermee wordt een map gemaakt met de standaardnaam: <projectnaam>/<gegevenstaaknaam>.

• Hoofdmap

  Sla gegevens op in de hoofdmap van de opslag.

• Map

  Geef een mapnaam op om te gebruiken.

Gegevens uploaden

Bestandsattributen

Configureer de bestandsinstellingen voor het uploaden van gegevens.

• Veldscheidingsteken

  Het veldscheidingsteken dat wordt gebruikt in het brongegevensbestand. De standaardwaarde is ",".

• Null-waarde

  Optionele standaardtekenreeks om null-waarden in het brongegevensbestand te vervangen.

• Recordscheidingsteken

  Het recordscheidingsteken dat wordt gebruikt in het brongegevensbestand. De standaardwaarde is "\n".

• Aanhalingsteken

  Het aanhalingsteken dat wordt gebruikt in het brongegevensbestand. De standaardwaarde is """.

• Escape-teken voor aanhalingsteken

  Het escape-teken voor aanhalingstekens dat wordt gebruikt in het brongegevensbestand. De standaardwaarde is """.

• Maximale bestandsgrootte (KB)

  De maximumgrootte die een bestand kan bereiken voordat het wordt gesloten. Kleinere bestanden worden mogelijk sneller geüpload (afhankelijk van het netwerk) en verbeteren de prestaties indien ze worden gebruikt in combinatie met de optie Parallelle uitvoering. Het wordt over het algemeen afgeraden om de database te vullen met kleine bestanden.

• Bestanden comprimeren met

  Indien geselecteerd, worden de CSV-bestanden gecomprimeerd met GZIP.

  Informatie

  • Vereist Data Movement gateway 2023.5.16 of nieuwer.

Metadata

LOB-kolommen

• LOB-kolommen opnemen en kolomgrootte beperken tot (KB):

  U kunt ervoor kiezen om LOB-kolommen op te nemen in de taak en de maximale LOB-grootte in te stellen. LOB's die groter zijn dan de maximale grootte, worden afgekapt.

Volledige lading

Prestaties afstemmen

• Maximaal aantal parallel te laden tabellen: Voer het maximale aantal tabellen in dat tegelijkertijd in het doel moet worden geladen. De standaardwaarde is 5.

• Time-out voor transactieconsistentie (seconden): Voer het aantal seconden in dat moet worden gewacht tot openstaande transacties zijn gesloten voordat de volledige lading wordt gestart. De standaardwaarde is 600 (10 minuten). De volledige lading start nadat de time-outwaarde is bereikt, zelfs als er nog transacties openstaan.

  InformatieOm transacties te repliceren die openstonden toen de volledige lading begon maar pas werden doorgevoerd nadat de time-outwaarde was bereikt, moet u de doeltabellen opnieuw laden.
• Doorvoersnelheid tijdens volledige lading: Het maximale aantal gebeurtenissen dat samen kan worden overgedragen. De standaardwaarde is 10000.

Na voltooiing van de volledige lading

Primaire sleutel of unieke index maken: Selecteer deze optie als u het maken van de primaire sleutel of unieke index op het gegevensplatform wilt uitstellen tot nadat de volledige lading is voltooid.

Foutafhandeling

Voor fouten in het afkappen van gegevens: Selecteer wat er moet gebeuren als er een afkapping plaatsvindt in een of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Voor overige gegevensfouten: Selecteer wat er moet gebeuren als er een fout ontstaat in één of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking escaleren wanneer gegevensfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal niet-afgekapte gegevensfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: Kies wat er moet gebeuren wanneer foutverwerking wordt geëscaleerd. Houd er rekening mee dat de beschikbare acties afhankelijk zijn van de actie die is geselecteerd in de vervolgkeuzelijst Voor overige gegevensfouten die hierboven wordt beschreven.

• Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet landed.

• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Tabelfouten

Aantal nieuwe pogingen voordat een tabel fout wordt geretourneerd

Met deze optie kunt u bepalen wanneer het beleid voor tabel foutafhandeling wordt geactiveerd. Standaard, nadat een tabel fout is opgetreden, wordt de tabel opgeschort of de taak gestopt (afhankelijk van de geselecteerde actie) na drie nieuwe pogingen. Soms treedt een tabel fout op als gevolg van gepland onderhoud van de SaaS-applicatie. In deze gevallen is het standaard aantal nieuwe pogingen mogelijk niet voldoende om het onderhoud te voltooien voordat het beleid voor tabel foutafhandeling wordt geactiveerd. Dit hangt ook af van het planningsinterval van de taak, aangezien een nieuwe poging wordt uitgevoerd elke keer dat de taak wordt uitgevoerd. Dus, bijvoorbeeld, als u een taak plant om elk uur uit te voeren en de SaaS-applicatie offline wordt gehaald voor onderhoud precies wanneer de taak begint te draaien, zorgt de standaard van drie nieuwe pogingen ervoor dat de SaaS-applicatie tot drie uur offline kan zijn zonder dat het beleid voor tabel foutafhandeling wordt geactiveerd. Een langer onderhoudsvenster zou vereisen dat u het aantal nieuwe pogingen verhoogt (of de planning wijzigt) om te voorkomen dat het beleid voor tabel foutafhandeling wordt geactiveerd.

Samenvattend, als u weet dat uw SaaS-applicatie periodiek onderhoud ondergaat, is het een goede gewoonte om het aantal nieuwe pogingen te verhogen volgens de planning, zodat het onderhoud kan worden voltooid zonder dat het beleid voor tabel foutafhandeling wordt geactiveerd.

Wanneer een tabelfout ontstaat: selecteer een van het volgende uit de vervolgkeuzelijst:

• Tabel opschorten (standaard): de taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet gerepliceerd.
• Taak stoppen: de taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking escaleren wanneer tabelfouten ontstaan (per tabel):: schakel dit selectievakje in om foutverwerking te escaleren als het aantal tabelfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: het escalatiebeleid voor tabelfouten is ingesteld op Taak stoppen en dit kan niet worden gewijzigd.

Omgeving

• Maximum aantal nieuwe pogingen: Selecteer deze optie en geef vervolgens het maximumaantal pogingen op voor het opnieuw proberen van een taak als er een herstelbare omgevingsgerelateerde fout plaatsvindt. Nadat u hebt geprobeerd de taak het opgegeven aantal keer opnieuw uit te voeren, wordt de taak gestopt en moet u handmatig ingrijpen.

  Schakel het selectievakje uit of geef '0' op om de taak niet te proberen de taak opnieuw uit te voeren.

  Geef '-1' op om een oneindig aantal keren te proberen de taak opnieuw uit te voeren.

  • Interval tussen nieuwe pogingen (seconden): Gebruik de teller om het aantal seconden te selecteren of in te voeren dat het systeem wacht tussen nieuwe pogingen.

    Geldige waarden zijn 0-2.000.

• Interval voor opnieuw proberen bij lange storingen vergroten: Schakel dit selectievakje in om de interval voor opnieuw proberen te verhogen voor lange storingen. Als deze optie is ingeschakeld, verdubbelt de interval tussen elke nieuwe poging en de volgende poging totdat de Maximuminterval voor nieuwe pogingen is bereikt (en er door wordt gegaan met nieuwe pogingen op basis van de opgegeven maximuminterval).
  • Maximuminterval voor nieuwe pogingen (seconden): Gebruik de teller om te selecteren of in te voeren hoeveel seconden er gewacht wordt tussen pogingen om een taak opnieuw uit te voeren als de optie Interval voor opnieuw proberen bij lange storingen vergroten is ingeschakeld. Geldige waarden zijn 0-2.000.

Wijzigingsverwerking afstemmen

Transactie-offload afstemmen

Offload transacties in voortgang naar de schijf als:

Transactiegegevens worden meestal in het geheugen bewaard totdat deze volledig doorgevoerd zijn naar de bron of het doel. Transacties die groter zijn dat het toegewezen geheugen of die niet zijn doorgevoerd binnen de opgegeven tijdslimiet worden geoffloaded naar de schijf.

• Totale geheugengrootte transacties overschrijdt (MB): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De standaardwaarde is 1024.
• Duur transacties overschrijdt (seconden): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De duur wordt berekend vanaf het moment dat Qlik Talend Data Integration is begonnen met het vastleggen van de transactie. De standaardwaarde is 60.

Batch afstemmen

• Minimumaantal wijzigingen per transactie: Het minimumaantal wijzigingen dat in elke transactie wordt opgenomen. De standaardwaarde is 1000.

  Informatie

  De wijzigingen worden toegepast op het doel als het aantal wijzigingen gelijk is aan of groter is dan de waarde Minimumaantal wijzigingen per transactie OF als de waarde Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden) die hieronder wordt beschreven is bereikt - naargelang wat als eerste wordt bereikt. Omdat de frequentie van wijzigingen die worden toegepast op het doel door deze twee parameters wordt beheerd, worden wijzigingen in de bronrecords mogelijk niet direct in de doelrecords weergegeven.

• Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden): De maximumtijd om transacties in batches te verzamelen voordat er een time-out optreedt. De standaardwaarde is 1.

Diverse afstemmingen

• Cachegrootte instructies (aantal instructies): Het maximumaantal voorbereide instructies om te bewaren op de server om later uit te voeren (bij het toepassen van wijzigingen op het doel). De standaardwaarde is 50. Het maximum is 200.

• VERWIJDER en VOEG IN wanneer u een primaire sleutel van een kolom bijwerkt: Voor deze optie moet volledige aanvullende logboekregistratie zijn ingeschakeld in de brondatabase.

Schema-evolutie

Selecteer hoe u wilt omgaan met de volgende typen DDL-wijzigingen in het schema. Wanneer u de instellingen voor schema-evolutie hebt gewijzigd, moet u de taak opnieuw voorbereiden. De onderstaande tabel beschrijft welke acties beschikbaar zijn voor de ondersteunde DDL-wijzigingen.

Tekenvervanging

U kunt brontekens in de doeldatabase vervangen of verwijderen of u kunt brontekens vervangen of verwijderen die niet door een geselecteerde tekenset worden ondersteund.

Brontekens vervangen of verwijderen

Gebruik de tabel Brontekens substitueren of verwijderen om vervangingen voor specifieke brontekens te definiëren. Dit kan bijvoorbeeld handig zijn als de Unicode-weergave van een teken anders is op de bron- en doelplatformen. Op Linux bijvoorbeeld wordt het minusteken in de Shift_JIS tekenset vertegenwoordigd door U+2212, maar op Windows wordt dit vertegenwoordigd als U+FF0D.

Brontekens vervangen of verwijderen die niet worden ondersteund door de geselecteerde tekenset.

Gebruik de tabel Niet-ondersteunde tekens per tekenset om een afzonderlijk vervangingsteken te definiëren voor alle tekens die niet worden ondersteund door de geselecteerde tekenset.

Meer opties

Deze opties worden niet weergegeven in de gebruikersinterface omdat ze alleen relevant zijn voor specifieke versies of omgevingen. Deze opties dienen daarom niet te worden ingesteld tenzij hier expliciet opdracht voor wordt gegeven door Qlik Support of in de productdocumentatie.

Kopieer de optie naar het veld Kenmerknaam toevoegen en klik op Toevoegen om een optie in te stellen. Stel vervolgens de waarde in of schakel de optie in op basis van de instructies die u hebt ontvangen.

Gegevenssegmenten parallel laden

Tijdens de volledige lading kunt u het laden van grote gegevenssets versnellen door de gegevensset op te splitsen in segmenten, die parallel worden geladen. Tabellen kunnen worden gesplitst op basis van gegevensbereiken, alle partities, alle subpartities of specifieke partities.

Raadpleeg voor meer informatie Segmenten van gegevensverzamelingen parallel aanvoeren

CDC-taken plannen bij het werken zonder Data Movement gateway

Data Movement gateway wordt niet ondersteund met een Qlik Talend Cloud Starter-abonnement en is optioneel bij andere abonnementsniveaus. Wanneer u zonder Data Movement gateway werkt, houdt u de doelgegevens up-to-date door een planningsinterval in te stellen. De planning bepaalt hoe vaak de doelgegevenssets worden bijgewerkt met wijzigingen in de brongegevenssets. Terwijl de planning de bijwerkfrequentie bepaalt, bepaalt het type gegevensset de updatemethode. Als de brongegevenssets CDC (Change Data Capture) ondersteunen, worden alleen de wijzigingen in de brongegevens gereproduceerd en toegepast op de bijbehorende doeltabellen. Als de brongegevenssets geen CDC ondersteunen (bijvoorbeeld weergaven), worden wijzigingen toegepast door alle brongegevens opnieuw in de bijbehorende doeltabellen te laden. Als sommige brongegevenssets wel CDC ondersteunen en andere niet, worden er twee afzonderlijke subtaken gemaakt: één voor het opnieuw laden van de gegevenssets die geen CDC ondersteunen, en de andere voor het vastleggen van de wijzigingen in gegevenssets die wel CDC ondersteunen. In dit geval wordt het ten zeerste aanbevolen om dezelfde planning in te stellen voor beide subtaken om gegevensconsistentie te garanderen.

Raadpleeg Minimumaantal toegestane planningsintervallen voor informatie over minimum planningsintervallen op basis van type gegevensbron en abonnementsniveau.

De planning wijzigen:

1. Open uw pijplijnproject en doe vervolgens een van de volgende dingen:

   • In de weergave Taken klikt u op bij de gegevenstaak en selecteert u Planning.
   • In de weergave Pijplijn klikt u op bij de gegevenstaak en selecteert u Planning.
   • Open de tussenopslagtaak en klik op de werkbalkknop Planning .
2. Wijzig de planningsinstellingen naar wens en klik vervolgens op OK.