Instellingen voor tussenopslag

U kunt instellingen configureren voor de tussenopslag-gegevenstaak.

• Open de tussenopslagtaak en klik op Instellingen op de werkbalk.

Het dialoogvenster Instellingen: <Taaknaam> wordt geopend. De beschikbare instellingen worden hieronder beschreven.

Algemeen

• Database

  Database voor gebruik in het doel.

  InformatieDeze optie is niet beschikbaar bij het tijdelijk opslaan van gegevens in Qlik Cloud (via Amazon S3).

• Taakschema

  U kunt de naam wijzigen van het schema van tussenopslag van gegevenstaken. De standaardnaam is tussenopslag.

  InformatieDeze optie is niet beschikbaar bij het tijdelijk opslaan van gegevens in Qlik Cloud (via Amazon S3).

• Prefix voor alle tabellen en weergaven

  U kunt een prefix instellen voor alle tabellen en weergaven die met deze taak zijn gemaakt.

  InformatieDeze optie is niet beschikbaar bij het tijdelijk opslaan van gegevens in Qlik Cloud (via Amazon S3).
  InformatieU moet een unieke prefix gebruiken als u een databaseschema in verschillende gegevenstaken wilt gebruiken.

• Bijwerkmethode

  Het tussenopslagtaak start altijd met een volledige lading. Nadat de volledige lading is afgerond, kunt u de tijdelijk opgeslagen gegevens met een van de volgende methoden up-to-date houden:

  InformatieU kunt de bijwerkmethode niet wijzigen zodra de voorbereiding van de tussenopslaggegevenstaak is afgerond.

  • Vastleggen van wijzigingsgegevens (CDC)

    De tijdelijk opgeslagen gegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture). CDC wordt mogelijk niet ondersteund door alle gegevensbronnen. CDC legt geen DDL-bewerkingen vast, zoals het hernoemen van kolommen of wijzigingen in metagegevens.

    Als uw gegevens ook weergaven of tabellen bevatten die geen CDC ondersteunen, worden er twee gegevenspijplijnen gemaakt. Een pijplijn met alle tabellen die CDC ondersteunen en een andere pijplijn met alle andere tabellen en weergaven waarbij Opnieuw laden en vergelijken als bijwerkmethode wordt gebruikt.

  • Opnieuw laden en vergelijken

    Alle tijdelijk opgeslagen gegevens worden opnieuw vanuit de bron geladen. Dit is nuttig als uw bron CDC niet ondersteunt, maar kan worden gebruikt met een willekeurige ondersteunde gegevensbron.

    U kunt de nieuwe ladingen regelmatig plannen.

• Map om te gebruiken in tussenopslaggebied

  Bij gegevensplatformen waarvoor een tussenopslaggebied is vereist (bijvoorbeeld Databricks en Azure Synapse Analytics), kunt u selecteren in welke map gegevens tijdelijk worden opgeslagen.

  • Standaardmap

    Hiermee wordt een map gemaakt met de standaardnaam: <projectnaam>/<gegevenstaaknaam>.

  • Hoofdmap

    Sla gegevens op in de hoofdmap van de opslag.

    InformatieDeze optie is alleen beschikbaar bij het tijdelijk opslaan van gegevens in Qlik Cloud (via Amazon S3).

  • Map

    Geef een mapnaam op om te gebruiken.

• Verwerkingsinterval wijzigen

  U kunt de interval instellen voor het verwerken van wijzigingen in de bron.

  InformatieDeze optie is alleen beschikbaar bij het tijdelijk opslaan van gegevens in Qlik Cloud (via Amazon S3).

• Proxyserver tijdens het gebruik van de Data Movement gateway.

  InformatieDeze optie is alleen beschikbaar bij toegang tot doelen via de Data Movement gateway.

  U kunt selecteren om een proxyserver te gebruiken als de Gegevensverplaatsing gateway verbinding maakt met het clouddatawarehouse en het opslaggebied.

  Voor meer informatie over het configureren van de Gegevensverplaatsing gateway om gebruik te maken van een proxyserver raadpleegt u De Qlik Cloud-tenant en een proxyserver instellen.

  • Proxy gebruiken om verbinding te maken met een clouddatawarehouse

    InformatieBeschikbaar als u Snowflake, Google BigQuery en Databricks gebruikt.

  • Proxy gebruiken om verbinding te maken met een opslag

    InformatieBeschikbaar als u Azure Synapse Analytics, Amazon Redshift en Databricks gebruikt.

Gegevens uploaden

• Maximale bestandsgrootte (MB)

  De maximumgrootte die een bestand kan bereiken voordat het wordt gesloten. Kleinere bestanden worden mogelijk sneller geüpload (afhankelijk van het netwerk) en verbeteren de prestaties indien ze worden gebruikt in combinatie met de optie Parallelle uitvoering. Het wordt over het algemeen afgeraden om de database te vullen met kleine bestanden.

  InformatieDeze instelling is relevant voor alle gegevensplatforms, met uitzondering van Qlik Cloud.

• Compressie gebruiken

  Wanneer dit is geselecteerd, worden de csv-bestanden gecomprimeerd (met gzip) voordat ze worden geüpload naar Google BigQuery.

  Informatie

  • Deze instelling is alleen relevant voor Google BigQuery.
  • Vereist Gateway voor gegevensverplaatsing 2023.5.16 of nieuwer.

Metagegevens

LOB-kolommen

• LOB-kolommen opnemen en kolomgrootte beperken tot (KB):

  U kunt ervoor kiezen om LOB-kolommen in de taak op te nemen en de maximale LOB-grootte in te stellen. LOB's die groter zijn dan de maximum LOB-grootte worden afgekapt.

  InformatieBij gebruik van Azure Synapse Analytics als doel kan de maximale LOB-grootte niet groter zijn dan 7 MB.

Controletabellen

Selecteer welke van de volgende controletabellen in het doelplatform moeten worden aangemaakt:

• Tussenopslagstatus: geeft details over de huidige tussenopslagtaak, inclusief taakstatus, de hoeveelheid geheugen die door de taak wordt gebruikt, het aantal wijzigingen dat nog niet is toegepast op het gegevensplatform en de positie in het broneindpunt vanwaaruit de Gateway voor gegevensverplaatsing op dit moment leest.
• Tijdelijk ingetrokken tabellen: geeft een lijst met tijdelijk ingetrokken tabellen en de reden waarom ze tijdelijk zijn ingetrokken.
• Tussenopslaggeschiedenis: geeft informatie over de taakgeschiedenis, inclusief het aantal en volume aan records dat tijdens een tussenopslagtaak wordt verwerkt, de latentie aan het einde van een CDC-taak en meer.

• DDL-geschiedenis: bevat een geschiedenis van alle ondersteunde DDL-veranderingen die tijdens een taak zijn opgetreden.

  Informatie

  De DDL‑geschiedenistabel wordt alleen ondersteund door de volgende doelplatformen:

  • Databricks

  • Microsoft Fabric

Voor een gedetailleerde beschrijving van elk van de controletabellen, raadpleegt u Controletabellen

Volledige lading

Prestaties afstemmen

• Maximumaantal tabellen dat parallel wordt geladen: geef het maximumaantal tabellen op dat tegelijkertijd naar het doel wordt geladen. De standaardwaarde is 5.

• Time-out bij transactionele consistentie (seconden):geef het aantal seconden op dat gewacht wordt voordat open transacties worden gesloten en de bewerking Volledige lading wordt gestart. De standaardwaarde is 600 (10 minuten). De volledige lading wordt gestart nadat de waarde van de time-out is bereikt, zelfs als er open transacties aanwezig zijn.

  InformatieU moet de doeltabellen opnieuw laden om transacties te repliceren die open waren op het moment dat de volledige lading werd gestart, maar alleen werden doorgevoerd nadat de time-outwaarde is bereikt.
• Frequentie doorvoeren tijdens volledige lading: het maximumaantal gebeurtenissen dat samen kan worden overgedragen. De standaardwaarde is 10000.

Nadat volledige lading is voltooid

Primaire sleutel of unieke index maken: selecteer deze optie als u het maken van de primaire sleutel of unieke index op het gegevensplatform wilt uitstellen tot de volledige lading is voltooid.

Voor initiële lading

Bij het verplaatsen van gegevens vanuit een SaaS-applicatiebron, kunt u instellen hoe de initiële volledige lading moet worden uitgevoerd:

Fout bij verwerking

Gegevensfouten

Voor fouten in het afkappen van gegevens: Selecteer wat er moet gebeuren als er een afkapping plaatsvindt in een of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Voor overige gegevensfouten: Selecteer wat er moet gebeuren als er een fout ontstaat in één of meer specifieke records. U kunt een van de volgende opties in de lijst selecteren:

• Negeren: De taak wordt voorgezet en de fout wordt genegeerd.
• Tabel opschorten: De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking escaleren wanneer gegevensfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal niet-afgekapte gegevensfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: Kies wat er moet gebeuren wanneer foutverwerking wordt geëscaleerd. Houd er rekening mee dat de beschikbare acties afhankelijk zijn van de actie die is geselecteerd in de vervolgkeuzelijst Voor overige gegevensfouten die hierboven wordt beschreven.

• Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord worden omgezet naar een foutstatus en de gegevens worden niet landed.

• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Tabelfouten

Wanneer een tabelfout ontstaat: Selecteer een van het volgende uit de vervolgkeuzelijst:

• Tabel opschorten (standaard): De taak wordt voortgezet, maar gegevens van de tabel met het foutrecord wordt omgezet naar een foutstatus en de gegevens worden niet gerepliceerd
• Taak stoppen: De taak wordt gestopt en handmatige tussenkomst is vereist.

Foutverwerking escaleren wanneer tabelfouten ontstaan (per tabel): Schakel dit selectievakje in om foutverwerking te escaleren als het aantal tabelfouten (per tabel) het opgegeven aantal bereikt. Geldige waarden zijn 1-10.000.

Escalatie-actie: Het escalatiebeleid voor tabelfouten is ingesteld op Taak stoppen en dit kan niet worden gewijzigd.

Omgevingsgerelateerd

• Maximum aantal nieuwe pogingen: Selecteer deze optie en geef vervolgens het maximumaantal pogingen op voor het opnieuw proberen van een taak als er een herstelbare omgevingsgerelateerde fout plaatsvindt. Nadat u hebt geprobeerd de taak het opgegeven aantal keer opnieuw uit te voeren, wordt de taak gestopt en moet u handmatig ingrijpen.

  Schakel het selectievakje uit of geef '0' op om de taak niet te proberen de taak opnieuw uit te voeren.

  Geef '-1' op om een oneindig aantal keren te proberen de taak opnieuw uit te voeren.

  • Interval tussen nieuwe pogingen (seconden): Gebruik de teller om het aantal seconden te selecteren of in te voeren dat het systeem wacht tussen nieuwe pogingen.

    Geldige waarden zijn 0-2.000.

• Interval voor opnieuw proberen bij lange storingen vergroten: Schakel dit selectievakje in om de interval voor opnieuw proberen te verhogen voor lange storingen. Als deze optie is ingeschakeld, verdubbelt de interval tussen elke nieuwe poging en de volgende poging totdat de Maximuminterval voor nieuwe pogingen is bereikt (en er door wordt gegaan met nieuwe pogingen op basis van de opgegeven maximuminterval).
  • Maximuminterval voor nieuwe pogingen (seconden): Gebruik de teller om te selecteren of in te voeren hoeveel seconden er gewacht wordt tussen pogingen om een taak opnieuw uit te voeren als de optie Interval voor opnieuw proberen bij lange storingen vergroten is ingeschakeld. Geldige waarden zijn 0-2.000.

Verwerking van wijzigingen afstemmen

Afstemming transactionele offload

• Offload transacties in voortgang naar de schijf als:

  Transactiegegevens worden meestal in het geheugen bewaard totdat deze volledig doorgevoerd zijn naar de bron of het doel. Transacties die groter zijn dat het toegewezen geheugen of die niet zijn doorgevoerd binnen de opgegeven tijdslimiet worden geoffloaded naar de schijf.

  • Totale geheugengrootte transacties overschrijdt (MB): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De standaardwaarde is 1024.
  • Duur transacties overschrijdt (seconden): de maximumtijd dat elke transactie in het geheugen kan blijven voordat het naar de schijf wordt geoffloaded. De duur wordt berekend vanaf het moment dat Qlik Talend Data Integration is begonnen met het vastleggen van de transactie. De standaardwaarde is 60.

Batch afstemmen

Sommige instellingen op dit tabblad

Instellingen die relevant zijn voor alle doelen, met uitzondering van Qlik Cloud:

• Batchgewijs wijzigingen in intervallen toepassen:

• Meer dan: de minimumtijd die gewacht wordt tussen elke uitvoering van batchwijzigingen. De standaardwaarde is 1.

  Door de waarde Meer dan te verhogen, neemt de frequentie af waarmee wijzigingen worden toegepast op het doel maar wordt tegelijkertijd de grootte van de batches verhoogt. Hierdoor kunnen de prestaties verbeteren bij het toepassen van wijzigingen voor de doeldatabases die zijn geoptimaliseerd voor het verwerken van grote batches.

• Kleiner dan: de maximumtijd dat gewacht wordt tussen elke uitvoering van batchwijzigingen (voordat er een time-out optreedt). In andere woorden: de maximum acceptabele latentie. De standaardwaarde is 30. Deze waarde bepaalt de maximumhoeveelheid tijd die gewacht wordt voordat de wijzigingen worden toegepast nadat de waarde Meer dan is bereikt.

• Gedwongen een batch toepassen wanneer verwerkingsgeheugen groter is dan (in MB): de maximumhoeveelheid geheugen die wordt gebruikt voor de voorverwerking. De standaardwaarde is 500 MB.

  Voor de maximale batchgrootte stelt u deze waarde in op de hoogste hoeveelheid geheugen die u kunt toewijzen aan de gegevenstaak. Hierdoor kunnen de prestaties verbeteren bij het toepassen van wijzigingen voor de doeldatabases die zijn geoptimaliseerd voor het verwerken van grote batches.

• Batchgewijze wijzigingen gelijktijdig toepassen op tabellen: als u deze optie selecteert, moeten de prestaties verbeteren bij het toepassen van wijzigingen van meerdere brontabellen.

  • Maximumaantal tabellen: Het maximumaantal tabellen waarop batchgewijze wijzigingen gelijktijdig worden toegepast. De standaardwaarde is vijf.

  InformatieDeze optie wordt niet ondersteund als u Google BigQuery gebruikt als uw gegevensplatform.

• Beperk het aantal wijzigingen dat wordt toegepast per wijziging verwerkingsinstructie tot: selecteer deze optie om het aantal wijzigingen te beperken dat wordt toegepast per wijziging verwerkingsinstructie. De standaardwaarde is 10.000.

  InformatieDeze optie wordt alleen ondersteund als u Google BigQuery gebruikt als uw gegevensplatform.

Instellingen die alleen relevant zijn voor Qlik Cloud:

• Minimumaantal wijzigingen per transactie: Het minimumaantal wijzigingen dat in elke transactie wordt opgenomen. De standaardwaarde is 1000.

  Informatie

  De wijzigingen worden toegepast op het doel als het aantal wijzigingen gelijk is aan of groter is dan de waarde Minimumaantal wijzigingen per transactie OF als de waarde Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden) die hieronder wordt beschreven is bereikt - naargelang wat als eerste wordt bereikt. Omdat de frequentie van wijzigingen die worden toegepast op het doel door deze twee parameters wordt beheerd, worden wijzigingen in de bronrecords mogelijk niet direct in de doelrecords weergegeven.

• Maximumtijd om transacties in batches te plaatsen voor toepassen (seconden): De maximumtijd om transacties in batches te verzamelen voordat er een time-out optreedt. De standaardwaarde is 1.

Interval

• Wijzigingen om de (minuten) lezen

  Stel de interval tussen het lezen van wijzigingen van de bron in minuten in. Het geldige bereik ligt tussen 1 en 1440.

  Informatie

  Deze optie is alleen beschikbaar in de volgende gevallen:

  • Gateway voor gegevensverplaatsing gebruiken
  • Gegevens tijdelijk opslaan vanuit SaaS-applicatiebronnen
  • De taak wordt gedefinieerd met de bijwerkmethode Wijzigingsgegevens vastleggen (CDC)

Diverse afstemmingen

• Cachegrootte instructies (aantal instructies): Het maximumaantal voorbereide instructies om te bewaren op de server om later uit te voeren (bij het toepassen van wijzigingen op het doel). De standaardwaarde is 50. Het maximum is 200.

• VERWIJDER en VOEG IN wanneer u een primaire sleutel van een kolom bijwerkt: Voor deze optie moet volledige aanvullende logboekregistratie zijn ingeschakeld in de brondatabase.

Schema-evolutie

Selecteer hoe de volgende soorten DDL-wijzigingen in het schema moeten worden verwerkt. Als u de instellingen van schema-evolutie hebt gewijzigd, moet u de taak opnieuw voorbereiden. De onderstaande tabel beschrijft welke acties beschikbaar zijn voor de ondersteunde DDL-wijzigingen.

Tekensubstitutie

U kunt brontekens in de doeldatabase vervangen of verwijderen of u kunt brontekens vervangen of verwijderen die niet door een geselecteerde tekenset worden ondersteund.

Brontekens vervangen of verwijderen

Gebruik de tabel Brontekens substitueren of verwijderen om vervangingen voor specifieke brontekens te definiëren. Dit kan bijvoorbeeld handig zijn als de Unicode-weergave van een teken anders is op de bron- en doelplatformen. Op Linux bijvoorbeeld wordt het minusteken in de Shift_JIS tekenset vertegenwoordigd door U+2212, maar op Windows wordt dit vertegenwoordigd als U+FF0D.

Brontekens vervangen of verwijderen die niet worden ondersteund door de geselecteerde tekenset.

Gebruik de tabel Niet-ondersteunde tekens per tekenset om een afzonderlijk vervangingsteken te definiëren voor alle tekens die niet worden ondersteund door de geselecteerde tekenset.

Meer opties

Deze opties worden niet weergegeven in de gebruikersinterface omdat ze alleen relevant zijn voor specifieke versies of omgevingen. Deze opties dienen daarom niet te worden ingesteld tenzij hier expliciet opdracht voor wordt gegeven door Qlik Support of in de productdocumentatie.

Kopieer de optie naar het veld Kenmerknaam toevoegen en klik op Toevoegen om een optie in te stellen. Stel vervolgens de waarde in of schakel de optie in op basis van de instructies die u hebt ontvangen.

CDC-taken plannen bij het werken zonder Gateway voor gegevensverplaatsing

Gateway voor gegevensverplaatsing wordt niet ondersteund met een Qlik Talend Cloud Starter-abonnement en is optioneel bij andere abonnementsniveaus. Werkt u zonder Gateway voor gegevensverplaatsing, dan houdt u de doelgegevens actueel door een planningsinterval in te stellen. Het schema bepaalt hoe vaak de doelgegevensverzamelingen worden bijgewerkt met wijzigingen van de brongegevensverzamelingen. Waar het schema de bijwerkfrequentie bepaalt, bepaalt het type gegevensverzameling juist de bijwerkmethode. Als de bronmetagegevens CDC (wijzigingsgegevens vastleggen) ondersteunen, worden alleen de wijzigingen van de brongegevens gerepliceerd en toegepast op de betreffende doeltabellen. Ondersteunen de brongegevensverzamelingen CDC niet (zoals, Weergaven), worden wijzigingen toegepast door alle brongegevens te laden naar de betreffende doeltabellen. In het geval enkele brongegevensverzamelingen CDC ondersteunen en andere niet, worden er twee afzonderlijke subtaken gemaakt: één voor het laden van de gegevensverzamelingen die geen CDC ondersteunen en één subtaak voor het vastleggen van de wijzigingen naar gegevensverzamelingen die CDC wel ondersteunen. In dit geval wordt sterk aanbevolen om hetzelfde schema in te stellen voor beide subtaken om de consistentie van gegevens te garanderen.

Raadpleeg Minimumaantal toegestane planningsintervallen voor informatie over minimum planningsintervallen op basis van type gegevensbron en abonnementsniveau.

Ga als volgt te werk om de planning te wijzigen:

1. Open uw gegevensproject en voer een van het volgende uit:

   • Klik in de taakweergave op van een gegevenstaak en selecteer Planning.
   • Klik in de pijplijnweergave op van een gegevenstaak en selecteer Planning.
   • Open de tussenopslagtaak en klik op de werkbalkknop Planning.
2. Wijzig de planningsinstellingen naar wens en klik vervolgens op OK.