Problemen met gegevenstaken oplossen

In deze sectie worden problemen beschreven die kunnen optreden bij het werken met gegevenstaken en hoe u deze problemen kunt oplossen.

Problemen met omgevingsfouten oplossen

Wanneer er bij een gegevenstaak een omgevingsfout optreedt, zoals time-outs, netwerkfouten of verbindingsfouten, zal de gegevenstaak automatisch proberen de bewerking opnieuw uit te voeren. Als de fout vervolgens nog niet is verholpen, wordt de gegevenstaak gestopt en de status Fout met een foutmelding weergegeven.

• Tussenopslagtaken met gegevensbronnen die alleen toegankelijk zijn via Gateway voor gegevensverplaatsing:

  De bewerking wordt een oneindig aantal keren opnieuw geprobeerd, met een interval van 5 seconden.

  Als de onderbreking te lang duurt, wordt de interval verdubbeld tot een interval van 1800 seconden wordt bereikt.

• Tussenopslagtaken met gegevensbronnen die toegankelijk zijn zonder Gateway voor gegevensverplaatsing, opslagtaken, transformatietaken en datamarttaken:

  De bewerking wordt 3 keer opnieuw geprobeerd, met een interval van 1 seconde.

Doe het volgende:

1. Verhelp de fout met behulp van de foutmelding.

2. Laad of hervat de uitvoering van de gegevenstaak.

Problemen met een specifieke tabel oplossen

Wanneer bij een gegevenstaak een fout optreedt bij het schrijven naar een specifieke tabel, wordt doorgegaan met het uitvoeren van de gegevenstaak. De tabel met de fout toont de status Fout met een foutmelding.

1. Verhelp de fout met behulp van de foutmelding.

2. Laad de tabel met een fout.

CDC-problemen oplossen

Tussenopslaggegevenstaken met de updatemodus Volledige lading & CDC kunnen te maken krijgen met CDC-gerelateerde problemen die invloed hebben op de hele taak en die niet kunnen worden opgelost door specifieke tabellen opnieuw te laden. Voorbeelden van problemen zijn ontbrekende gebeurtenissen, problemen die worden veroorzaakt door de reorganisatie van de brondatabase of storing in het lezen van brondatabasegebeurtenissen.

U kunt alle tabellen opnieuw naar het doel laden om dergelijke problemen op te lossen.

1. Stop de gegevenstaak en alle taken die deze gebruiken.

2. Open de gegevenstaak en selecteer het tabblad Bewaken.

3. Klik op de knop ... en vervolgens op Opnieuw laden.

Hierdoor worden alle tabellen naar het doel geladen met behulp van de Drop/Create-methode en wordt het vastleggen van gegevens vanaf dit punt opnieuw gestart.

• Opslagtaken die gebruikmaken van de tussenopslagtaak worden bij de volgende uitvoering opnieuw geladen via vergelijken en toepassen om de gegevens te synchroniseren. De bestaande geschiedenis blijft behouden. Geschiedenis type 2 wordt bijgewerkt om de wijzigingen te weerspiegelen nadat er opnieuw is geladen en het vergelijkingsproces is uitgevoerd.

  De tijdstempel voor de vanaf-datum in de geschiedenis type 2 weerspiegelt de datum van opnieuw laden en niet noodzakelijkerwijs de datum dat de wijziging is opgetreden in de bron.

• Liveweergaven van opslag zijn niet betrouwbaar tijdens de laadbewerking van het doel en totdat de opslag is gesynchroniseerd. Opslag wordt volledig gesynchroniseerd wanneer:

  • Alle tabellen opnieuw zijn geladen met behulp van vergelijken en toepassen;

  • Eén cyclus van wijzigingen voor iedere tabel is uitgevoerd.

Ga voor meer informatie naar Alle tabellen opnieuw naar het doel laden.

NULL-waarden in kolommen van primaire sleutel

Er verschijnt mogelijk een foutmelding als u een gegevenstaak uitvoert: Unknown execution error - NULL result in a non-nullable column.

Mogelijke oorzaak  

Kolommen die worden gebruikt als primaire sleutel mogen geen NULL-waarden bevatten en moeten niet-nullbaar zijn.

Voorgestelde actie  

In de brongegevenstaak voegt u een uitdrukking toe die alle NULL-waarden omzet in een waarde, bijvoorbeeld 0.

U kunt ook een andere kolom selecteren om als primaire sleutel te gebruiken.

Weergavefout bij gebruik van Redshift als gegevensplatform

U ziet mogelijk de volgende of een vergelijkbare fout als u Redshift als gegevensplatform gebruikt: Kan conversiefunctie van 'onbekend' naar tekenvariërend niet vinden

Mogelijke oorzaak  

Ontbrekende weergave van een constante-uitdrukking. Dit kan vaker in datamarts voorkomen vanwege de grotere complexiteit van de laatste query.

Voorgestelde actie  

Geef de constante-uitdrukking weer als tekst.

Voorbeeld:

Dubbelzinnige kolomnamen

Wanneer u gegevens registreert op basis van een weergave die is gemaakt in een Qlik Talend Data Integration-pijplijn, kan de weergave kolommen bevatten die zijn gegenereerd door Qlik Talend Data Integration. De namen van deze kolommen, beginnend met hdr__, zijn gereserveerd. Wanneer een kolom met een gereserveerde naam wordt gebruikt in een opslagtaak, maakt de opslagtaak kolommen met dezelfde gereserveerde naam, wat leidt tot een naamgevingsconflict. U kunt bijvoorbeeld twee kolommen met de naam hdr__key_hash hebben.

Zie Weergaven voor meer informatie over gereserveerde kolomnamen in weergaven.

Voorgestelde actie  

Hernoem de kolom die afkomstig is van de taak voor geregistreerde gegevens in de opslaggegevenstaak. Bijvoorbeeld, hernoem hdr__key_hash naar my__key_hash.

Problemen met gegevenstaken op basis van Gateway voor gegevensverplaatsing oplossen

U kunt informatie krijgen over de tussenopslagbewerkingen voor gegevenstaken op basis van Gateway voor gegevensverplaatsing door het inspecteren van logboekbestanden. U kunt ook het niveau voor het registreren instellen. Logboeken zijn beschikbaar als de gegevenstaak de eerste uitvoering heeft voltooid.

U hebt een van de volgende machtigingen nodig voor de ruimte waarin de gegevenstaak staat om logboekbestanden te bekijken:

• Eigenaar

• Kan uitvoeren

U hebt ook een van de volgende machtigingen nodig voor de ruimte waarin de gegevensgateway zich bevindt:

• Kan gebruiken
• Kan bewerken
• Kan beheren

Logboekbestanden bekijken

Open de logboekweergave door te klikken op Logboek weergeven in een tussenopslag-gegevenstaak op basis van Gateway voor gegevensverplaatsing. U kunt onder Logboeken Replication-engine selecteren welk logboekbestand u wilt bekijken. U kunt met en scrollen naar het begin en het einde van het bestand.

Opties voor logboekregistratie instellen

U kunt het niveau voor logboekregistratie instellen voor verschillende bewerkingen van replication onder Opties voor logboekregistratie.

Traceerlogboeken en uitgebreide registratie in het geheugen opslaan

Als het logboekregistratieniveau is ingesteld op 'Traceren' of 'Uitgebreid', kunt u Qlik Talend Data Integration opdracht geven om de logboekgegevens in het geheugen op te slaan totdat er een fout optreedt. Bij het detecteren van een fout, schrijft Qlik Talend Data Integration naar de fysieke logboeken en doet dit enkele minuten na de eerste keer dat de fout optrad.

Als er geen fout optreed voordat het toegewezen geheugen is verbruikt, maakt Qlik Talend Data Integration de geheugenbuffer leeg en start opnieuw.

Deze optie is handig voor taken die onverwacht en zonder duidelijke reden mislukken. Het probleem met het continu schrijven van grote hoeveelheden informatie naar de logboeken is tweeledig:

• Bij het uitvoeren van de registratiemodus 'Traceren' of 'Uitgebreid' wordt snel de beschikbare schijfruimte opgebruikt (tenzij de instellingen voor logboekregistratie zo zijn geconfigureerd dat dit wordt voorkomen).
• Het continu schrijven van grote hoeveelheden gegevens naar de logboeken heeft invloed op de prestaties.

Om deze optie te gebruiken

1. selecteert u het selectievakje Sla traceren/uitgebreid vastleggen op in geheugen, maar als er een fout optreedt, dient te worden geschreven naar de logboeken bovenaan het tabblad.
2. Geef in het veld Geheugen toewijzen tot (MB) de hoeveelheid gegevens op die u wilt toewijzen voor het opslaan van logboekgegevens.

Logboekregistratieniveaus instellen

U kunt de volgende niveaus instellen:

• 1. Fout

  Toon de foutberichten.

• 2. Waarschuwing

  Toon de waarschuwingen.

• 3. Informatie

  Toon de informatieberichten.

• 4. Fouten opsporen

  Toon aanvullende informatie voor het oplossen van problemen.

• 5. Gedetailleerde foutopsporing

  Toon gedetailleerde informatie voor het oplossen van problemen.

De hogere niveaus bevatten altijd de berichten van de lagere niveaus. Als u Fout selecteert worden er alleen foutberichten naar het logboek geschreven. Als u echter Info selecteert, worden informatieberichten, waarschuwingen en foutberichten meegenomen. Over het algemeen genereren de niveaus Fouten opsporen en Gedetailleerde foutopsporing grotere hoeveelheden logboekgegevens.

U kunt Algemeen gebruiken om hetzelfde niveau in te stellen voor alle bewerkingen of stel het niveau voor elke bewerking afzonderlijk in.

• Bron - volledige lading

  Logboekactiviteiten die zijn gerelateerd aan bewerkingen voor volledige lading in de gegevensbron. Dit omvat SELECT-opdrachten die worden uitgevoerd op de brontabellen voorafgaand aan de volledige lading.

• Bron - CDC

  Logboekactiviteiten die zijn gerelateerd aan CDC-bewerkingen in de gegevensbron.

  WaarschuwingAls u dit instelt op het niveau Gedetailleerde foutopsporing worden grote hoeveelheden gegevens naar het logboek geschreven.

• Bron - gegevens

  Gedetailleerde logboekregistratie van de activiteit van brongegevens die zijn gerelateerd aan bewerkingen voor volledige lading en CDC.

• Doel - volledige lading

  Logboekactiviteiten die zijn gerelateerd aan bewerkingen voor volledige lading van het doel.

• Doel - CDC

  Logboekactiviteiten die zijn gerelateerd aan CDC-bewerkingen van het doel.

• Doel - uploaden

  Logboekactiviteiten als bestanden worden overgedragen naar het doel.

• Uitgebreide CDC

  Gedetailleerde logboekregistratie van CDC-activiteiten, zoals synchronisatie en opslag van transacties.

• Prestaties

  Logboekregistratie van latentiewaarden voor bron en doel.

• Metagegevens

  Logboekactiviteiten die zijn gerelateerd aan het lezen van metagegevens en aan wijzigingen van de metagegevens. De status van de replication-taak wordt ook geregistreerd.

• Infrastructuur

  Logboekregistratie van infrastructuurgegevens, zoals systeembewerkingen en taakbeheer.

• Transformatie

  Logboekregistratie van gegevens die zijn gerelateerd aan transformaties die zijn uitgevoerd.

Diagnostische bestanden downloaden

U kunt een diagnosepakket, opdrachtlogboeken en een geheugenrapport downloaden om u te helpen bij het oplossen van problemen met de replication-taak die is gekoppeld aan de tussenopslagtaak. U kunt slechts één item per keer downloaden.

1. Klik in de logboekweergave op Downloaden om het venster uit te vouwen.

2. Selecteer het item dat u wilt downloaden

3. Klik op Downloaden.

   Het bestand wordt gedownload naar uw computer of u wordt gevraagd het op te slaan, afhankelijk van uw browserinstellingen.

Problemen oplossen met gegevenstaken die geen Gateway voor gegevensverplaatsing gebruiken

U kunt informatie krijgen over de tussenopslagbewerkingen voor gegevenstaken die geen Gateway voor gegevensverplaatsing gebruiken door het inspecteren van logboekbestanden. U kunt ook het niveau voor het registreren instellen. Logboeken zijn beschikbaar als de gegevenstaak de eerste uitvoering heeft voltooid. U kunt taaklogboeken en serverlogboeken weergeven.

Taaklogboeken weergeven

U hebt een van de volgende machtigingen nodig voor de ruimte waarin de gegevenstaak staat om taaklogboekbestanden te bekijken:

• Eigenaar

• Kan uitvoeren

U hebt ook een van de volgende machtigingen nodig voor de ruimte waarin de gegevensgateway zich bevindt:

• Kan gebruiken
• Kan bewerken
• Kan beheren

Open de logboekweergave door te klikken op Taaklogboeken weergeven in een tussenopslag-gegevenstaak die geen Gateway voor gegevensverplaatsing gebruikt. U kunt onder Logboeken Replication-engine selecteren welk logboekbestand u wilt bekijken. U kunt met en scrollen naar het begin en het einde van het bestand.

U kunt het niveau voor logboekregistratie instellen voor verschillende bewerkingen van replication onder Opties voor logboekregistratie. Ga voor meer informatie naar Opties voor logboekregistratie instellen.

Logboeken van gegevensverplaatsing weergeven

U hebt de rol Data Admin of Tenant Admin nodig om logboeken van gegevensverplaatsing te bekijken.

Open de logboekweergave door te klikken op Logboeken van gegevensverplaatsing weergeven in een tussenopslag-gegevenstaak die geen Gateway voor gegevensverplaatsing gebruikt. Raadpleeg Logbestanden weergeven en downloaden voor meer informatie over de logboeken.