Felsöka datauppgifter

I det här avsnittet beskrivs problem som kan uppstå när du arbetar med datauppgifter och hur du felsöker.

Felsöka miljöfel

När en datauppgift stöter på ett miljöfel, till exempel timeout, nätverksfel eller anslutningsfel, kommer datauppgiften att göra om operationen automatiskt. Om felet inte åtgärdas efter ett nytt försök, slutar datauppgiften att köras och visar status Fel med ett felmeddelande.

• Mellanlagringsuppgifter med datakällor som bara är tillgängliga via Data Movement gateway:

  Ett oändligt antal försök görs att utföra åtgärden med 5-sekundersintervall.

  Om avbrottet är långt fördubblas intervallet tills ett intervall på 1800 uppnåtts.

• Mellanlagringsuppgifter med datakällor som är åtkomliga utan Data Movement gateway, lagringsuppgifter, omvandlingsuppgifter och datamartuppgifter:

  Tre försök görs att utföra åtgärden med 1-sekundersintervall.

Gör följande:

1. Åtgärda felet med hjälp av felmeddelandet.

2. Läs in eller återuppta driften av datauppgiften.

Felsöka problem med en specifik tabell

När en datauppgift stöter på ett fel när den skriver till en specifik tabell, fortsätter datauppgiften att köras. Den felaktiga tabellen kommer att visa status Fel med ett felmeddelande.

1. Åtgärda felet med hjälp av felmeddelandet.

2. Läs in tabellen som var felaktig.

Felsöka CDC-problem

Mellanlagringsdatauppgifter med uppdateringsläget fullständig laddning och CDC kan stöta på CDC-relaterade problem som påverkar hela uppgiften och som inte kan åtgärdas genom att ladda specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel när källdatabashändelser läses in.

För att lösa den typen av problem kan du ladda alla tabeller till målet.

1. Stoppa datauppgiften och alla uppgifter som använder den.

2. Öppna datauppgiften och välj fliken Övervaka.

3. Klicka på ... och sedan på Ladda mål.

Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.

• Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.

  Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.

• Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:

  • Alla tabeller laddas om med jämför och tillämpa,

  • En ändringscykel utförs för varje tabell.

Ladda alla tabeller till målet

NULL-värden i primärnyckelkolumnen

Du kan få ett felmeddelande när du utför en datauppgift: Unknown execution error - NULL result in a non-nullable column.

Möjlig orsak  

Kolumner som används som primärnycklar får inte innehålla NULL-värden, och ska vara icke-nullbara.

Föreslagen åtgärd  

Lägg till ett uttryck i källdatauppgiften som konverterar alla NULL-värden till ett värde, t.ex. 0.

Du kan också välja att använda en annan kolumn som primärnyckel.

Castingfel när du använder Redshift som dataplattform

Du kan få följande fel eller liknande när du använder Redshift som dataplattform: det gick inte att hitta en konverteringsfunktion från "okänd" till teckenvariation

Möjlig orsak  

Det saknas casting av ett konstant uttryck. Detta kan hända oftare i datamarter på grund av den högre komplexiteten hos den slutliga frågan.

Föreslagen åtgärd  

Casta det konstanta uttrycket som text.

Exempel:

Tvetydiga kolumnnamn

När du registrerar data baserat på en vy som skapats i en Qlik Talend Data Integration-pipeline kan vyn innehålla kolumner som genererats av Qlik Talend Data Integration. Namnen på dessa kolumner, som börjar med hdr__, är reserverade. När en kolumn med ett reserverat namn används i en lagringsuppgift kommer lagringsuppgiften att skapa kolumner med samma reserverade namn, vilket leder till en namnkonflikt. Du kan t.ex. ha två kolumner med namnet hdr__key_hash.

Mer information om reserverade kolumnnamn i vyer finns i Vyer.

Föreslagen åtgärd  

Byt namn på kolumnen som kommer från uppgiften för registrerade data i lagringsdatauppgiften. Byt till exempel namn på hdr__key_hash till my__key_hash.

Transformationer tillämpas inte på befintliga data

Du har lagt till eller ändrat transformationer i en uppgift med befintliga data, men när du förbereder och kör uppgiften igen tillämpas de nya eller ändrade transformationerna endast på nya data.

Föreslagen åtgärd  

Läs in alla berörda tabeller igen om du vill tillämpa de nya eller ändrade transformationerna på alla befintliga data.

Visa och ladda ner loggfiler

Du kan granska loggarna för information om datauppgifter. Du kan också ställa in loggningsnivån och hämta loggfilerna vid behov. Loggar är tillgängliga så snart datauppgiften har förberetts.

Visning av loggar för datauppgifter baserade på Data Movement gateway

För att visa loggar för datauppgifter som använder Data Movement gateway, behöver du följande behörigheter:

• Någon av följande i utrymmet där datauppgiften finns:
  

  • Ägare

  • Kan styra

• Någon av följande i utrymmet där datagatewayen finns:

  • Kan använda
  • Kan redigera
  • Kan hantera

För att visa loggarna, gör något av följande:

• I pipelinevyn väljer du Visa uppgiftsloggar från -menyn nere till höger i datauppgiften.

• Öppna datauppgiften och välj Visa uppgiftsloggar från -menyn längst till höger i verktygsfältet.

Loggvisaren öppnas.

Om du flyttar data från en SaaS-applikationskälla kan du välja Uppgiftsloggar eller Källkopplingsloggar. Annars kommer endast uppgiftsloggarna att vara tillgängliga.

Du kan rulla till början och slutet av filen med och .

Visning av loggar för datauppgifter som inte använder Data Movement gateway

Så här visar du loggarna, gör du något av följande:

• I pipelinevyn väljer du Visa uppgiftsloggar från -menyn nere till höger om datauppgiften.

• Öppna datauppgiften och välj Visa uppgiftsloggar från -menyn längst till höger i verktygsfältet.

Loggvisaren öppnas.

Följande loggar är tillgängliga:

• Loggar över uppgifter

  Anteckning om informationDu behöver behörigheten Kan styra i det utrymme där datauppgiften finns för att kunna visa uppgiftsloggar.

  • Loggar över uppgifter

    Fliken Uppgiftsloggar visar den loggfil som för närvarande är markerad i listrutan högst upp på fliken. Antalet loggar i listrutan beror på om alternativet Visa alla uppgiftsloggar i listrutan är aktiverat eller inte. När det här alternativet är aktiverat kommer listrutan att innehålla alla uppgiftsloggar, oavsett när uppgiften slutfördes. När den inte är aktiverad kommer rullgardinslistan endast att innehålla loggarna för uppgifter som slutfördes fram till Uppgiften avslutades-tiden.

  • Källkopplingsloggar (Endast tillgängligt vid användning av en SaaS-applikationskälla)

• Plattformsloggar

  Fliken Plattformsloggar innehåller information om plattformskomponenterna som underlättade uppgiftskörningen.

  Plattformsloggen påverkas inte av uppgiftskörningstiden. Till exempel kan plattformsloggen börja kl. 12:35 och sluta kl. 13:30, även om uppgiften började kl. 13:00 och slutade kl. 13:15.

  Anteckning om informationDu behöver en administratörsroll i klientorganisationen för att visa plattformsloggar.

  • Data Movement gateway-loggar (detta är den interna Qlik-hanterade gatewayen)

  • Loggar för replikeringsmotorer

  • Källkopplingsloggar (Endast tillgängliga vid användning av en SaaS-applikationskälla)

  • SaaS-programloggar

Du kan rulla till början och slutet av filen med och .

Ställa in loggningsalternativ

Du kan ställa in loggningsnivån för olika operationer för replikering under Loggningsalternativ.

Lagring av trace- och verbose-loggning i minnet

När loggningsnivån är inställd på "Trace" eller "Verbose" kan du spara loggningsinformationen i minnet tills ett fel inträffar. När ett fel upptäcks, skrivningen till de fysiska loggarna och fortsätta att göra det under några minuter efter det att felet först inträffade.

Om inget fel inträffar innan det allokerade minnet är förbrukat tömmer Qlik Talend Data Integration minnesbufferten och börjar om.

Det här alternativet är användbart för uppgifter som misslyckas oförutsägbart och utan någon uppenbar anledning. Problemet med att kontinuerligt skriva stora mängder information till loggarna är dubbelt:

• Om du kör i loggningsläget "Trace" eller "Verbose" tar det tillgängliga diskutrymmet snabbt slut (om inte loggningsinställningarna har konfigurerats för att förhindra detta).
• Att kontinuerligt skriva stora mängder data till loggarna påverkar prestandan.

Så här använder du detta alternativ

1. Markera rutan "Lagra spårning/omfattande loggning i minnet, men skriv till loggarna om ett fel uppstår" längst upp på fliken.
2. I fältet Tilldela minne upp till (MB) anger du hur mycket minne du vill avsätta för att lagra loggningsinformation.

Ställa in loggningsnivåer

Du kan ställa in följande nivåer:

• Fel

  Visa felmeddelanden.

• Varning

  Visa varningar.

• Info

  Visa informationsmeddelanden.

• Felsök

  Visa ytterligare information för felsökning.

• Detaljerad felsökning

  Visa detaljerad information för felsökning.

I de högre nivåerna ingår alltid meddelandena från de lägre nivåerna. Därför skrivs bara felmeddelanden till loggen om du väljer Fel. Men om du väljer Info tas informationsmeddelanden, varningar och felmeddelanden med. Generellt kan nivåerna Felsökning och Detaljerad felsökning generera stora mängder loggdata.

Du kan använda Global för att ställa in samma nivå för alla operationer, eller ställa in nivån individuellt för varje operation.

• Källa - fullständig inläsning

  Loggar aktivitet med anknytning till fullständig laddning-operationer i datakällan. Hit hör SELECT-satser som körs mot källtabellerna före fullständig laddning.

• Källa - CDC

  Loggar aktivitet med anknytning till CDC-operationer i datakällan.

  Anteckning om varningOm detta sätts till nivån Detaljerad felsökning genereras mycket stora mängder data till loggen.

• Källa – data

  Detaljerad loggning av datakällaktivitet med anknytning till fullständig laddning- och CDC-operationer.

• Mål – fullständig inläsning

  Loggar aktivitet med anknytning till fullständig laddning-operationer på målet.

• Mål - CDC

  Loggar aktivitet med anknytning till CDC-operationer på målet.

• Mål – ladda upp

  Loggar aktivitet när filer överförs till målet.

• Utökad CDC

  Detaljerad loggning av CDC-aktivitet, till exempel synkronisering och lagring av transaktioner.

• Resultat

  Loggar fördröjningsvärden för källa och mål.

• Metadata

  Loggar aktivitet med anknytning till läsning av metadata och ändringar av metadata. Replikeringsuppgiftens status loggas också.

• Infrastruktur

  Loggar infrastrukturinformation, filsystemoperationer och uppgiftshantering.

• Omvandling

  Loggar information med anknytning till omvandlingar som utförs.

Nedladdning av filer

Du kan hämta ett diagnospaket, uppgiftsloggar och en minnesrapport till stöd vid problemlösning av replikeringsuppgiften med anknytning till mellanlagringsuppgiften. Du kan bara hämta en post i taget.

1. I loggvisaren klickar du på Hämta för att expandera.

2. Välj vilken post du vill hämta.

3. Klicka på Hämta.

   Filen kommer antingen att laddas ner till din dator eller så kommer du att bli ombedd att spara den, beroende på din webbläsarinställningar.