Övervaka en enskild datauppgift

Du kan övervaka status och förlopp för dina datauppgifter genom att välja Övervaka på rullgardinsmenyn längst upp till vänster i datauppgiftsfönstret.

Du kan också skapa övervaka-vyer för att övervaka flera datauppgifter. Mer information finns i Övervaka och driva dina datauppgifter.

Allmän övervakningsöversikt

Övervakningsvyn är tillgänglig för alla uppgiftstyper och låter dig spåra uppgiftsstatus och mätvärden:

Flikar

Växla mellan de tillgängliga flikarna — som Info, Fullständig laddning, och Ändringsbearbetning, Batch, eller Streaming — beroende på uppgiftstypen. För detaljer om varje flik, se relevant uppgiftsdelavsnitt nedan.
Filter för datamängdsstatus

Ett stapeldiagram ovanför tabellen med datauppsättningar visar hur många datauppsättningar som har varje status: Köad, Laddar, Slutförd, och Fel. Diagrammet uppdateras dynamiskt allteftersom datamängdsstatusar ändras. Klicka på ett statussegment för att filtrera datamängdstabellen och endast visa datamängder med den statusen.
Dölj widgetar

Klicka på Dölj widgetar för att dölja mätvärdeswidgetarna. Detta ger mer utrymme för att visa datauppsättningstabellen nedan.
Startdatum

Datum och tid när den aktuella uppgiftskörningen startade.
Slutdatum

Datum och tid när uppgiftskörningen slutade. Detta visas endast för slutförda uppgiftskörningar.
Körningshistorik

Klicka på Körningshistorik för att visa en lista över tidigare uppgiftskörningar och deras resultat.

Övervaka dataflyttsuppgifter

De tillgängliga övervakningsalternativen bestäms av både uppgiftstypen och typen av koppling. Eftersom vissa kopplingar inte stöder CDC (t.ex. Epicor) kommer övervakningsalternativ som är relevanta för CDC inte att visas för dessa kopplingar. Precis som att vissa kopplingar inte stöder Fullständig laddning, kommer övervakningsalternativ som är relevanta för Fullständig laddning inte att visas för dessa kopplingar.

Användningsområde för datapipeline: mellanlagringsuppgifter

Alla mellanlagringsuppgifter måste inledas med en fullständig laddning av källdata till målet. När den första fullständiga laddningen är klar uppdateras måldata med ändringar i källdata. Detta kan antingen göras med hjälp av Ladda och jämför eller Sammanställning av ändringsdata (CDC) enligt uppgiftsdefinitionen.

Mer information om mellanlagringsuppgifter finns i Mellanlagra data från datakällor.

Användningsfall för replikering: "replikera data"-uppgifter

"Replikera data"-uppgifter inleds vanligen med en fullständig laddning av källdata till målet. I följande tabell sammanfattas användningsfallen för fullständig laddning.

Användningsfall	Fullständig laddning
Replikering från SaaS-applikationer.	Obligatoriskt
Replikering från andra datakälltyper som databaser	Valfritt

Vid replikering från icke-SaaS-applikationskällor, om källdata redan finns på målet och du bara vill tillämpa källändringarna på målet (eller lagra dem för senare tillämpning), kan replikeringsläget vara Tillämpa ändringar, Lagra ändringar eller båda. Båda dessa replikeringslägen visas i CDC-övervakningen.

Mer information om "Replikera data"-uppgifter finns i följande avsnitt:

Replikera data med en Standard-, Premium- eller Enterprise-prenumeration

Replikera data med en Qlik Talend Cloud Starter-prenumeration

Användningsfall för replikering: "mellanlagra data i datareservoar"-uppgifter

"Mellanlagra data i datasjö"-uppgifter liknar mellanlagringsuppdrag genom att de måste starta med fullständig laddning. När den första fullständiga laddningen är klar uppdateras måldata med ändringar i källdata. Detta kan antingen göras med hjälp av Ladda eller Sammanställning av ändringsdata (CDC). Trots sin likhet med mellanlagringsuppgifter betraktas "mellanlagra data i datasjö"-uppgifter som replikeringsuppgifter eftersom de endast består av replikering från källa till mål. De ger inte möjlighet att manipulera data längre nedströms (till exempel med hjälp av transformationer och datamarter), vilket är tillgängligt i en datapipeline.

Stegen för att skapa en separat uppgift för att "Mellanlagra data i datasjö" är inte relevanta med en Qlik Talend Cloud Starter-prenumeration. Med en Qlik Talend Cloud Starter-prenumeration görs replikering till molnlagringsmål via en "Replikera data"-standarduppgift.

Mer information om "mellanlagra data i datasjö"-uppgifter finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.

Uppdatering av metadata efter att nya kolumner har lagts till i en SaaS-programkälla

När nya kolumner läggs till en SaaS-programkälla efter att en uppgift redan körs, måste du uppdatera metadata för att förhindra dataförlust.

För att göra detta:

Öppna och spara om kopplingen.
Förbered uppgiften enligt beskrivningen i Skapa och hantera datapipelineprojekt.

Övervaka detaljer

Följande övervakningsdetaljer är tillgängliga:

Info
Fullständig laddning
Ändra bearbetning
Streaming

Endast tillgänglig för mellanlagringsuppgifter för streaming.

Info övervaka detaljer

Du kan visa allmän information om uppgiften, körnings-ID:t och när data uppdaterades. För CDC-uppgifter finns schemaläggningsinformation också tillgänglig på den här fliken.

Övervakningsinformation för fullständig laddning

Du kan visa följande statistik för datauppgiften i Fullständig laddning:

Totalt antal datauppsättningar

Antalet laddade datauppsättningar.
Datauppsättningar med fel

Antalet datauppsättningar med fel.
Total fördröjning

Aktuell fördröjning för uppgiften (hh:mm:ss). Den här tiden anger den tid från vilken ändringen är tillgänglig i källan tills ändringen har tillämpats och är tillgänglig i målet eller mellanlagringen.
Total kapacitet

Målkapacitet i kilobytes/sekund. Detta anger hur snabbt ändringsposter laddas till målslutpunkten.

Du kan visa följande information för varje datamängd i datauppgiften:

Namn

Namnet på måldatauppsättningen .
Delstat

Tabelltillståndet kommer att vara något av: köat, laddar, slutförd, fullständig laddning ofullständig eller fel.

När data laddas från en SaaS-programkälla, kan ett Fullständig laddning ofullständig-tillstånd ibland visas i monitorn på grund av tillfälliga avbrott. Sådana avbrott kan orsakas av att SaaS-programmets datakvot överskrids, tjänsteinstabilitet och annat.

Uppgiften kommer att återupptas automatiskt vid nästa schemalagda CDC-instans. Dock kan den fullständiga laddningen förbli pausad om problemet som orsakar avbrottet inte har lösts ännu. Du kan också återuppta uppgiften manuellt istället för att vänta på nästa schemalagda CDC-instans.
Påbörjad

Tidpunkten när laddningen startade.
Avslutat

Tidpunkten när laddningen avslutades.
Varaktighet

Hur lång tid laddningen pågick i formatet hh:mm:ss.
Poster

Antalet poster som skrevs till målet under laddningen.
Anteckning om information
När källdatauppsättningarna filtreras, ersätts Records med följande avsnitt:
- Lästa poster: Antalet poster som lästs från källdatauppsättningarna före filtrering.
- Skrivna poster (efter filtrering): Antalet poster som faktiskt skrivits till målet efter filtrering.
Mer information om filtrering av datauppsättningar finns i Filtrera ett dataset.
Meddelande

Visar ett felmeddelande om laddningen inte kunde bearbetas utan fel.

Övervakningsdetaljer för bearbetning av ändringar

Ändringsbearbetning visar antalet ändringar som tillämpats på alla tabeller under den senaste CDC-körningen, eller under den aktuella körningen om den inte har slutförts ännu. För att se antalet ändringar som har tillämpats på enskilda datauppsättningar sedan uppgiften startade, se Datauppsättningar-tabellen.

Du kan visa följande statistik för bearbetning av ändringar:

Totalt antal datauppsättningar

Antalet laddade datauppsättningar.
Datauppsättningar med fel

Antalet datauppsättningar med fel.
Total fördröjning

Aktuell fördröjning för uppgiften (hh:mm:ss). Den här tiden anger den tid från vilken ändringen är tillgänglig i källan tills ändringen har tillämpats och är tillgänglig i målet eller mellanlagringen.
Total kapacitet

Målkapacitet i kilobytes/sekund. Detta anger hur snabbt ändringsposter laddas till målslutpunkten.
Totala inkommande ändringar

Antal ändringar som finns i källan och som väntar på att bearbetas. Du kan visa hur många som ackumuleras i källan, och hur många som tillämpas.
Totalt tillämpade ändringar

Antalet ändringar som tillämpats på målet eller mellanlagring. Du kan visa antalet infogningar, borttagningar och uppdateringar.

Du kan visa följande information för varje tabell i datauppgiften:

Kolumnerna Infoga, Uppdatera och Ta bort visas inte för aktiviteter som definieras med SaaS-programkopplingar, eftersom alla åtgärder är infogningar.

Namn

Namnet för måltabellen i mellanlagringstillgången.
Delstat

Tabelltillståndet kommer att vara ett av följande: Samlar ändringar,, Fel eller Slutförd (för schemalagda CDC-uppgifter).
Senast bearbetad

Datum och tid när de senaste ändringarna gjordes till tabellen.
Infogningar, Uppdateringar och Borttagningar
Anteckning om information
När källdatauppsättningarna filtreras kommer kolumnerna Infogningar, Uppdateringar och Borttagningar att grupperas på följande sätt:
- Läst: Antalet ändringar (infogningar, uppdateringar och borttagningar) som lästs från källdatauppsättningarna före filtrering.
- Skrivna (efter filtrering): Antalet ändringar (infogningar, uppdateringar och borttagningar) som faktiskt skrivits till målet efter filtrering.
Mer information om filtrering av datauppsättningar finns i Filtrera ett dataset.
- Infogningar
  
  Antalet infogningsåtgärder.
- Uppdateringar
  
  Antalet uppdateringsåtgärder.
  
  Anteckning om informationUppdateringar hanteras som infogningar för SaaS-programkällor.
- Borttagningar
  
  Antalet borttagningsåtgärder.
DML:er (infogningar/uppdateringar)

Anteckning om informationDen här kolumnen visas bara för uppgifter som definieras med en SaaS-programkoppling.
Anteckning om information
När källdatauppsättningarna filtreras kommer kolumnerna Infogningar, Uppdateringar och Borttagningar att grupperas på följande sätt:
- Lästa DML:er (Infogningar/Uppdateringar): Antalet DML:er (infogningar och uppdateringar) som lästs från källdatauppsättningarna före filtrering.
- Skrivna DML:er (Infogningar/Uppdateringar): Antalet DML:er (infogningar och uppdateringar) som faktiskt skrivits till målet efter filtrering.
Mer information om filtrering av datauppsättningar finns i Filtrera ett dataset.
DDL-åtgärder

Antalet DDL-åtgärder

Anteckning om informationEndast tillgängligt för "replikera data"-uppgifter.
Meddelande

Visar felmeddelanden om ändringar i tabellen inte kunde utföras och den därför inte bearbetas.

Om du mellanlagrar data från en lokal källa och valde Fullständig laddning, kommer tabellerna att laddas automatiskt när uppgiften för mellanlagring är Kör.

Om du mellanlagrar data från en lokal källa och valde Fullständig laddning och CDC, kommer tabellerna att uppdateras kontinuerligt med nya data efter den initiala fullständiga laddningen.

Ladda om vissa tabeller

Du kan manuellt ladda om valda tabeller från källan. Det är praktiskt om du vill återställa enstaka tabeller med fel. Att ladda om tabeller påverkar inte tidslinjen för CDC som nollställs om du använder Återskapa tabeller. Metadataändringar propageras inte vid laddning av tabeller.

Om du vill ladda om vissa tabeller ska du välja dem i nedre halvan av Övervaka och klicka på Ladda tabeller.

Du behöver samma behörigheter som krävs för att köra datauppgiften, alltså Ägare eller rollen Kan åtgärda.

Ladda tabeller är tillgängligt efter första körningen av datauppgiften. Om uppdateringsmetoden är Ladda och jämför så är Ladda tabeller inte tillgängligt när datauppgiften körs.

Datalagringsuppgifter nedströms synkroniseras vid nästa tillfälle de körs. Om lagringsuppgiften har aktiverad historik kommer denna att behållas.

Om det inte är möjligt att återställa genom att ladda tabeller är nästa steg att reparera datauppgiften.

Ladda alla tabeller till målet

Du kan ladda alla tabeller till målet om du upplever CDC-problem som inte kan åtgärdas genom att ladda specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel när källdatabashändelser läses in.

Denna åtgärd är bara tillgänglig för datauppgifter med uppdateringsmetoden Samla in ändrade data (CDC) och som har körts minst en gång.

Stoppa datauppgiften och alla uppgifter som använder den.
Öppna datauppgiften och välj fliken Övervaka.
Klicka på ... och sedan på Ladda mål.

Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.

Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.

Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.
Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:
- Alla tabeller laddas om med jämför och tillämpa,
- En ändringscykel utförs för varje tabell.

Övervakning av lagrings-, transformerings-, datamart-, speglings- eller kunskapsdatabasuppgifter

Du kan övervaka status och förlopp för en lagrings-, transformerings-, datamart-, speglings- eller kunskapsdatabasuppgift.

Följande övervakningsdetaljer är tillgängliga:

Info
Fullständig laddning
Batch

Info övervaka detaljer

Du kan visa allmän information om uppgiften, körnings-ID och när data uppdaterades.

Övervakningsinformation för fullständig laddning

Information om övervakning av fullständig laddning är inte relevant för uppgifter som definieras med en SaaS-programkoppling, och visas därför inte.

Du kan visa följande statistik för datauppgiften i Fullständig laddning:

Totalt antal datauppsättningar

Antalet laddade datauppsättningar.
Datauppsättningar med fel

Antalet datauppsättningar med fel.
Total kapacitet

Målkapacitet i kilobytes/sekund. Detta anger hur snabbt ändringsposter laddas till målslutpunkten.

Batch övervaka detaljer

Du kan visa statistik för batchar med ändringar:

Totalt antal datauppsättningar

Antalet laddade datauppsättningar.
Datauppsättningar med fel

Antalet datauppsättningar med fel.
Total fördröjning

Aktuell fördröjning för uppgiften (hh:mm:ss). Den här tiden anger den tid från vilken ändringen är tillgänglig i källan tills ändringen har tillämpats och är tillgänglig i målet eller mellanlagringen.
Total kapacitet

Målkapacitet i kilobytes/sekund. Detta anger hur snabbt ändringsposter laddas till målslutpunkten.
Källa

Latens och kapacitet i källan.
Mål

Latens och kapacitet i målet.
Totala inkommande ändringar

Antal ändringar som finns i källan och som väntar på att bearbetas. Du kan visa hur många som ackumuleras i källan, och hur många som tillämpas.
Totalt tillämpade ändringar

Antalet ändringar som tillämpats på målet eller mellanlagring. Du kan visa antalet infogningar, borttagningar och uppdateringar.

Visar status och förlopp

Du kan visa följande information för varje datauppsättning eller ändring i Datauppsättningar:

Namn

Namnet på måldatauppsättningen .
Delstat

Tabelltillståndet kommer att vara något av: köat, laddar, slutförd eller fel
Påbörjad

Tidpunkten när laddningen startade.
Avslutat

Tidpunkten när laddningen avslutades.
Varaktighet

Hur lång tid laddningen pågick i formatet hh:mm:ss.
Poster

Antalet poster som skrevs till målet under laddningen.
Anteckning om information
När källdatauppsättningarna filtreras, ersätts Records med följande avsnitt:
- Lästa poster: Antalet poster som lästs från källdatauppsättningarna före filtrering.
- Skrivna poster (efter filtrering): Antalet poster som faktiskt skrivits till målet efter filtrering.
Mer information om filtrering av datauppsättningar finns i Filtrera ett dataset.
Meddelande

Visar ett felmeddelande om laddningen inte kunde bearbetas utan fel.

Data från alla transaktioner i källan fram till tidpunkten som visas i Datauppgiften har uppdaterats till är tillgängliga för förbrukning från den här datatillgången. Den här informationen är tillgänglig för en datauppgift så snart alla tabeller har laddats och den första uppsättningen ändringar har tillämpats. Om du valde att generera livevyer kan du även visa när livevyer uppdateras.

Om det kommer en batch med ändringar innan den första laddningen är klar, uppdateras inte Datauppgift har uppdaterats till förrän den första laddningen är klar och den första batchen med ändringar har tillämpats. Antag till exempel att du laddar en datatillgång som innehåller en datauppsättning med en miljon order, och datauppsättning med orderdetaljer som innehåller 10 miljoner orderdetaljer. Det tar 10 respektive 20 minuter att utföra en fullständig laddning av datauppsättningarna. Datauppsättningen med order laddas först, och sedan datauppsättningen med orderdetaljerna. Medan ordertabellen laddades infogades en ny order. Så när orderdetaljerna laddas kan information om den nya ordern ingå som ännu inte finns i datauppsättningen med order. Datauppsättningarna med ordrar respektive orderdetaljer kommer endast att vara synkroniserade och helt uppdaterade till samma tid efter att den första batchen med ändringar har tillämpats.

Visa detaljerad information

Du kan visa detaljerad information om SQL-satsens nivå.

Välj de datauppsättningar som ska detaljövervakas.
Klicka på Övervaka detaljer.

Övervaka detaljer visas, och du se de kommandon som utförs i respektive steg av laddnings- eller ändringsprocessen. Du kan klicka på ett kommando för att visa de fullständiga SQL-satserna som kördes.

Klicka på Exportera till CSV för att exportera en textfil med fullständiga SQL-satser för alla listade kommandon.

Datauppgift har uppdaterats till för vyer

Fältet Data har uppdaterats till visar tiden som den äldsta vyn har uppdaterats till.

Standardvyer

Data har uppdaterats till visar tiden som den äldsta standardvyn har uppdaterats till.

Anta exempelvis att en uppgift har två tabeller, Ordrar och Orderinformation. Ordrar uppdateras till 10:01 med poster från 10:00 och 10:01, och Orderinformation har bara poster från 10:00. I det här fallet uppdateras datauppgiften till 10:00. Detta ska inte förväxlas med start- och sluttiderna för datauppgiftslasten, som kan vara 10:02 till 10:03.
Livevyer (Lagringsdatauppgifterr)

Datauppgiften har uppdaterats till visar tiden som den äldsta live-vyn har uppdaterats till.

Anta exempelvis att en uppgift har en tabell Ordrar. Ordrar i mellanlagring uppdateras till 10:01 med poster från 10:00 och 10:01, men Ordrar i lagring uppdateras bara till poster från 10:00. I det här fallet uppdateras livevyer för Ordrar till 10:01 och standardvyer uppdateras till 10:00.

Visa körningshistorik

Du kan visa körningshistoriken för en uppgift för att identifiera rotorsaker och förstå mönster över tid.

Klicka på Körningshistorik i vyn Övervaka för en uppgift.
Klicka på Körningshistorik i menyn ... för en uppgift i Övervakningsvyer.

Upp till 100 körningar visas i körningshistoriken baserat på dina filterval. Förfina dina filterkriterier för att se andra körningar. Du kan filtrera på slutdatum för körning och uppgiftsstatus. Körningsinformation sparas i 13 månader. Dataset-metadata i körningar sparas i 30 dagar.

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!

Lämna din feedback här