Övervaka en enskild datauppgift

Du kan övervaka status och förlopp för dina datauppgifter genom att välja Övervaka på rullgardinsmenyn längst upp till vänster i datauppgiftsfönstret.

Du kan också skapa övervaka-vyer för att övervaka flera datauppgifter. Mer information finns i Övervaka och utföra dina datauppgifter.

Övervaka mellanlagrings- och replikeringsuppgifter

Övervakning av mellanlagrings- och replikeringsuppgifter liknar varandra eftersom både den initiala belastningen och CDC kan övervakas, men det finns några skillnader som är värda att nämna på grund av deras olika användningsområden.

Användningsområde för datapipeline: mellanlagringsuppgifter

Alla mellanlagringsuppgifter måste inledas med en fullständig laddning av källdata till målet. När den första fullständiga laddningen är klar uppdateras måldata med ändringar i källdata. Detta kan antingen göras med hjälp av Ladda och jämför eller Sammanställning av ändringsdata (CDC) enligt uppgiftsdefinitionen.

Mer information om mellanlagringsuppgifter finns i Mellanlagra data från datakällor.
Användningsfall för replikering: "replikera data"-uppgifter

"Replikera data"-uppgifter inleds vanligen med en fullständig laddning av källdata till målet. Detta är obligatoriskt vid replikering från SaaS-tillämpningar, men är valfritt vid replikering från databaser. Vid replikering från databaser, om källdata redan finns på målet och du bara vill tillämpa källändringarna på målet (eller lagra dem för senare tillämpning), kan replikeringsläget vara Tillämpa ändringar, Lagra ändringar eller båda. Båda dessa replikeringslägen visas i CDC-övervakningen.

Mer information om "Replikera data"-uppgifter finns i följande avsnitt:

Replikera data med en Standard-, Premium- eller Enterprise-prenumeration

Replikera data med en Qlik Talend Cloud Starter-prenumeration
Användningsfall för replikering: "mellanlagra data i datareservoar"-uppgifter

"Mellanlagra data i datasjö"-uppgifter liknar mellanlagringsuppdrag genom att de måste starta med fullständig laddning. När den första fullständiga laddningen är klar uppdateras måldata med ändringar i källdata. Detta kan antingen göras med hjälp av Ladda eller Sammanställning av ändringsdata (CDC). Trots sin likhet med mellanlagringsuppgifter betraktas "mellanlagra data i datasjö"-uppgifter som replikeringsuppgifter eftersom de endast består av replikering från källa till mål. De ger inte möjlighet att manipulera data längre nedströms (till exempel med hjälp av transformationer och datamarter), vilket är tillgängligt i en datapipeline.

Anteckning om informationStegen för att skapa en separat uppgift "Mellanlagra data i datasjö" är inte relevanta med en Qlik Talend Cloud Starter-prenumeration. Med en Qlik Talend Cloud Starter-prenumeration görs replikering till molnlagringsmål via en "Replikera data"-standarduppgift.

Mer information om "mellanlagra data i datasjö"-uppgifter finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.

Övervaka detaljer

Du kan visa följande information för datauppgiften i Status för fullständig laddning:

Köad – antal tabeller som är köade för närvarande.
Laddas – antal tabeller som laddas för närvarande.
Slutförda – antal slutförda tabeller.
Fel – antal tabeller med fel.

Du kan visa följande information för varje tabell i datauppgiften:

Namn

Namnet på måltabellen.
Tillstånd

Tabelltillståndet kommer att vara något av: köat, laddar, slutförd eller fel
Påbörjad

Tidpunkten när laddningen startade.
Avslutat

Tidpunkten när laddningen avslutades.
Varaktighet

Hur lång tid laddningen pågick i formatet hh:mm:ss.
Poster

Antalet poster som replikerades under laddningen.
Cachelagrade ändringar

Antalet cachade ändringar.
Meddelande

Visar ett felmeddelande om laddningen inte kunde bearbetas utan fel.

Samla in ändrade data (CDC) övervakningsuppgifter

Du kan visa följande CDC-information i datauppgiften vid övervakning av bearbetning av ändringar i CDC-status:

Inkommande ändringar – antal ändringar som finns i källan och som väntar på att bearbetas. Du kan visa hur många som ackumuleras och hur många som tillämpas.
Bearbetade ändringar – antal ändringar som har bearbetats och tillämpats (under de senaste 24 timmarna).
Kapacitet –genomsnittlig målkapacitet i kilobytes/sekund. Detta anger hur snabbt ändringsposter laddas till målslutpunkten.
Fördröjning – aktuell fördröjning för datatillgången (hh:mm:ss). Den här tiden anger den tid från vilken ändringen är tillgänglig tills källan har tillämpats och är tillgänglig i mål- eller mellanlagringstillgången.

Du kan visa följande information för varje tabell i datauppgiften:

Namn

Namnet för måltabellen i mellanlagringstillgången.
Tillstånd

Tabelltillståndet kommer att vara något av: ackumulerar ändringar eller fel.
Senast bearbetad

Datum och tid när de senaste ändringarna gjordes till tabellen.
Infogningar

Antalet infogningsåtgärder.
Uppdateringar

Antalet uppdateringsåtgärder.

Anteckning om informationUppdateringar hanteras som infogningar för SaaS-programkällor.
Borttagningar

Antalet borttagningsåtgärder.
DDL-åtgärder

Antalet DDL-åtgärder

Anteckning om informationEndast tillgängligt för "replikera data"-uppgifter.
Meddelande

Visar felmeddelanden om ändringar i tabellen inte kunde utföras och den därför inte bearbetas.

Om du mellanlagrar data från en lokal källa och valde Fullständig laddning, kommer tabellerna att laddas automatiskt när uppgiften för mellanlagring är Kör.

Om du mellanlagrar data från en lokal källa och valde Fullständig laddning och CDC, kommer tabellerna att uppdateras kontinuerligt med nya data efter den initiala fullständiga laddningen.

Ladda om vissa tabeller

Du kan manuellt ladda om valda tabeller från källan. Det är praktiskt om du vill återställa enstaka tabeller med fel. Att ladda om tabeller påverkar inte tidslinjen för CDC som nollställs om du använder Återskapa tabeller. Metadataändringar propageras inte vid laddning av tabeller.

Om du vill ladda om vissa tabeller ska du välja dem i nedre halvan av Övervaka och klicka på Ladda tabeller.

Du behöver samma behörigheter som krävs för att köra datauppgiften, alltså Ägare eller rollen Kan åtgärda.

Ladda tabeller är tillgängligt efter första körningen av datauppgiften. Om uppdateringsmetoden är Ladda och jämför så är Ladda tabeller inte tillgängligt när datauppgiften körs.

Datalagringsuppgifter nedströms synkroniseras vid nästa tillfälle de körs. Om lagringsuppgiften har aktiverad historik kommer denna att behållas.

Om det inte är möjligt att återställa genom att ladda tabeller är nästa steg att reparera datauppgiften.

Ladda alla tabeller till målet

Du kan ladda alla tabeller till målet om du upplever CDC-problem som inte kan åtgärdas genom att ladda specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel när källdatabashändelser läses in.

Denna operation är bara tillgänglig för datauppgifter med uppdateringsmetoden Samla in ändrade data (CDC) och som har körts minst en gång.

Stoppa datauppgiften och alla uppgifter som använder den.
Öppna datauppgiften och välj fliken Övervaka.
Klicka på ... och sedan på Ladda mål.

Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.

Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.

Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.
Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:
- Alla tabeller laddas om med jämför och tillämpa,
- En ändringscykel utförs för varje tabell.

Övervakning av lagrings-, omvandlings- och datamart-uppgifter

Du kan övervaka status och förlopp för en lagrings-, omvandlings- eller datamart-uppgift.

När den första laddningen körs kan du visa förloppet i Status för fullständig laddning.
Medan ändringar bearbetas kan du visa status och förlopp för Aktuell batch med ändringar.
När ändringar har bearbetats kan du visa status och förlopp för Senaste batchen med ändringar.

I nedre halvan av Övervaka kan du visa status och förlopp för varje datauppsätttning.

Du kan även visa detaljerad information om SQL-satsens nivå.

Visar status och förlopp

Du kan visa följande information för varje datauppsättning eller ändring:

Tillstånd

Visar aktuellt tillstånd för datauppsättningen eller ändringen.
- Slutförd – laddningen eller ändringen har slutförts utan fel.
- Laddar – tabellen eller ändringen bearbetas.
- I kö – tabellen eller ändringen väntar på att bearbetas.
- Fel – ett fel uppstod när tabellen eller ändringen bearbetades.
Påbörjad

Tidpunkten laddningen eller bearbetningen av ändringen började.
Avslutat

Tidpunkten laddningen eller bearbetningen av ändringen avslutades.
Varaktighet

Hur lång tid laddningen eller bearbetningen av ändringen pågick i formatet hh:mm:ss.
Behandlade poster

Antalet poster som bearbetades under laddningen eller ändringen.
Kapacitet (poster/sekund)

Kapaciteten uppdateras inte förrän laddningen är klar.
Meddelande

Visar ett felmeddelande om laddningen eller ändringen inte kunde bearbetas utan fel.

Datauppsättningarna kommer att uppdateras kontinuerligt med nya data, efter hand som mellanlagringsdata uppdateras av replikeringsuppgiften. Varje batch avser poster från en viss tidsperiod. Du kan se tidsperioden för den senaste batchen i Senaste batchen med ändringar.

Data från alla transaktioner i källan fram till tidpunkten som visas i Datauppgiften har uppdaterats till är tillgängliga för förbrukning från den här datatillgången. Den här informationen är tillgänglig för en datauppgift så snart alla tabeller har laddats och den första uppsättningen ändringar har tillämpats. Om du valde att generera livevyer kan du även visa när livevyer uppdateras.

Om det kommer en batch med ändringar innan den första laddningen är klar, uppdateras inte Datauppgift har uppdaterats till förrän den första laddningen är klar och den första batchen med ändringar har tillämpats. Antag till exempel att du laddar en datatillgång som innehåller en datauppsättning med en miljon order, och datauppsättning med orderdetaljer som innehåller 10 miljoner orderdetaljer. Det tar 10 respektive 20 minuter att utföra en fullständig laddning av datauppsättningarna. Datauppsättningen med order laddas först, och sedan datauppsättningen med orderdetaljerna. Medan ordertabellen laddades infogades en ny order. Så när orderdetaljerna laddas kan information om den nya ordern ingå som ännu inte finns i datauppsättningen med order. Datauppsättningarna med order respektive orderdetaljer kommer endast att vara synkroniserade och helt uppdaterade till samma tid efter att den första batchen med ändringar har tillämpats.

Visa detaljerad information

Du kan visa detaljerad information om SQL-satsens nivå.

Välj Fullständig laddning, Aktuell batch med ändringar eller Senaste batch med ändringar i listmenyn i den nedre delen av Övervaka.
Välj de datauppsättningar som ska detaljövervakas.
Klicka på Övervaka detaljer.

Övervaka detaljer visas, och du se de kommandon som utförs i respektive steg av laddnings- eller ändringsprocessen. Du kan klicka på ett kommando för att visa de fullständiga SQL-satserna som kördes.

Klicka på Exportera till CSV för att exportera en textfil med fullständiga SQL-satser för alla listade kommandon.

Datauppgift har uppdaterats till för vyer

Fältet Data har uppdaterats till visar tiden som den äldsta vyn har uppdaterats till.

Standardvyer

Data har uppdaterats till visar tiden som den äldsta standardvyn har uppdaterats till.

Anta exempelvis att en uppgift har två tabeller, Ordrar och Orderinformation. Ordrar uppdateras till 10:01 med poster från 10:00 och 10:01, och Orderinformation har bara poster från 10:00. I det här fallet uppdateras datauppgiften till 10:00. Detta ska inte förväxlas med start- och sluttiderna för datauppgiftslasten, som kan vara 10:02 till 10:03.
Livevyer (Lagringsdatauppgifterr)

Datauppgiften har uppdaterats till visar tiden som den äldsta live-vyn har uppdaterats till.

Anta exempelvis att en uppgift har en tabell Ordrar. Ordrar i mellanlagring uppdateras till 10:01 med poster från 10:00 och 10:01, men Ordrar i lagring uppdateras bara till poster från 10:00. I det här fallet uppdateras livevyer för Ordrar till 10:01 och standardvyer uppdateras till 10:00.

Var den här sidan till hjälp för dig?

Om du hittar några fel på denna sida eller i innehållet – ett stavfel, ett steg som saknas eller ett tekniskt fel – berätta för oss så att vi kan blir bättre!

Lämna din feedback här