Övervakning av en enskild datauppgift
Du kan övervaka status och förlopp för dina datauppgifter genom att välja Övervaka från rullgardinsmenyn i det övre vänstra hörnet av fönstret för datauppgifter.
Du kan även skapa övervakningsvyer för att övervaka flera datauppgifter. Mer information finns i Övervaka och driva dina datauppgifter.
Allmän övervakningsöversikt
Övervakningsvyn är tillgänglig för alla uppgiftstyper och låter dig spåra uppgiftsstatus och mätvärden:
-
Flikar
Växla mellan de tillgängliga flikarna – som Info, Fullständig laddning och Ändringshantering, Batch eller Strömning – beroende på uppgiftstyp. Mer information om varje flik finns i det relevanta delavsnittet för uppgifter nedan.
-
Statusfilter för datamängd
Ett stapeldiagram ovanför tabellen med datamängder visar hur många datamängder som har varje status: I kö, Laddar, Slutförd och Fel. Diagrammet uppdateras dynamiskt när statusen för datamängder ändras. Klicka på ett statussegment för att filtrera tabellen med datamängder så att endast datamängder med den statusen visas.
-
Dölj widgetar
Klicka på Dölj widgetar för att dölja mätvärdeswidgetarna. Detta ger mer utrymme för att visa tabellen med datamängder nedan.
-
Startdatum
Datum och tid då den aktuella uppgiftskörningen startade.
-
Slutdatum
Datum och tid då uppgiftskörningen avslutades. Detta visas endast för slutförda uppgiftskörningar.
-
Körningshistorik
Klicka på Körningshistorik för att visa en lista över tidigare uppgiftskörningar och deras resultat.
Övervakning av dataöverföringsuppgifter
De tillgängliga övervakningsalternativen bestäms av både uppgiftstyp och kopplingstyp. Eftersom vissa kopplingar inte stöder CDC (till exempel Epicor), kommer övervakningsalternativ som är relevanta för CDC inte att visas för dessa kopplingar. På samma sätt, eftersom vissa kopplingar inte stöder fullständig laddning (till exempel Preview-kopplingar), kommer övervakningsalternativ som är relevanta för fullständig laddning inte att visas för dessa kopplingar.
Användningsfall för datapipeline: Mellanlagringsuppgifter
Alla mellanlagringsuppgifter måste starta med en fullständig laddning av källdata till målet. När den inledande fullständiga laddningen är klar uppdateras måldata med ändringar i källdata. Detta kan antingen göras med Ladda om och jämför eller Fånga dataändringar (CDC) enligt uppgiftsdefinitionen.
Mer information om mellanlagringsuppgifter finns i Mellanlagring av data från datakällor.
Användningsfall för replikering: "Replikera data"-uppgifter
"Replikera data"-uppgifter startar vanligtvis med en fullständig laddning av källdata till målet. Följande tabell sammanfattar användningsfallen för fullständig laddning.
| Användningsfall | Fullständig laddning |
|---|---|
| Replikering från SaaS-applikationer som nås via Lite-kopplingar | Krävs |
| Replikering från SaaS-applikationer som nås via Preview-kopplingar. | Inte relevant eftersom Preview-kopplingar inte stöder fullständig laddning. |
| Replikering från databaser | Valfritt |
Vid replikering från databaser, om källdata redan finns på målet och du endast vill tillämpa källändringarna på målet (or lagra dem för att tillämpa dem senare), kan replikeringsläget vara Tillämpa ändringar, Lagra ändringar eller båda. Båda dessa replikeringslägen visas i CDC-övervakningen.
Mer information om "Replikera data"-uppgifter finns i följande ämnen:
Replikera data med en Standard-, Premium- eller Enterprise-prenumeration
Replikera data med en Qlik Talend Cloud Starter-prenumeration
Användningsfall för replikering: "Mellanlagra data i datasjö"-uppgifter
"Mellanlagra data i datasjö"-uppgifter liknar mellanlagringsuppgifter i det att de måste starta med en fullständig laddning. När den inledande fullständiga laddningen är klar uppdateras måldata med ändringar i källdata. Detta kan antingen göras med Ladda om eller Fånga dataändringar (CDC). Trots att de liknar mellanlagringsuppgifter betraktas "Mellanlagra data i datasjö"-uppgifter som replikeringsuppgifter eftersom de endast består av replikering från källa till mål. De erbjuder inte möjligheten att manipulera data ytterligare nedströms (till exempel med transformeringar och datamarker), vilket är tillgängligt i en datapipeline.
Mer information om "Mellanlagra data i datasjö"-uppgifter finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.
Övervakningsdetaljer
Följande övervakningsdetaljer är tillgängliga:
-
Info
-
Fullständig laddning
-
Ändringshantering
-
Strömning
Endast tillgängligt för strömmande mellanlagringsuppgifter.
Info övervakningsdetaljer
Du kan visa allmän information om uppgiften, Körnings-ID och när data uppdaterades. För CDC-uppgifter finns även schemaläggningsinformation på den här fliken.
Fullständig laddning övervakningsdetaljer
-knapp, både i dialogrutan Skapa koppling och i onlinehjälpen.Du kan visa följande statistik för datauppgiften i Fullständig laddning:
-
Totalt antal datamängder
Antalet laddade datamängder.
-
Datamängder med fel
Antalet datamängder med fel.
-
Total latens
Aktuell latens för uppgiften (tt:mm:ss). Denna varaktighet representerar tiden från det att ändringen är tillgänglig i källan tills ändringen tillämpas och är tillgänglig i målet eller mellanlagringen.
-
Total genomströmning
Målgenomströmning i kilobyte/sekund. Detta anger hur snabbt ändringsposterna laddas till målslutpunkten.
Du kan visa följande detaljer för varje datamängd i datauppgiften:
-
Namn
Namnet på måldatamängden.
-
Tillstånd
Tabelltillståndet kommer att vara antingen: I kö, Laddar, Slutförd eller Fel.
-
Startad
Tiden då laddningen startade.
-
Avslutad
Tiden då laddningen avslutades.
-
Varaktighet
Laddningens varaktighet i formatet tt:mm:ss.
-
Poster
Antalet poster som skrevs till målet under laddningen.
Anteckning om informationNär källdatamängderna filtreras kommer Poster att ersättas med följande delavsnitt:
-
Läs poster: Antalet poster som lästs från källdatamängderna före filtrering.
-
Skrivna poster (efter filtrering): Antalet poster som faktiskt skrevs till målet efter filtrering.
Information om hur du filtrerar datamängder finns i Filtrera en datauppsättning.
-
-
Meddelande
Visar ett felmeddelande om laddningen inte kunde slutföras.
Ändringshantering övervakningsdetaljer
Ändringshantering visar antalet ändringar som tillämpats på alla tabeller under den senaste CDC-körningen, eller under den aktuella körningen om den ännu inte har slutförts. För att se antalet ändringar som tillämpats på enskilda datamängder sedan uppgiften startade, se tabellen Datamängder.
Du kan visa följande statistik för ändringshantering:
-
Totalt antal datamängder
Antalet laddade datamängder.
-
Datamängder med fel
Antalet datamängder med fel.
-
Total latens
Aktuell latens för uppgiften (tt:mm:ss). Denna varaktighet representerar tiden från det att ändringen är tillgänglig i källan tills ändringen tillämpas och är tillgänglig i målet eller mellanlagringen.
-
Total genomströmning
Målgenomströmning i kilobyte/sekund. Detta anger hur snabbt ändringsposterna laddas till målslutpunkten.
-
Totalt antal inkommande ändringar
Antalet ändringar som finns i källan och väntar på att bearbetas. Du kan se hur många som har ackumulerats i källan och hur många som tillämpas.
-
Totalt antal tillämpade ändringar
Antalet ändringar som tillämpats på målet eller mellanlagringen. Du kan se antalet tillägg, borttagningar och uppdateringar.
Du kan visa följande detaljer för varje tabell i datauppgiften:
-knapp, både i dialogrutan Skapa koppling och i onlinehjälpen.-
Namn
Namnet på måltabellen i mellanlagringstillgången.
-
Tillstånd
Tabelltillståndet kommer att vara något av följande: Ackumulerar ändringar, Fel eller Slutförd (för schemalagda CDC-uppgifter).
-
Senast bearbetad
Datum och tid då de senaste ändringarna gjordes i tabellen.
-
Infogningar, Uppdateringar och Borttagningar
Anteckning om informationNär källdatamängderna filtreras kommer kolumnerna Infogningar, Uppdateringar och Borttagningar att grupperas enligt följande:
-
Läs: Antalet ändringar (infogningar, uppdateringar och borttagningar) som lästs från källdatamängderna före filtrering.
-
Skrivna (efter filtrering): Antalet ändringar (infogningar, uppdateringar och borttagningar) som faktiskt skrevs till målet efter filtrering.
Information om hur du filtrerar datamängder finns i Filtrera en datauppsättning.
-
Infogningar
Antalet infogningsåtgärder.
-
Uppdateringar
Antalet uppdateringsåtgärder.
Anteckning om informationUppdateringar hanteras som infogningar för SaaS-applikationskällor. -
Borttagningar
Antalet borttagningsåtgärder.
-
-
DML:er (infogningar/uppdateringar)
Anteckning om informationDenna kolumn visas endast för uppgifter som definierats med en SaaS-applikations Preview-koppling. Preview-kopplingar indikeras av en-knapp, både i dialogrutan Skapa koppling och i onlinehjälpen.Anteckning om informationNär källdatamängderna filtreras kommer kolumnerna Infogningar, Uppdateringar och Borttagningar att grupperas enligt följande:
-
Läs DML:er (infogningar/uppdateringar): Antalet DML:er (infogningar och uppdateringar) som lästs från källdatamängderna före filtrering.
-
Skrivna DML:er (infogningar/uppdateringar): Antalet DML:er (infogningar och uppdateringar) som faktiskt skrevs till målet efter filtrering.
Information om hur du filtrerar datamängder finns i Filtrera en datauppsättning.
-
-
DDL-åtgärder
Antalet DDL-åtgärder
Anteckning om informationEndast tillgängligt för "Replikera data"-uppgifter. -
Meddelande
Visar ett felmeddelande om ändringar i tabellen misslyckas och inte bearbetas.
Om du mellanlagrar data från en lokal källa och valde läget Fullständig laddning, kommer tabellerna att laddas om automatiskt när mellanlagringstillgången Körs.
Om du mellanlagrar data från en lokal källa och valde läget Fullständig laddning och CDC, kommer tabellerna att uppdateras kontinuerligt med nya data efter den inledande fullständiga laddningen.
Ladda om valda tabeller
Du kan ladda om valda tabeller manuellt från källan. Detta är användbart när du vill återställa enstaka tabeller med fel. Att ladda om tabeller påverkar inte CDC-tidslinjen, vilken återställs om du använder Skapa om tabeller. Metadataändringar sprids inte när tabeller laddas om.
-
För att ladda om valda tabeller markerar du tabellerna i den nedre halvan av Övervaka och klickar på Ladda om tabeller.
Du behöver samma behörigheter som krävs för att köra datauppgiften, det vill säga rollen Ägare eller Kan hantera.
Ladda om tabeller är tillgängligt efter den första körningen av datauppgiften. Om uppdateringsmetoden är Ladda om och jämför, är Ladda om tabeller inte tillgängligt när datauppgiften körs.
Nedströms lagringsdatauppgifter synkroniseras nästa gång de körs. Om lagringsuppgiften har historik aktiverad kommer den att bibehållas.
Om det inte går att återställa genom att ladda om tabeller är nästa steg att reparera datauppgiften.
Ladda om alla tabeller till målet
Du kan ladda om alla tabeller till målet om du upplever CDC-problem som inte kan lösas genom att ladda om specifika tabeller. Exempel på problem är saknade händelser, problem som orsakas av omorganisering av källdatabasen eller fel vid läsning av källdatabashändelser.
- Stoppa datauppgiften och alla uppgifter som använder den.
-
Öppna datauppgiften och välj fliken Övervaka.
-
Klicka på ... och sedan på Ladda mål.
Då laddas alla tabeller till målet med släpp-skapa och alla insamlingar av ändringsdata startas om från och med nu.
-
Lagringsuppgifter som förbrukar mellanlagringsdatauppgiften kommer att laddas via jämför och tillämpa vid deras nästa körning så att de synkas. Befintlig historik kommer att bevaras. Typ 2-historik kommer att uppdateras för att återspegla ändringar efter att laddningen och jämförelseprocessen har utförts.
Tidsmarkören för från-datumet i typ 2-historiken kommer att återspegla laddningsdatumet och inte nödvändigtvis det datum då ändringen skedde i källan.
-
Livevyer för lagring kommer inte att vara tillförlitliga under ladda mål-åtgärden och fram till dess att lagringen är synkad. Lagringsplatsen kommer att vara helt synkad när:
-
Alla tabeller laddas om med jämför och tillämpa,
-
En ändringscykel utförs för varje tabell.
-
Övervakning av lagrings-, transformerings-, datamarks-, mirror, och kunskapsmarksuppgifter
Du kan övervaka status och förlopp för en lagrings-, transformerings-, datamarks-, Mirror, eller kunskapsmarksuppgift.
Följande övervakningsdetaljer är tillgängliga:
-
Info
-
Fullständig laddning
-
Batch
Info övervakningsdetaljer
Du kan visa allmän information om uppgiften, Körnings-ID och när data uppdaterades.
Fullständig laddning övervakningsdetaljer
-knapp, både i dialogrutan Skapa koppling och i onlinehjälpen.Du kan visa följande statistik för datauppgiften i Fullständig laddning:
-
Totalt antal datamängder
Antalet laddade datamängder.
-
Datamängder med fel
Antalet datamängder med fel.
-
Total genomströmning
Målgenomströmning i kilobyte/sekund. Detta anger hur snabbt ändringsposterna laddas till målslutpunkten.
Batch övervakningsdetaljer
Du kan visa statistik för ändringsbatschar:
-
Totalt antal datamängder
Antalet laddade datamängder.
-
Datamängder med fel
Antalet datamängder med fel.
-
Total latens
Aktuell latens för uppgiften (tt:mm:ss). Denna varaktighet representerar tiden från det att ändringen är tillgänglig i källan tills ändringen tillämpas och är tillgänglig i målet eller mellanlagringen.
-
Total genomströmning
Målgenomströmning i kilobyte/sekund. Detta anger hur snabbt ändringsposterna laddas till målslutpunkten.
-
Källa
Latens och genomströmning i källan.
-
Mål
Latens och genomströmning i målet.
-
Totalt antal inkommande ändringar
Antalet ändringar som finns i källan och väntar på att bearbetas. Du kan se hur många som har ackumulerats i källan och hur många som tillämpas.
-
Totalt antal tillämpade ändringar
Antalet ändringar som tillämpats på målet eller mellanlagringen. Du kan se antalet tillägg, borttagningar och uppdateringar.
Visa status och förlopp
Du kan visa följande detaljer för varje datamängd eller ändring i Datamängder:
-
Namn
Namnet på måldatamängden.
-
Tillstånd
Tabelltillståndet kommer att vara antingen: I kö, Laddar, Slutförd eller Fel.
-
Startad
Tiden då laddningen startade.
-
Avslutad
Tiden då laddningen avslutades.
-
Varaktighet
Laddningens varaktighet i formatet tt:mm:ss.
-
Poster
Antalet poster som skrevs till målet under laddningen.
Anteckning om informationNär källdatamängderna filtreras kommer Poster att ersättas med följande delavsnitt:
-
Läs poster: Antalet poster som lästs från källdatamängderna före filtrering.
-
Skrivna poster (efter filtrering): Antalet poster som faktiskt skrevs till målet efter filtrering.
Information om hur du filtrerar datamängder finns i Filtrera en datauppsättning.
-
-
Meddelande
Visar ett felmeddelande om laddningen inte kunde slutföras.
Data från alla källtransaktioner fram till den tidpunkt som visas i Datauppgiften är uppdaterad till är tillgängliga för konsumtion från denna datauppgift. Denna information är tillgänglig för en datauppgift när alla tabeller har laddats och den första uppsättningen ändringar har tillämpats. Om du har valt att generera livevyer kan du också se när livevyer uppdateras.
Om det finns en ändringsbatch innan den inledande laddningen är klar kommer Datauppgiften är uppdaterad till inte att uppdateras förrän den inledande laddningen är klar och den första ändringsbatschen har tillämpats. Anta till exempel att du laddar en datatillgång som innehåller en orderdatamängd med 1 miljon order och en orderdetaljdatamängd med 10 miljoner orderdetaljer. Datamängderna tar 10 respektive 20 minuter att utföra en fullständig laddning. Orderdatamängden laddas först, följt av orderdetaljdatamängden. Medan orderdatamängden laddades infogades en ny order. Så när orderdetaljerna laddas kan de innehålla detaljer om den nya ordern, som ännu inte finns i orderdatamängden. Order- och orderdetaljdatamängderna kommer endast att vara synkroniserade och helt uppdaterade till samma tidpunkt efter att den första ändringsbatschen har tillämpats.
Visa detaljerad information
Du kan visa detaljerad information på SQL-instruktionsnivå.
-
Välj de datamängder som ska övervakas i detalj.
-
Klicka på Övervakningsdetaljer.
Övervakningsdetaljer visas, och du kan se de kommandon som körs för varje steg i laddnings- eller ändringsprocessen. Du kan klicka på ett kommando för att visa de fullständiga SQL-instruktioner som kördes.
-
Klicka på Exportera till CSV för att exportera en text file med fullständiga SQL-instruktioner för alla listade kommandon.
Datauppgiften är uppdaterad till för vyer
Fältet Datauppgiften är uppdaterad till visar den tidpunkt till vilken den äldsta vyn är uppdaterad.
-
Standardvyer
Datauppgiften är uppdaterad till visar den tidpunkt till vilken den äldsta standardvyn är uppdaterad.
Anta till exempel att en uppgift har två tabeller, Orders och Order details. Orders är uppdaterad till 10:01 med poster från 10:00 och 10:01, och Order details har endast poster från 10:00. I det här fallet är datauppgiften uppdaterad till 10:00. Detta ska inte förväxlas med start- och sluttiderna för datauppgiftens laddning, som kan vara 10:02 till 10:03.
-
Livevyer (lagringsdatauppgifter)
Datauppgiften är uppdaterad till visar den tidpunkt till vilken den äldsta livevyn är uppdaterad.
Anta till exempel att en uppgift har en Orders-tabell. Orders i mellanlagringen är uppdaterad till 10:01 med poster från 10:00 och 10:01, men Orders i lagringen är endast uppdaterad till poster från 10:00. I det här fallet är livevyer för Orders uppdaterade till 10:01, och standardvyer är uppdaterade till 10:00.
Visa körningshistorik
Du kan visa körningshistoriken för en uppgift för att identifiera rotorsaker och förstå mönster över tid.
-
Klicka på Körningshistorik i vyn Övervaka för en uppgift.
-
Klicka på Körningshistorik i menyn ... för en uppgift i Övervakningsvyer.
Upp till 100 körningar visas i körningshistoriken baserat på dina filterval. Förfina dina filterkriterier för att se andra körningar. Du kan filtrera på slutdatum för körning och uppgiftsstatus. Körningsinformation sparas i 13 månader. Dataset-metadata i körningar sparas i 30 dagar.