Een afzonderlijke gegevenstaak bewaken
U kunt de status en voortgang van uw gegevenstaken bewaken door Bewaken te selecteren in de vervolgkeuzelijst in de linkerbovenhoek van het gegevenstaakvenster.
U kunt ook voortgangsweergaven maken om verschillende gegevenstaken te bewaken. Ga voor meer informatie naar Controleren en beheren van uw datataken.
Algemene bewakings overzicht
De voortgangsweergave is beschikbaar voor alle taaktypen en stelt u in staat de taakstatus en -statistieken te volgen:
-
Tabbladen
Schakel tussen de beschikbare tabbladen — zoals Info, Volledige lading, en Wijzigingsverwerking, Batch, of Streaming — afhankelijk van het taaktype. Voor details over elk tabblad, zie de relevante taaksectie hieronder.
-
Datasetstatusfilter
Een staafdiagram boven de tabel met gegevensverzamelingen toont hoeveel gegevensverzamelingen zich in elke status bevinden: In wachtrij, Laden, Voltooid, en Fout. Het diagram wordt dynamisch bijgewerkt naarmate de statussen van de gegevensset wijzigen. Klik op een statussegment om de datasetstabel te filteren en alleen datasets met die status weer te geven.
-
Widgets verbergen
Klik Widgets verbergen om de metrische widgets samen te vouwen. Dit biedt meer ruimte om de onderstaande tabel met gegevensverzamelingen te bekijken.
-
Startdatum
De datum en tijd waarop de huidige taakuitvoering begon.
-
Einddatum
De datum en tijd waarop de taakuitvoering is beëindigd. Dit wordt alleen weergegeven voor voltooide taakuitvoeringen.
-
Geschiedenis uitvoeringen
Klik op Uitvoeringsgeschiedenis om een lijst met eerdere taakuitvoeringen en hun resultaten te bekijken.
Gegevensverplaatsingstaken bewaken
De beschikbare bewakingsopties worden bepaald door zowel het type taak als het type connector. Aangezien sommige connectoren CDC niet ondersteunen (bijvoorbeeld Epicor), worden bewakingsopties die relevant zijn voor CDC niet weergegeven voor die connectoren. Net zoals sommige connectoren volledige lading niet ondersteunen, worden bewakingsopties die relevant zijn voor volledige lading niet weergegeven voor die connectoren.
Usecase gegevenspijplijn: tussenopslagtaken
Alle tussenopslagtaken moeten starten met een volledige lading van de brongegevens naar het doel. Nadat de eerste volledige lading is voltooid, worden de doelgegevens bijgewerkt met de wijzigingen van de brongegevens. Dit kunt u doen met Opnieuw laden en vergelijken of Vastleggen van wijzigingsgegevens (CDC), afhankelijk van de taakdefinitie.
Voor meer informatie over tussenopslagtaken raadpleegt u Gegevens van gegevensbronnen tijdelijk opslaan.
Usecase replicatie: taken voor "gegevens repliceren"
Taken voor "Gegevens repliceren" starten meestal met een volledige lading van de brongegevens naar het doel. De volgende tabel vat de gebruiksscenario's voor volledige lading samen.
| Gebruikscases | Volledige lading |
|---|---|
| Repliceren vanuit SaaS-applicaties. | Verplicht |
| Repliceren vanuit andere gegevensbrontypen zoals databases | Optioneel |
Bij replicatie vanuit niet-SaaS-applicatiebronnen, als de brongegevens al aanwezig zijn in het doel en u alleen de bronwijzigingen op het doel wilt toepassen (of wilt opslaan om ze later toe te passen), dan kan de replicatiemodus Wijzigingen toepassen, Wijzigingen opslaan of beide zijn. Beide replicatiemodi worden in de CDC-bewaking getoond.
Voor meer informatie over "Gegevens repliceren" taken, raadpleegt u de volgende onderwerpen:
Gegevens repliceren met een Standard-, Premium- of Enterprise-abonnement
Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement
Usecase replicatie: Taken "Gegevens tijdelijk opslaan in datalake"
Taken voor "Gegevens tijdelijk opslaan in datalake" zijn vergelijkbaar met tussenopslagtaken omdat ze met een volledige lading moeten starten. Nadat de eerste volledige lading is voltooid, worden de doelgegevens bijgewerkt met de wijzigingen van de brongegevens. Dit kunt u doen met Opnieuw laden of Vastleggen van wijzigingsgegevens (CDC). Ondanks dat ze vergelijkbaar zijn met tussenopslagtaken, worden taken voor "Gegevens tijdelijk opslaan in datalake" gezien als replicatietaken omdat ze alleen bestaan uit bron-naar-doelreplicatie. Ze bieden niet de mogelijkheid om gegevens verder downstream te manipuleren (bijvoorbeeld het gebruik van transformaties en datamarts), wat wel mogelijk is in een gegevenspijplijn.
Voor meer informatie over taken voor "Gegevens tijdelijk opslaan in datalake", raadpleegt u Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement.
De metagegevens vernieuwen nadat nieuwe kolommen zijn toegevoegd aan een SaaS-applicatiebron
Wanneer nieuwe kolommen worden toegevoegd aan een SaaS-applicatiebron nadat een taak al actief is, moet u de metagegevens vernieuwen om gegevensverlies te voorkomen.
Voor de volgende actie:
-
Open en sla de verbinding opnieuw op.
-
Bereid de taak voor zoals beschreven in Gegevenspijplijnprojecten maken en beheren.
Bewakingsdetails
De volgende bewakingsdetails zijn beschikbaar:
-
Informatie
-
Volledige lading
-
Verwerken wijzigen
-
Streaming
Alleen beschikbaar voor streaming tussenopslagtaken.
Info bewakingsdetails
U kunt algemene informatie over de taak, de Uitvoerings-ID, en wanneer gegevens zijn bijgewerkt, bekijken. Voor CDC-taken is planningsinformatie ook beschikbaar op dit tabblad.
Bewakingsdetails volledige lading
U kunt de volgende statistieken bekijken voor de gegevenstaak in Volledige lading:
-
Totaal aantal gegevensverzamelingen
Het aantal geladen gegevensverzamelingen.
-
Gegevensverzamelingen met fouten
Het aantal datasets met fouten.
-
Totale latentie
Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron totdat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
U kunt de volgende details weergeven voor elke dataset in de gegevenstaak:
-
Naam
De naam van de doelgegevensverzameling .
-
Status
Tabelstatus is: In wachtrij, Wordt geladen, Voltooid, Volledige lading onvolledig, of Fout.
Bij het laden van gegevens vanuit een SaaS-applicatiebron, kan soms een Volledige lading onvolledig status worden weergegeven in de monitor als gevolg van tijdelijke onderbrekingen. Dergelijke onderbrekingen kunnen worden veroorzaakt door het overschrijden van het datalimiet van de SaaS-applicatie, service-instabiliteit en andere factoren.
De taak wordt automatisch hervat bij de volgende geplande CDC-instantie. Echter, de volledige lading kan gepauzeerd blijven als het probleem dat de onderbreking veroorzaakt nog niet is opgelost. U kunt de taak ook handmatig hervatten in plaats van te wachten op de volgende geplande CDC-instantie.
-
Gestart
Het tijdstip waarop de laadbewerking is gestart.
-
Beëindigd
Het tijdstip waarop de laadbewerking is beëindigd.
-
Duur
Duur van het laden in de notatie hh:mm:ss.
-
Records
Het aantal records dat tijdens het laden naar het doel is geschreven.
InformatieWanneer de brondatasets zijn gefilterd, wordt Records vervangen door de volgende secties:
-
Gelezen records: Het aantal records dat uit de brongegevenssets is gelezen vóór het filteren.
-
Geschreven records (na filteren): Het aantal records dat daadwerkelijk naar het doel is geschreven na het filteren.
Voor informatie over het filteren van datasets, zie Een dataset filteren.
-
-
Bericht
Toont een foutbericht als de laadbewerking niet met succes is verwerkt.
Bewakingsdetails verwerken van wijzigingen
Wijzigingsverwerking geeft het aantal wijzigingen weer dat is toegepast op alle tabellen tijdens de laatste CDC-uitvoering, of tijdens de huidige uitvoering als deze nog niet is voltooid. Om het aantal wijzigingen te zien dat is toegepast op afzonderlijke gegevensverzamelingen sinds de taak is gestart, raadpleegt u de Gegevensverzamelingen-tabel.
U kunt de volgende statistieken voor wijzigingsverwerking bekijken:
-
Totaal aantal gegevensverzamelingen
Het aantal geladen gegevensverzamelingen.
-
Gegevensverzamelingen met fouten
Het aantal datasets met fouten.
-
Totale latentie
Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron totdat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
-
Totaal aantal binnenkomende wijzigingen
Het aantal wijzigingen dat bij de bron aanwezig is en wacht op verwerking. U kunt zien hoeveel er zijn verzameld in de bron en hoeveel er worden toegepast.
-
Totaal toegepaste wijzigingen
Het aantal wijzigingen toegepast op het doel of de tussenopslag. U kunt het aantal toevoegingen, verwijderingen en updates bekijken.
U kunt de volgende details weergeven voor elke tabel in de gegevenstaak:
-
Naam
De naam van de doeltabel in de tussenopslag.
-
Status
De tabelstatus is een van de volgende: Wijzigingen verzamelen, Fout of Voltooid (voor geplande CDC-taken).
-
Laatst verwerkt
De datum en tijd waarop de laatste wijzigingen in de tabel zijn aangebracht.
-
Invoegingen, Bijwerkingen en Verwijderingen
InformatieWanneer de brondatasets worden gefilterd, worden de kolommen Invoegingen, Bijwerkingen en Verwijderingen als volgt gegroepeerd:
-
Gelezen: Het aantal wijzigingen (Invoegingen, Bijwerkingen en Verwijderingen) gelezen uit de brondatasets vóór filtering.
-
Geschreven (na filtering): Het aantal wijzigingen (invoegingen, updates en verwijderingen) dat daadwerkelijk naar het doel is geschreven na filtering.
Voor informatie over het filteren van datasets, zie Een dataset filteren.
-
Invoegingen
Het aantal invoegingen.
-
Updates
Het aantal updates.
InformatieUpdates worden verwerkt als invoegingen voor SaaS-toepassingsbronnen. -
Verwijdert
Het aantal verwijderingen.
-
-
DML's (invoegingen/updates)
InformatieDeze kolom wordt alleen weergegeven voor taken die zijn gedefinieerd met een SaaS-applicatieconnector.InformatieWanneer de brondatasets worden gefilterd, worden de kolommen Invoegingen, Bijwerkingen en Verwijderingen als volgt gegroepeerd:
-
Gelezen DML's (Invoegingen/Updates): Het aantal DML's (invoegingen en updates) dat is ingelezen uit de bron-datasets vóór filtering.
-
Geschreven DML's (Invoegingen/Updates): Het aantal DML's (invoegingen en updates) dat daadwerkelijk naar het doel is geschreven na filtering.
Voor informatie over het filteren van datasets, zie Een dataset filteren.
-
-
DDL-bewerkingen
Het aantal DDL-bewerkingen
InformatieAlleen beschikbaar voor taken voor "Gegevens repliceren". -
Bericht
Geeft een foutmelding als wijzigingen in de tabel mislukken en niet worden verwerkt.
Als u tijdelijke gegevens aanvoert vanuit een on-premises bron en kiest voor de modus Volledige lading, worden de tabellen automatisch opnieuw geladen wanneer de tussenopslag wordt uitgevoerd.
Als u tijdelijke gegevens aanvoert vanuit een on-premises bron en kiest voor de modus Volledige lading en CDC, worden de tabellen doorlopend bijgewerkt met nieuwe gegevens na de eerste volledige lading.
Geselecteerde tabellen opnieuw laden
U kunt geselecteerde tabellen van de bron handmatig opnieuw laden. Dit is handig als u afzonderlijke tabellen met een fout wilt herstellen. Het laden van tabellen heeft geen invloed op de CDC-tijdlijn, die wordt gereset als u Tabellen opnieuw maken gebruikt. Wijzigingen van metagegevens worden niet doorgegeven als tabellen worden geladen.
-
Als u geselecteerde tabellen opnieuw wilt laden, selecteert u de tabellen in de onderste helft van Bewaken en klikt u op Tabellen laden.
U hebt dezelfde machtigingen nodig die zijn vereist om de gegevenstaak uit te voeren, namelijk Eigenaar of de rol Kan uitvoeren.
Tabellen laden is beschikbaar na de eerste uitvoering van de gegevenstaak. Als de bijwerkmethode Opnieuw laden en vergelijken is, is Tabellen laden niet beschikbaar als de gegevenstaak wordt uitgevoerd.
Downstream-opslagtaken worden bij de volgende uitvoering gesynchroniseerd. Als voor de opslagtaak de geschiedenis is ingeschakeld, blijft deze behouden.
Als herstel niet mogelijk is door tabellen opnieuw te laden, dan is de volgende stap om de gegevenstaak te herstellen.
Alle tabellen opnieuw naar het doel laden
U kunt alle tabellen opnieuw naar het doel laden als u CDC-problemen hebt die u niet kunt oplossen door specifieke tabellen opnieuw te laden. Voorbeelden van problemen zijn ontbrekende gebeurtenissen, problemen die worden veroorzaakt door de reorganisatie van de brondatabase of storing in het lezen van brondatabasegebeurtenissen.
- Stop de gegevenstaak en alle taken die deze gebruiken.
-
Open de gegevenstaak en selecteer het tabblad Bewaken.
-
Klik op de knop ... en vervolgens op Opnieuw laden.
Hierdoor worden alle tabellen naar het doel geladen met behulp van de Drop/Create-methode en wordt het vastleggen van gegevens vanaf dit punt opnieuw gestart.
-
Opslagtaken die gebruikmaken van de tussenopslagtaak worden bij de volgende uitvoering opnieuw geladen via vergelijken en toepassen om de gegevens te synchroniseren. De bestaande geschiedenis blijft behouden. Geschiedenis type 2 wordt bijgewerkt om de wijzigingen te weerspiegelen nadat er opnieuw is geladen en het vergelijkingsproces is uitgevoerd.
De tijdstempel voor de vanaf-datum in de geschiedenis type 2 weerspiegelt de datum van opnieuw laden en niet noodzakelijkerwijs de datum dat de wijziging is opgetreden in de bron.
-
Liveweergaven van opslag zijn niet betrouwbaar tijdens de laadbewerking van het doel en totdat de opslag is gesynchroniseerd. Opslag wordt volledig gesynchroniseerd wanneer:
-
Alle tabellen opnieuw zijn geladen met behulp van vergelijken en toepassen;
-
Eén cyclus van wijzigingen voor iedere tabel is uitgevoerd.
-
Taken voor opslag, transformatie, datamart spiegelen, en knowledgemart bewaken
U kunt de status en voortgang van een opslag-, transformatie- of datamart-, spiegel- of knowledgemarttaak bewaken.
De volgende bewakingsdetails zijn beschikbaar:
-
Informatie
-
Volledige lading
-
Batch
Info bewakingsdetails
U kunt algemene informatie over de taak, de Uitvoerings-ID en wanneer gegevens zijn bijgewerkt bekijken.
Bewakingsdetails volledige lading
U kunt de volgende statistieken bekijken voor de gegevenstaak in Volledige lading:
-
Totaal aantal gegevensverzamelingen
Het aantal geladen gegevensverzamelingen.
-
Gegevensverzamelingen met fouten
Het aantal datasets met fouten.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
Batch bewakingsdetails
U kunt statistieken bekijken voor batches met wijzigingen:
-
Totaal aantal gegevensverzamelingen
Het aantal geladen gegevensverzamelingen.
-
Gegevensverzamelingen met fouten
Het aantal datasets met fouten.
-
Totale latentie
Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron totdat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
-
Bron
Latentie en doorvoer in de bron.
-
Doel
Latentie en doorvoer in het doel.
-
Totaal binnenkomende wijzigingen
Het aantal wijzigingen dat bij de bron aanwezig is en wacht op verwerking. U kunt zien hoeveel er zijn verzameld in de bron en hoeveel er worden toegepast.
-
Totaal toegepaste wijzigingen
Het aantal wijzigingen toegepast op het doel of de tussenopslag. U kunt het aantal toevoegingen, verwijderingen en updates bekijken.
Status en voortgang bekijken
U kunt de volgende details weergeven voor elke gegevensverzameling of wijziging in Datasets:
-
Naam
De naam van de doelgegevensverzameling .
-
Status
Tabelstatus is: In wachtrij, Wordt geladen, Voltooid of Fout.
-
Gestart
Het tijdstip waarop de laadbewerking is gestart.
-
Beëindigd
Het tijdstip waarop de laadbewerking is beëindigd.
-
Duur
Duur van het laden in de notatie hh:mm:ss.
-
Records
Het aantal records dat tijdens het laden naar het doel is geschreven.
InformatieWanneer de brondatasets zijn gefilterd, wordt Records vervangen door de volgende secties:
-
Gelezen records: Het aantal records dat uit de brongegevenssets is gelezen vóór het filteren.
-
Geschreven records (na filteren): Het aantal records dat daadwerkelijk naar het doel is geschreven na het filteren.
Voor informatie over het filteren van datasets, zie Een dataset filteren.
-
-
Bericht
Toont een foutbericht als de laadbewerking niet met succes is verwerkt.
Gegevens afkomstig uit alle brontransacties tot op het moment dat wordt weergegeven in Gegevenstaak is bijgewerkt tot, zijn beschikbaar voor gebruik vanuit deze gegevenstaak. Deze informatie is beschikbaar voor een gegevenstaak wanneer alle tabellen zijn geladen en de eerste set wijzigingen is toegepast. Als u hebt gekozen om liveweergaven te genereren, kunt u ook kijken wanneer liveweergaven worden bijgewerkt.
Als er een reeks wijzigingen moet worden doorgevoerd voordat het laden is voltooid, wordt Gegevenstaak is bijgewerkt met niet bijgewerkt totdat het laden is voltooid en de eerste reeks wijzigingen is doorgevoerd. Stel bijvoorbeeld dat u een gegevensasset laadt die een ordergegevensverzameling bevat met 1 miljoen orders en een gegevensverzameling met 10 miljoen orderdetails. Het duurt respectievelijk 10 en 20 minuten voordat de gegevensverzamelingen volledig zijn geladen. De ordergegevensverzameling wordt het eerst geladen, gevolgd door de orderdetails. Tijdens het laden van de ordergegevensverzameling wordt een nieuwe order ingevoegd. Wanneer de orderdetails worden geladen, kan de tabel daarom details bevatten van de nieuwe order die nog niet bestaat in de ordergegevensverzameling. Pas als de eerste batch met wijzigingen is toegepast, kunnen de ordergegevensverzameling en de orderdetails met elkaar gesynchroniseerd en volledig bijgewerkt zijn tot op hetzelfde tijdstip.
Gedetailleerde informatie bekijken
U kunt gedetailleerde informatie op het SQL-instructieniveau bekijken.
-
Selecteer de gegevensverzamelingen die u in detail wilt bewaken.
-
Klik op Bewakingsdetails.
Bewakingsdetails wordt weergegeven en u kunt de opdrachten bekijken die zijn uitgevoerd voor elke stap van de lading of het wijzigingsproces. U kunt op een opdracht klikken om de volledige SQL-instructies te bekijken die zijn uitgevoerd.
-
Klik op Exporteren naar CSV om een tekstbestand te exporteren met de volledige SQL-instructies voor alle weergegeven opdrachten.
Gegevenstaak is bijgewerkt met voor weergaven
Het veld Gegevenstaak is bijgewerkt met geeft de tijd weer waarop de oudste weergave is bijgewerkt.
-
Standaardweergaven
Gegevenstaak is bijgewerkt met geeft de tijd weer waarop de oudste weergave is bijgewerkt.
Stel een taak heeft twee tabellen: Bestellingen en Bestelinformatie. Bestellingen wordt bijgewerkt tot 10:01 met records tussen 10:00 en 10:01 en Bestelinformatie bevat alleen records van 10:00. In dat geval wordt de gegevenstaak bijgewerkt naar 10:00. Dit moet niet worden verward met de begin- en eindtijden van het laden van de gegevenstaak. Die kunnen 10:02 tot 10:03 zijn.
-
Liveweergaven (gegevensopslagtaken)
De gegevenstaak is bijgewerkt tot geeft de tijd weer waarop de oudste liveweergave is bijgewerkt.
Stel dat een taak de tabel Bestellingen bevat. Bestellingen in de tussenopslag wordt bijgewerkt naar 10:01 met records tussen 10:00 en 10:01, maar Bestellingen in opslag wordt alleen bijgewerkt met records van 10:00. In dit geval worden liveweergaven bijgewerkt met bestellingen die zijn bijgewerkt naar 10:01 en standaardweergaven worden bijgewerkt naar 10:00.
Uitvoeringsgeschiedenis bekijken
U kunt de uitvoeringsgeschiedenis van een taak bekijken om de hoofdoorzaken te identificeren en patronen in de loop van de tijd te begrijpen.
-
Klik op Uitvoeringsgeschiedenis in de weergave Monitoren van een taak.
-
Klik op Uitvoeringsgeschiedenis in het menu ... van een taak in Monitorweergaven.
Er worden maximaal 100 uitvoeringen weergegeven in de uitvoeringsgeschiedenis op basis van uw filterselecties. Verfijn uw filtercriteria om andere uitvoeringen te zien. U kunt filteren op de einddatum van de uitvoering en de taakstatus. Uitvoeringsinformatie wordt 13 maanden bewaard. Dataset-metadata in uitvoeringen wordt 30 dagen bewaard.