Een afzonderlijke datataak monitoren
U kunt de status en voortgang van uw datataken monitoren door Monitoren te selecteren in het vervolgkeuzemenu linksboven in het venster van de datataak.
U kunt ook monitorweergaven maken om verschillende datataken te monitoren. Zie voor meer informatie Controleren en beheren van uw datataken.
Algemeen monitoroverzicht
De monitorweergave is beschikbaar voor alle taaktypen en stelt u in staat om de taakstatus en statistieken bij te houden:
-
Tabbladen
Schakel tussen de beschikbare tabbladen — zoals Info, Volledige lading en Wijzigingsverwerking, Batch of Streaming — afhankelijk van het taaktype. Raadpleeg de relevante taaksectie hieronder voor meer informatie over elk tabblad.
-
Statusfilter voor gegevensset
Een staafdiagram boven de tabel met gegevenssets toont hoeveel gegevenssets zich in elke status bevinden: In wachtrij, Laden, Voltooid en Fout. Het diagram wordt dynamisch bijgewerkt wanneer de status van gegevenssets verandert. Klik op een statussegment om de tabel met gegevenssets te filteren, zodat alleen gegevenssets met die status worden weergegeven.
-
Widgets verbergen
Klik op Widgets verbergen om de metrische widgets in te klappen. Dit biedt meer ruimte om de onderstaande tabel met gegevenssets te bekijken.
-
Startdatum
De datum en tijd waarop de huidige taakuitvoering is gestart.
-
Einddatum
De datum en tijd waarop de taakuitvoering is geëindigd. Dit wordt alleen weergegeven voor voltooide taakuitvoeringen.
-
Uitvoeringsgeschiedenis
Klik op Uitvoeringsgeschiedenis om een lijst met eerdere taakuitvoeringen en de resultaten daarvan te bekijken.
Gegevensverplaatsingstaken monitoren
De beschikbare monitoropties worden bepaald door zowel het taaktype als het connectortype. Aangezien sommige connectors geen CDC ondersteunen (bijvoorbeeld Epicor), worden monitoropties die relevant zijn voor CDC niet weergegeven voor die connectors. Omdat sommige connectors bovendien geen volledige lading ondersteunen (bijvoorbeeld Preview-connectors), worden monitoropties die relevant zijn voor een volledige lading niet weergegeven voor die connectors.
Gebruiksscenario voor gegevenspijplijn: Tussenopslagtaken
Alle tussenopslagtaken moeten beginnen met een volledige lading van de brongegevens naar het doel. Zodra de initiële volledige lading is voltooid, worden de doelgegevens bijgewerkt met wijzigingen in de brongegevens. Dit kan worden gedaan met Opnieuw laden en vergelijken of Change Data Capture (CDC), afhankelijk van de taakdefinitie.
Zie voor meer informatie over tussenopslagtaken Gegevens tussenoplaan uit gegevensbronnen.
Replicatie-gebruiksscenario: "Replicate data"-taken
"Replicate data"-taken beginnen meestal met een volledige lading van de brongegevens naar het doel. De volgende tabel geeft een overzicht van de gebruiksscenario's voor een volledige lading.
| Gebruiksscenario | Volledige lading |
|---|---|
| Repliceren vanuit SaaS-applicaties die worden benaderd via Lite-connectors | Vereist |
| Repliceren vanuit SaaS-applicaties die worden benaderd via Preview-connectors. | Niet relevant omdat Preview-connectors geen volledige lading ondersteunen. |
| Repliceren vanuit databases | Optioneel |
Als bij het repliceren vanuit databases de brongegevens al op het doel bestaan en u alleen de bronwijzigingen op het doel wilt toepassen (of deze wilt opslaan om later toe te passen), kan de replicatiemodus Wijzigingen toepassen, Wijzigingen opslaan of beide zijn. Beide replicatiemodi worden weergegeven in CDC-monitoring.
Zie de volgende onderwerpen voor meer informatie over "Replicate data"-taken:
Gegevens repliceren met een Standard-, Premium- of Enterprise-abonnement
Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement
Replicatie-gebruiksscenario: "Land data in data lake"-taken
"Land data in data lake"-taken zijn vergelijkbaar met tussenopslagtaken omdat ze moeten beginnen met een volledige lading. Zodra de initiële volledige lading is voltooid, worden de doelgegevens bijgewerkt met wijzigingen in de brongegevens. Dit kan worden gedaan met Opnieuw laden of Change Data Capture (CDC). Ondanks hun gelijkenis met tussenopslagtaken worden "Land data in data lake"-taken beschouwd als replicatietaken, omdat ze alleen bestaan uit replicatie van bron naar doel. Ze bieden niet de mogelijkheid om de gegevens verder stroomafwaarts te manipuleren (bijvoorbeeld met transformaties en datamarts), wat wel beschikbaar is in een gegevenspijplijn.
Zie voor meer informatie over "Land data in data lake"-taken Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement.
Monitordetails
De volgende monitordetails zijn beschikbaar:
-
Info
-
Volledige lading
-
Wijzigingsverwerking
-
Streaming
Alleen beschikbaar voor streaming tussenopslagtaken.
Monitordetails voor Info
U kunt algemene informatie over de taak, de Run-ID en het tijdstip waarop de gegevens zijn bijgewerkt bekijken. Voor CDC-taken is op dit tabblad ook planningsinformatie beschikbaar.
Monitordetails voor Volledige lading
-knop, zowel in het dialoogvenster Verbinding maken als in de online help.U kunt de volgende statistieken voor de datataak bekijken in Volledige lading:
-
Totaal aantal gegevenssets
Het aantal geladen gegevenssets.
-
Gegevenssets met fouten
Het aantal gegevenssets met fouten.
-
Totale latentie
Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron tot het moment dat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
U kunt de volgende details bekijken voor elke gegevensset in de datataak:
-
Naam
De naam van de doelgegevensset.
-
Status
De tabelstatus is: In wachtrij, Laden, Voltooid of Fout.
-
Gestart
Het tijdstip waarop het laden is gestart.
-
Beëindigd
Het tijdstip waarop het laden is geëindigd.
-
Duur
Duur van het laden in de indeling uu:mm:ss.
-
Records
Het aantal records dat tijdens het laden naar het doel is geschreven.
InformatieWanneer de brongegevenssets zijn gefilterd, wordt Records vervangen door de volgende secties:
-
Gelezen records: Het aantal records dat uit de brongegevenssets is gelezen vóór het filteren.
-
Geschreven records (na filteren): Het aantal records dat daadwerkelijk naar het doel is geschreven na het filteren.
Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.
-
-
Bericht
Toont een foutbericht als het laden niet succesvol is verwerkt.
Monitordetails voor Wijzigingsverwerking
Wijzigingsverwerking toont het aantal wijzigingen dat is toegepast op alle tabellen tijdens de laatste CDC-uitvoering, of tijdens de huidige uitvoering als deze nog niet is voltooid. Raadpleeg de tabel Gegevenssets om het aantal wijzigingen te zien dat is toegepast op afzonderlijke gegevenssets sinds de taak is gestart.
U kunt de volgende statistieken voor wijzigingsverwerking bekijken:
-
Totaal aantal gegevenssets
Het aantal geladen gegevenssets.
-
Gegevenssets met fouten
Het aantal gegevenssets met fouten.
-
Totale latentie
Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron tot het moment dat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
-
Totaal aantal binnenkomende wijzigingen
Het aantal wijzigingen dat aanwezig is bij de bron en wacht om te worden verwerkt. U kunt zien hoeveel wijzigingen er zijn verzameld in de bron en hoeveel er worden toegepast.
-
Totaal aantal toegepaste wijzigingen
Het aantal wijzigingen dat is toegepast op het doel of de tussenopslag. U kunt het aantal toevoegingen, verwijderingen en updates bekijken.
U kunt de volgende details bekijken voor elke tabel in de datataak:
-knop, zowel in het dialoogvenster Verbinding maken als in de online help.-
Naam
De naam van de doeltabel in de tussenopslagasset.
-
Status
De tabelstatus is een van de volgende: Wijzigingen verzamelen, Fout of Voltooid (voor geplande CDC-taken).
-
Laatst verwerkt
De datum en tijd waarop de laatste wijzigingen in de tabel zijn aangebracht.
-
Invoegingen, Updates en Verwijderingen
InformatieWanneer de brongegevenssets zijn gefilterd, worden de kolommen Invoegingen, Updates en Verwijderingen als volgt gegroepeerd:
-
Gelezen: Het aantal wijzigingen (invoegingen, updates en verwijderingen) dat uit de brongegevenssets is gelezen vóór het filteren.
-
Geschreven (na filteren): Het aantal wijzigingen (invoegingen, updates en verwijderingen) dat daadwerkelijk naar het doel is geschreven na het filteren.
Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.
-
Invoegingen
Het aantal invoegbewerkingen.
-
Updates
Het aantal updatebewerkingen.
InformatieUpdates worden behandeld als invoegingen voor SaaS-applicatiebronnen. -
Verwijderingen
Het aantal verwijderbewerkingen.
-
-
DML's (invoegingen/updates)
InformatieDeze kolom wordt alleen weergegeven voor taken die zijn gedefinieerd met een SaaS-applicatie Preview-connector. Preview-connectors worden aangeduid met een
-knop, zowel in het dialoogvenster Verbinding maken als in de online help.InformatieWanneer de brongegevenssets zijn gefilterd, worden de kolommen Invoegingen, Updates en Verwijderingen als volgt gegroepeerd:
-
Gelezen DML's (invoegingen/updates): Het aantal DML's (invoegingen en updates) dat uit de brongegevenssets is gelezen vóór het filteren.
-
Geschreven DML's (invoegingen/updates): Het aantal DML's (invoegingen en updates) dat daadwerkelijk naar het doel is geschreven na het filteren.
Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.
-
-
DDL-bewerkingen
Het aantal DDL-bewerkingen
InformatieAlleen beschikbaar voor "Replicate data"-taken. -
Bericht
Toont een foutbericht als wijzigingen in de tabel mislukken en niet worden verwerkt.
Als u gegevens opslaat vanuit een on-premises bron en de modus Volledige lading hebt gekozen, worden de tabellen automatisch opnieuw geladen wanneer de tussenopslagasset wordt Uitgevoerd.
Als u gegevens opslaat vanuit een on-premises bron en de modus Volledige lading en CDC hebt gekozen, worden de tabellen na de initiële volledige lading continu bijgewerkt met nieuwe gegevens.
Geselecteerde tabellen opnieuw laden
U kunt geselecteerde tabellen handmatig opnieuw laden vanuit de bron. Dit is handig als u afzonderlijke tabellen met een fout wilt herstellen. Het opnieuw laden van tabellen heeft geen invloed op de CDC-tijdlijn, die opnieuw wordt ingesteld als u Tabellen opnieuw maken gebruikt. Wijzigingen in metagegevens worden niet doorgegeven bij het opnieuw laden van tabellen.
-
Als u geselecteerde tabellen opnieuw wilt laden, selecteert u de tabellen in de onderste helft van Monitoren en klikt u op Tabellen opnieuw laden.
U hebt dezelfde machtigingen nodig als vereist voor het uitvoeren van de datataak, dat wil zeggen de rol Eigenaar of Kan bewerkingen uitvoeren.
Tabellen opnieuw laden is beschikbaar na de eerste uitvoering van de datataak. Als de updatemethode Opnieuw laden en vergelijken is, is Tabellen opnieuw laden niet beschikbaar wanneer de datataak wordt uitgevoerd.
Stroomafwaartse opslagdatataken worden gesynchroniseerd bij de volgende uitvoering. Als voor de opslagtaak geschiedenis is ingeschakeld, blijft deze behouden.
Als herstel door het opnieuw laden van tabellen niet mogelijk is, is de volgende stap het repareren van de datataak.
Alle tabellen opnieuw laden naar het doel
U kunt alle tabellen opnieuw laden naar het doel als u CDC-problemen ondervindt die niet kunnen worden opgelost door specifieke tabellen opnieuw te laden. Voorbeelden van problemen zijn ontbrekende gebeurtenissen, problemen veroorzaakt door reorganisatie van de brondatabase of fouten bij het lezen van brondatabasegebeurtenissen.
- Stop de gegevenstaak en alle taken die deze gebruiken.
-
Open de gegevenstaak en selecteer het tabblad Bewaken.
-
Klik op de knop ... en vervolgens op Opnieuw laden.
Hierdoor worden alle tabellen naar het doel geladen met behulp van de Drop/Create-methode en wordt het vastleggen van gegevens vanaf dit punt opnieuw gestart.
-
Opslagtaken die gebruikmaken van de tussenopslagtaak worden bij de volgende uitvoering opnieuw geladen via vergelijken en toepassen om de gegevens te synchroniseren. De bestaande geschiedenis blijft behouden. Geschiedenis type 2 wordt bijgewerkt om de wijzigingen te weerspiegelen nadat er opnieuw is geladen en het vergelijkingsproces is uitgevoerd.
De tijdstempel voor de vanaf-datum in de geschiedenis type 2 weerspiegelt de datum van opnieuw laden en niet noodzakelijkerwijs de datum dat de wijziging is opgetreden in de bron.
-
Liveweergaven van opslag zijn niet betrouwbaar tijdens de laadbewerking van het doel en totdat de opslag is gesynchroniseerd. Opslag wordt volledig gesynchroniseerd wanneer:
-
Alle tabellen opnieuw zijn geladen met behulp van vergelijken en toepassen;
-
Eén cyclus van wijzigingen voor iedere tabel is uitgevoerd.
-
Opslag-, transformatie-, datamart-, spiegel- en knowledgemart-taken monitoren
U kunt de status en voortgang van een opslag-, transformatie-, datamart-, spiegel- of knowledgemart-taak monitoren.
De volgende monitordetails zijn beschikbaar:
-
Info
-
Volledige lading
-
Batch
Monitordetails voor Info
U kunt algemene informatie over de taak, de Run-ID en het tijdstip waarop de gegevens zijn bijgewerkt bekijken.
Monitordetails voor Volledige lading
-knop, zowel in het dialoogvenster Verbinding maken als in de online help.U kunt de volgende statistieken voor de datataak bekijken in Volledige lading:
-
Totaal aantal gegevenssets
Het aantal geladen gegevenssets.
-
Gegevenssets met fouten
Het aantal gegevenssets met fouten.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
Monitordetails voor Batch
U kunt statistieken voor batches met wijzigingen bekijken:
-
Totaal aantal gegevenssets
Het aantal geladen gegevenssets.
-
Gegevenssets met fouten
Het aantal gegevenssets met fouten.
-
Totale latentie
Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron tot het moment dat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
-
Totale doorvoer
Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
-
Bron
Latentie en doorvoer in de bron.
-
Doel
Latentie en doorvoer in het doel.
-
Totaal aantal binnenkomende wijzigingen
Het aantal wijzigingen dat aanwezig is bij de bron en wacht om te worden verwerkt. U kunt zien hoeveel wijzigingen er zijn verzameld in de bron en hoeveel er worden toegepast.
-
Totaal aantal toegepaste wijzigingen
Het aantal wijzigingen dat is toegepast op het doel of de tussenopslag. U kunt het aantal toevoegingen, verwijderingen en updates bekijken.
Status en voortgang bekijken
U kunt de volgende details bekijken voor elke gegevensset of wijziging in Gegevenssets:
-
Naam
De naam van de doelgegevensset.
-
Status
De tabelstatus is: In wachtrij, Laden, Voltooid of Fout.
-
Gestart
Het tijdstip waarop het laden is gestart.
-
Beëindigd
Het tijdstip waarop het laden is geëindigd.
-
Duur
Duur van het laden in de indeling uu:mm:ss.
-
Records
Het aantal records dat tijdens het laden naar het doel is geschreven.
InformatieWanneer de brongegevenssets zijn gefilterd, wordt Records vervangen door de volgende secties:
-
Gelezen records: Het aantal records dat uit de brongegevenssets is gelezen vóór het filteren.
-
Geschreven records (na filteren): Het aantal records dat daadwerkelijk naar het doel is geschreven na het filteren.
Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.
-
-
Bericht
Toont een foutbericht als het laden niet succesvol is verwerkt.
Gegevens van alle brontransacties tot het tijdstip dat wordt weergegeven in Datataak is bijgewerkt tot zijn beschikbaar voor gebruik vanuit deze datataak. Deze informatie is beschikbaar voor een datataak zodra alle tabellen zijn geladen en de eerste set wijzigingen is toegepast. Als u hebt gekozen voor het genereren van live weergaven, kunt u ook zien wanneer live weergaven zijn bijgewerkt.
Als er een batch met wijzigingen is voordat het initiële laden is voltooid, wordt Datataak is bijgewerkt tot pas bijgewerkt nadat het initiële laden is voltooid en de eerste batch met wijzigingen is toegepast. Stel bijvoorbeeld dat u een gegevensasset laadt die een ordergegevensset met 1 miljoen orders bevat en een orderdetailsgegevensset met 10 miljoen orderdetails. Het uitvoeren van een volledige lading voor de gegevenssets duurt respectievelijk 10 en 20 minutes. De ordergegevensset wordt eerst geladen, gevolgd door de orderdetailsgegevensset. Terwijl de ordergegevensset werd geladen, is er een nieuwe order ingevoerd. Wanneer de orderdetails worden geladen, kunnen deze dus details van de nieuwe order bevatten die nog niet bestaat in de ordergegevensset. De order- en orderdetailsgegevenssets zijn pas gesynchroniseerd en volledig bijgewerkt tot hetzelfde tijdstip nadat de eerste batch met wijzigingen is toegepast.
Gedetailleerde informatie bekijken
U kunt gedetailleerde informatie bekijken op SQL-instructieniveau.
-
Selecteer de gegevenssets die u in detail wilt monitoren.
-
Klik op Monitordetails.
Monitordetails wordt weergegeven en u kunt de opdrachten bekijken die voor elke stap van het laad- of wijzigingsproces worden uitgevoerd. U kunt op een opdracht klikken om de volledige SQL-instructies te bekijken die zijn uitgevoerd.
-
Klik op Exporteren naar CSV om een tekstbestand met de volledige SQL-instructies voor alle vermelde opdrachten te exporteren.
Datataak is bijgewerkt tot voor weergaven
Het veld Datataak is bijgewerkt tot toont het tijdstip tot wanneer de oudste weergave is bijgewerkt.
-
Standaardweergaven
Datataak is bijgewerkt tot toont het tijdstip tot wanneer de oudste standaardweergave is bijgewerkt.
Stel bijvoorbeeld dat een taak twee tabellen heeft: Orders en Order details. Orders is bijgewerkt tot 10:01 met records van 10:00 en 10:01, en Order details bevat alleen records van 10:00. In dit geval is de datataak bijgewerkt tot 10:00. Dit moet niet worden verward met de start- en eindtijden van het laden van de datataak, die 10:02 tot 10:03 kunnen zijn.
-
Live weergaven (opslagdatataken)
Datataak is bijgewerkt tot toont het tijdstip tot wanneer de oudste live weergave is bijgewerkt.
Stel bijvoorbeeld dat een taak een tabel Orders heeft. Orders in de tussenopslag is bijgewerkt tot 10:01 met records van 10:00 en 10:01, maar Orders in de opslag is alleen bijgewerkt tot records van 10:00. In dit geval zijn de live weergaven voor Orders bijgewerkt tot 10:01 en de standaardweergaven tot 10:00.
Uitvoeringsgeschiedenis bekijken
U kunt de uitvoeringsgeschiedenis van een taak bekijken om de hoofdoorzaken te identificeren en patronen in de loop van de tijd te begrijpen.
-
Klik op Uitvoeringsgeschiedenis in de weergave Monitoren van een taak.
-
Klik op Uitvoeringsgeschiedenis in het menu ... van een taak in Monitorweergaven.
Er worden maximaal 100 uitvoeringen weergegeven in de uitvoeringsgeschiedenis op basis van uw filterselecties. Verfijn uw filtercriteria om andere uitvoeringen te zien. U kunt filteren op de einddatum van de uitvoering en de taakstatus. Uitvoeringsinformatie wordt 13 maanden bewaard. Dataset-metadata in uitvoeringen wordt 30 dagen bewaard.