Een afzonderlijke datataak monitoren | Qlik Cloud Help
Ga naar hoofdinhoud Ga naar aanvullende inhoud

Een afzonderlijke datataak monitoren

U kunt de status en voortgang van uw datataken monitoren door Monitoren te selecteren in het vervolgkeuzemenu linksboven in het venster van de datataak.

U kunt ook monitorweergaven maken om verschillende datataken te monitoren. Zie voor meer informatie Controleren en beheren van uw datataken.

Algemeen monitoroverzicht

De monitorweergave is beschikbaar voor alle taaktypen en stelt u in staat om de taakstatus en statistieken bij te houden:

  • Tabbladen

    Schakel tussen de beschikbare tabbladen — zoals Info, Volledige lading en Wijzigingsverwerking, Batch of Streaming — afhankelijk van het taaktype. Raadpleeg de relevante taaksectie hieronder voor meer informatie over elk tabblad.

  • Statusfilter voor gegevensset

    Een staafdiagram boven de tabel met gegevenssets toont hoeveel gegevenssets zich in elke status bevinden: In wachtrij, Laden, Voltooid en Fout. Het diagram wordt dynamisch bijgewerkt wanneer de status van gegevenssets verandert. Klik op een statussegment om de tabel met gegevenssets te filteren, zodat alleen gegevenssets met die status worden weergegeven.

  • Widgets verbergen

    Klik op Widgets verbergen om de metrische widgets in te klappen. Dit biedt meer ruimte om de onderstaande tabel met gegevenssets te bekijken.

  • Startdatum

    De datum en tijd waarop de huidige taakuitvoering is gestart.

  • Einddatum

    De datum en tijd waarop de taakuitvoering is geëindigd. Dit wordt alleen weergegeven voor voltooide taakuitvoeringen.

  • Uitvoeringsgeschiedenis

    Klik op Uitvoeringsgeschiedenis om een lijst met eerdere taakuitvoeringen en de resultaten daarvan te bekijken.

Gegevensverplaatsingstaken monitoren

De beschikbare monitoropties worden bepaald door zowel het taaktype als het connectortype. Aangezien sommige connectors geen CDC ondersteunen (bijvoorbeeld Epicor), worden monitoropties die relevant zijn voor CDC niet weergegeven voor die connectors. Omdat sommige connectors bovendien geen volledige lading ondersteunen (bijvoorbeeld Preview-connectors), worden monitoropties die relevant zijn voor een volledige lading niet weergegeven voor die connectors.

Gebruiksscenario voor gegevenspijplijn: Tussenopslagtaken

Alle tussenopslagtaken moeten beginnen met een volledige lading van de brongegevens naar het doel. Zodra de initiële volledige lading is voltooid, worden de doelgegevens bijgewerkt met wijzigingen in de brongegevens. Dit kan worden gedaan met Opnieuw laden en vergelijken of Change Data Capture (CDC), afhankelijk van de taakdefinitie.

Zie voor meer informatie over tussenopslagtaken Gegevens tussenoplaan uit gegevensbronnen.

Replicatie-gebruiksscenario: "Replicate data"-taken

"Replicate data"-taken beginnen meestal met een volledige lading van de brongegevens naar het doel. De volgende tabel geeft een overzicht van de gebruiksscenario's voor een volledige lading.

Gebruiksscenario Volledige lading
Repliceren vanuit SaaS-applicaties die worden benaderd via Lite-connectors Vereist
Repliceren vanuit SaaS-applicaties die worden benaderd via Preview-connectors. Niet relevant omdat Preview-connectors geen volledige lading ondersteunen.
Repliceren vanuit databases Optioneel

Als bij het repliceren vanuit databases de brongegevens al op het doel bestaan en u alleen de bronwijzigingen op het doel wilt toepassen (of deze wilt opslaan om later toe te passen), kan de replicatiemodus Wijzigingen toepassen, Wijzigingen opslaan of beide zijn. Beide replicatiemodi worden weergegeven in CDC-monitoring.

Zie de volgende onderwerpen voor meer informatie over "Replicate data"-taken:

Gegevens repliceren met een Standard-, Premium- of Enterprise-abonnement

Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement

Replicatie-gebruiksscenario: "Land data in data lake"-taken

"Land data in data lake"-taken zijn vergelijkbaar met tussenopslagtaken omdat ze moeten beginnen met een volledige lading. Zodra de initiële volledige lading is voltooid, worden de doelgegevens bijgewerkt met wijzigingen in de brongegevens. Dit kan worden gedaan met Opnieuw laden of Change Data Capture (CDC). Ondanks hun gelijkenis met tussenopslagtaken worden "Land data in data lake"-taken beschouwd als replicatietaken, omdat ze alleen bestaan uit replicatie van bron naar doel. Ze bieden niet de mogelijkheid om de gegevens verder stroomafwaarts te manipuleren (bijvoorbeeld met transformaties en datamarts), wat wel beschikbaar is in een gegevenspijplijn.

InformatieDe stappen voor het maken van een afzonderlijke "Land data in data lake"-taak zijn niet relevant bij een Qlik Talend Cloud Starter-abonnement. Bij een Qlik Talend Cloud Starter-abonnement wordt replicatie naar cloudopslagdoelen uitgevoerd via een standaard "Replicate data"-taak.

Zie voor meer informatie over "Land data in data lake"-taken Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement.

Monitordetails

De volgende monitordetails zijn beschikbaar:

  • Info

  • Volledige lading

  • Wijzigingsverwerking

  • Streaming

    Alleen beschikbaar voor streaming tussenopslagtaken.

Monitordetails voor Info

U kunt algemene informatie over de taak, de Run-ID en het tijdstip waarop de gegevens zijn bijgewerkt bekijken. Voor CDC-taken is op dit tabblad ook planningsinformatie beschikbaar.

Monitordetails voor Volledige lading

InformatieMonitorinformatie voor een volledige lading wordt niet weergegeven voor taken die zijn gedefinieerd met een SaaS-applicatie Preview-connector. Preview-connectors worden aangeduid met een Afbeelding van de knop Preview-knop, zowel in het dialoogvenster Verbinding maken als in de online help.

U kunt de volgende statistieken voor de datataak bekijken in Volledige lading:

  • Totaal aantal gegevenssets

    Het aantal geladen gegevenssets.

  • Gegevenssets met fouten

    Het aantal gegevenssets met fouten.

  • Totale latentie

    Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron tot het moment dat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.

  • Totale doorvoer

    Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.

U kunt de volgende details bekijken voor elke gegevensset in de datataak:

  • Naam

    De naam van de doelgegevensset.

  • Status

    De tabelstatus is: In wachtrij, Laden, Voltooid of Fout.

  • Gestart

    Het tijdstip waarop het laden is gestart.

  • Beëindigd

    Het tijdstip waarop het laden is geëindigd.

  • Duur

    Duur van het laden in de indeling uu:mm:ss.

  • Records

    Het aantal records dat tijdens het laden naar het doel is geschreven.

    Informatie

    Wanneer de brongegevenssets zijn gefilterd, wordt Records vervangen door de volgende secties:

    • Gelezen records: Het aantal records dat uit de brongegevenssets is gelezen vóór het filteren.

    • Geschreven records (na filteren): Het aantal records dat daadwerkelijk naar het doel is geschreven na het filteren.

    Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.

  • Bericht

    Toont een foutbericht als het laden niet succesvol is verwerkt.

Monitordetails voor Wijzigingsverwerking

Wijzigingsverwerking toont het aantal wijzigingen dat is toegepast op alle tabellen tijdens de laatste CDC-uitvoering, of tijdens de huidige uitvoering als deze nog niet is voltooid. Raadpleeg de tabel Gegevenssets om het aantal wijzigingen te zien dat is toegepast op afzonderlijke gegevenssets sinds de taak is gestart.

U kunt de volgende statistieken voor wijzigingsverwerking bekijken:

  • Totaal aantal gegevenssets

    Het aantal geladen gegevenssets.

  • Gegevenssets met fouten

    Het aantal gegevenssets met fouten.

  • Totale latentie

    Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron tot het moment dat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.

  • Totale doorvoer

    Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.

  • Totaal aantal binnenkomende wijzigingen

    Het aantal wijzigingen dat aanwezig is bij de bron en wacht om te worden verwerkt. U kunt zien hoeveel wijzigingen er zijn verzameld in de bron en hoeveel er worden toegepast.

  • Totaal aantal toegepaste wijzigingen

    Het aantal wijzigingen dat is toegepast op het doel of de tussenopslag. U kunt het aantal toevoegingen, verwijderingen en updates bekijken.

U kunt de volgende details bekijken voor elke tabel in de datataak:

InformatieDe kolommen Invoegingen, Updates en Verwijderingen worden niet weergegeven voor taken die zijn gedefinieerd met een SaaS-applicatie Preview-connector. Preview-connectors worden aangeduid met een Afbeelding van de knop Preview-knop, zowel in het dialoogvenster Verbinding maken als in de online help.
  • Naam

    De naam van de doeltabel in de tussenopslagasset.

  • Status

    De tabelstatus is een van de volgende: Wijzigingen verzamelen, Fout of Voltooid (voor geplande CDC-taken).

  • Laatst verwerkt

    De datum en tijd waarop de laatste wijzigingen in de tabel zijn aangebracht.

  • Invoegingen, Updates en Verwijderingen

    Informatie

    Wanneer de brongegevenssets zijn gefilterd, worden de kolommen Invoegingen, Updates en Verwijderingen als volgt gegroepeerd:

    • Gelezen: Het aantal wijzigingen (invoegingen, updates en verwijderingen) dat uit de brongegevenssets is gelezen vóór het filteren.

    • Geschreven (na filteren): Het aantal wijzigingen (invoegingen, updates en verwijderingen) dat daadwerkelijk naar het doel is geschreven na het filteren.

    Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.

    • Invoegingen

      Het aantal invoegbewerkingen.

    • Updates

      Het aantal updatebewerkingen.

      InformatieUpdates worden behandeld als invoegingen voor SaaS-applicatiebronnen.
    • Verwijderingen

      Het aantal verwijderbewerkingen.

  • DML's (invoegingen/updates)

    InformatieDeze kolom wordt alleen weergegeven voor taken die zijn gedefinieerd met een SaaS-applicatie Preview-connector. Preview-connectors worden aangeduid met een Afbeelding van de knop Preview-knop, zowel in het dialoogvenster Verbinding maken als in de online help.
    Informatie

    Wanneer de brongegevenssets zijn gefilterd, worden de kolommen Invoegingen, Updates en Verwijderingen als volgt gegroepeerd:

    • Gelezen DML's (invoegingen/updates): Het aantal DML's (invoegingen en updates) dat uit de brongegevenssets is gelezen vóór het filteren.

    • Geschreven DML's (invoegingen/updates): Het aantal DML's (invoegingen en updates) dat daadwerkelijk naar het doel is geschreven na het filteren.

    Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.

  • DDL-bewerkingen

    Het aantal DDL-bewerkingen

    InformatieAlleen beschikbaar voor "Replicate data"-taken.
  • Bericht

    Toont een foutbericht als wijzigingen in de tabel mislukken en niet worden verwerkt.

Als u gegevens opslaat vanuit een on-premises bron en de modus Volledige lading hebt gekozen, worden de tabellen automatisch opnieuw geladen wanneer de tussenopslagasset wordt Uitgevoerd.

Als u gegevens opslaat vanuit een on-premises bron en de modus Volledige lading en CDC hebt gekozen, worden de tabellen na de initiële volledige lading continu bijgewerkt met nieuwe gegevens.

Geselecteerde tabellen opnieuw laden

U kunt geselecteerde tabellen handmatig opnieuw laden vanuit de bron. Dit is handig als u afzonderlijke tabellen met een fout wilt herstellen. Het opnieuw laden van tabellen heeft geen invloed op de CDC-tijdlijn, die opnieuw wordt ingesteld als u Tabellen opnieuw maken gebruikt. Wijzigingen in metagegevens worden niet doorgegeven bij het opnieuw laden van tabellen.

  • Als u geselecteerde tabellen opnieuw wilt laden, selecteert u de tabellen in de onderste helft van Monitoren en klikt u op Tabellen opnieuw laden.

    U hebt dezelfde machtigingen nodig als vereist voor het uitvoeren van de datataak, dat wil zeggen de rol Eigenaar of Kan bewerkingen uitvoeren.

Tabellen opnieuw laden is beschikbaar na de eerste uitvoering van de datataak. Als de updatemethode Opnieuw laden en vergelijken is, is Tabellen opnieuw laden niet beschikbaar wanneer de datataak wordt uitgevoerd.

Stroomafwaartse opslagdatataken worden gesynchroniseerd bij de volgende uitvoering. Als voor de opslagtaak geschiedenis is ingeschakeld, blijft deze behouden.

Als herstel door het opnieuw laden van tabellen niet mogelijk is, is de volgende stap het repareren van de datataak.

Alle tabellen opnieuw laden naar het doel

U kunt alle tabellen opnieuw laden naar het doel als u CDC-problemen ondervindt die niet kunnen worden opgelost door specifieke tabellen opnieuw te laden. Voorbeelden van problemen zijn ontbrekende gebeurtenissen, problemen veroorzaakt door reorganisatie van de brondatabase of fouten bij het lezen van brondatabasegebeurtenissen.

InformatieDeze bewerking is alleen beschikbaar voor taken met de updatemethode Change Data Capture (CDC) die ten minste eenmaal zijn uitgevoerd.

  1. Stop de gegevenstaak en alle taken die deze gebruiken.
  2. Open de gegevenstaak en selecteer het tabblad Bewaken.

  3. Klik op de knop ... en vervolgens op Opnieuw laden.

Hierdoor worden alle tabellen naar het doel geladen met behulp van de Drop/Create-methode en wordt het vastleggen van gegevens vanaf dit punt opnieuw gestart.

  • Opslagtaken die gebruikmaken van de tussenopslagtaak worden bij de volgende uitvoering opnieuw geladen via vergelijken en toepassen om de gegevens te synchroniseren. De bestaande geschiedenis blijft behouden. Geschiedenis type 2 wordt bijgewerkt om de wijzigingen te weerspiegelen nadat er opnieuw is geladen en het vergelijkingsproces is uitgevoerd.

    De tijdstempel voor de vanaf-datum in de geschiedenis type 2 weerspiegelt de datum van opnieuw laden en niet noodzakelijkerwijs de datum dat de wijziging is opgetreden in de bron.

  • Liveweergaven van opslag zijn niet betrouwbaar tijdens de laadbewerking van het doel en totdat de opslag is gesynchroniseerd. Opslag wordt volledig gesynchroniseerd wanneer:

    • Alle tabellen opnieuw zijn geladen met behulp van vergelijken en toepassen;

    • Eén cyclus van wijzigingen voor iedere tabel is uitgevoerd.

Opslag-, transformatie-, datamart-, spiegel- en knowledgemart-taken monitoren

U kunt de status en voortgang van een opslag-, transformatie-, datamart-, spiegel- of knowledgemart-taak monitoren.

De volgende monitordetails zijn beschikbaar:

  • Info

  • Volledige lading

  • Batch

Monitordetails voor Info

U kunt algemene informatie over de taak, de Run-ID en het tijdstip waarop de gegevens zijn bijgewerkt bekijken.

Monitordetails voor Volledige lading

InformatieMonitorinformatie voor een volledige lading wordt niet weergegeven voor taken die zijn gedefinieerd met een SaaS-applicatie Preview-connector. Preview-connectors worden aangeduid met een Afbeelding van de knop Preview-knop, zowel in het dialoogvenster Verbinding maken als in de online help.

U kunt de volgende statistieken voor de datataak bekijken in Volledige lading:

  • Totaal aantal gegevenssets

    Het aantal geladen gegevenssets.

  • Gegevenssets met fouten

    Het aantal gegevenssets met fouten.

  • Totale doorvoer

    Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.

Monitordetails voor Batch

U kunt statistieken voor batches met wijzigingen bekijken:

  • Totaal aantal gegevenssets

    Het aantal geladen gegevenssets.

  • Gegevenssets met fouten

    Het aantal gegevenssets met fouten.

  • Totale latentie

    Huidige latentie van de taak (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron tot het moment dat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.

  • Totale doorvoer

    Doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.

  • Bron

    Latentie en doorvoer in de bron.

  • Doel

    Latentie en doorvoer in het doel.

  • Totaal aantal binnenkomende wijzigingen

    Het aantal wijzigingen dat aanwezig is bij de bron en wacht om te worden verwerkt. U kunt zien hoeveel wijzigingen er zijn verzameld in de bron en hoeveel er worden toegepast.

  • Totaal aantal toegepaste wijzigingen

    Het aantal wijzigingen dat is toegepast op het doel of de tussenopslag. U kunt het aantal toevoegingen, verwijderingen en updates bekijken.

Status en voortgang bekijken

U kunt de volgende details bekijken voor elke gegevensset of wijziging in Gegevenssets:

  • Naam

    De naam van de doelgegevensset.

  • Status

    De tabelstatus is: In wachtrij, Laden, Voltooid of Fout.

  • Gestart

    Het tijdstip waarop het laden is gestart.

  • Beëindigd

    Het tijdstip waarop het laden is geëindigd.

  • Duur

    Duur van het laden in de indeling uu:mm:ss.

  • Records

    Het aantal records dat tijdens het laden naar het doel is geschreven.

    Informatie

    Wanneer de brongegevenssets zijn gefilterd, wordt Records vervangen door de volgende secties:

    • Gelezen records: Het aantal records dat uit de brongegevenssets is gelezen vóór het filteren.

    • Geschreven records (na filteren): Het aantal records dat daadwerkelijk naar het doel is geschreven na het filteren.

    Zie voor informatie over het filteren van gegevenssets Een gegevensverzameling filteren.

  • Bericht

    Toont een foutbericht als het laden niet succesvol is verwerkt.

Gegevens van alle brontransacties tot het tijdstip dat wordt weergegeven in Datataak is bijgewerkt tot zijn beschikbaar voor gebruik vanuit deze datataak. Deze informatie is beschikbaar voor een datataak zodra alle tabellen zijn geladen en de eerste set wijzigingen is toegepast. Als u hebt gekozen voor het genereren van live weergaven, kunt u ook zien wanneer live weergaven zijn bijgewerkt.

Als er een batch met wijzigingen is voordat het initiële laden is voltooid, wordt Datataak is bijgewerkt tot pas bijgewerkt nadat het initiële laden is voltooid en de eerste batch met wijzigingen is toegepast. Stel bijvoorbeeld dat u een gegevensasset laadt die een ordergegevensset met 1 miljoen orders bevat en een orderdetailsgegevensset met 10 miljoen orderdetails. Het uitvoeren van een volledige lading voor de gegevenssets duurt respectievelijk 10 en 20 minutes. De ordergegevensset wordt eerst geladen, gevolgd door de orderdetailsgegevensset. Terwijl de ordergegevensset werd geladen, is er een nieuwe order ingevoerd. Wanneer de orderdetails worden geladen, kunnen deze dus details van de nieuwe order bevatten die nog niet bestaat in de ordergegevensset. De order- en orderdetailsgegevenssets zijn pas gesynchroniseerd en volledig bijgewerkt tot hetzelfde tijdstip nadat de eerste batch met wijzigingen is toegepast.

Gedetailleerde informatie bekijken

U kunt gedetailleerde informatie bekijken op SQL-instructieniveau.

  1. Selecteer de gegevenssets die u in detail wilt monitoren.

  2. Klik op Monitordetails.

Monitordetails wordt weergegeven en u kunt de opdrachten bekijken die voor elke stap van het laad- of wijzigingsproces worden uitgevoerd. U kunt op een opdracht klikken om de volledige SQL-instructies te bekijken die zijn uitgevoerd.

  • Klik op Exporteren naar CSV om een tekstbestand met de volledige SQL-instructies voor alle vermelde opdrachten te exporteren.

Datataak is bijgewerkt tot voor weergaven

Het veld Datataak is bijgewerkt tot toont het tijdstip tot wanneer de oudste weergave is bijgewerkt.

  • Datataak is bijgewerkt tot toont het tijdstip tot wanneer de oudste standaardweergave is bijgewerkt.

    Stel bijvoorbeeld dat een taak twee tabellen heeft: Orders en Order details. Orders is bijgewerkt tot 10:01 met records van 10:00 en 10:01, en Order details bevat alleen records van 10:00. In dit geval is de datataak bijgewerkt tot 10:00. Dit moet niet worden verward met de start- en eindtijden van het laden van de datataak, die 10:02 tot 10:03 kunnen zijn.

  • Datataak is bijgewerkt tot toont het tijdstip tot wanneer de oudste live weergave is bijgewerkt.

    Stel bijvoorbeeld dat een taak een tabel Orders heeft. Orders in de tussenopslag is bijgewerkt tot 10:01 met records van 10:00 en 10:01, maar Orders in de opslag is alleen bijgewerkt tot records van 10:00. In dit geval zijn de live weergaven voor Orders bijgewerkt tot 10:01 en de standaardweergaven tot 10:00.

Uitvoeringsgeschiedenis bekijken

U kunt de uitvoeringsgeschiedenis van een taak bekijken om de hoofdoorzaken te identificeren en patronen in de loop van de tijd te begrijpen.

  • Klik op Uitvoeringsgeschiedenis in de weergave Monitoren van een taak.

  • Klik op Uitvoeringsgeschiedenis in het menu ... van een taak in Monitorweergaven.

Er worden maximaal 100 uitvoeringen weergegeven in de uitvoeringsgeschiedenis op basis van uw filterselecties. Verfijn uw filtercriteria om andere uitvoeringen te zien. U kunt filteren op de einddatum van de uitvoering en de taakstatus. Uitvoeringsinformatie wordt 13 maanden bewaard. Dataset-metadata in uitvoeringen wordt 30 dagen bewaard.

Was deze pagina nuttig?

Als u problemen ervaart op deze pagina of de inhoud onjuist is – een tikfout, een ontbrekende stap of een technische fout – laat het ons weten!