Een afzonderlijke gegevenstaak bewaken
U kunt de status en voortgang van uw gegevenstaken bewaken door Bewaken te selecteren in de vervolgkeuzelijst in de linkerbovenhoek van het gegevenstaakvenster.
U kunt ook voortgangsweergaven maken om verschillende gegevenstaken te bewaken. Ga voor meer informatie naar Uw gegevenstaken bewaken en uitvoeren.
Tussenopslag- en replicatietaken bewaken
Het bewaken van tussenopslag- en replicatietaken is vergelijkbaar omdat zowel de eerste lading als CDC bewaakt kunnen worden. Er zijn echter ook enkele grote verschillen door de contrasterende usecases.
-
Usecase gegevenspijplijn: tussenopslagtaken
Alle tussenopslagtaken moeten starten met een volledige lading van de brongegevens naar het doel. Nadat de eerste volledige lading is voltooid, worden de doelgegevens bijgewerkt met de wijzigingen van de brongegevens. Dit kunt u doen met Opnieuw laden en vergelijken of Vastleggen van wijzigingsgegevens (CDC), afhankelijk van de taakdefinitie.
Voor meer informatie over tussenopslagtaken raadpleegt u Gegevens van gegevensbronnen tijdelijk opslaan.
-
Usecase replicatie: taken voor "gegevens repliceren"
Taken voor "Gegevens repliceren" starten meestal met een volledige lading van de brongegevens naar het doel. Dit is vereist als u repliceert vanuit SaaS-applicaties, maar is optioneel bij het repliceren vanuit databases. Als u repliceert vanuit de databases en de brongegevens al aanwezig zijn in het doel en u alleen de bronwijzigingen op het doel wilt toepassen (of wilt opslaan om ze later toe te passen), dan kan de replicatiemodus Wijzigingen toepassen, Wijzigingen opslaan of beide zijn. Beide replicatiemodi worden in de CDC-bewaking getoond.
Voor meer informatie over "Gegevens repliceren" taken, raadpleegt u de volgende onderwerpen:
Gegevens repliceren met een Standard-, Premium- of Enterprise-abonnement
Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement
-
Usecase replicatie: "Gegevens tijdelijk opslaan in datalake" taken
Taken voor "Gegevens tijdelijk opslaan in datalake" zijn vergelijkbaar met tussenopslagtaken omdat ze met een volledige lading moeten starten. Nadat de eerste volledige lading is voltooid, worden de doelgegevens bijgewerkt met de wijzigingen van de brongegevens. Dit kunt u doen met Opnieuw laden of Vastleggen van wijzigingsgegevens (CDC). Ondanks dat ze vergelijkbaar zijn met tussenopslagtaken, worden taken voor "Gegevens tijdelijk opslaan in datalake" gezien als replicatietaken omdat ze alleen bestaan uit bron-naar-doelreplicatie. Ze bieden niet de mogelijkheid om gegevens verder downstream te manipuleren (bijvoorbeeld het gebruik van transformaties en datamarts), wat wel mogelijk is in een gegevenspijplijn.
InformatieDe stappen voor het maken van een 'Gegevens tijdelijk opslaan in een datalake' taak zijn niet relevant voor een Qlik Talend Cloud Starter-abonnement. Met een Qlik Talend Cloud Starter-abonnement vindt het repliceren naar cloudopslagdoelen plaats via een standaard 'Gegevens repliceren' taak.Voor meer informatie over "Gegevens tijdelijk opslaan in datalake" taken, raadpleegt u Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement.
Bewakingsdetails
U kunt de volgende details bekijken voor de gegevenstaak met de status Volledige lading:
-
In wachtrij- het aantal tabellen dat momenteel in de wachtrij staat.
-
Laden- het aantal tabellen dat momenteel wordt geladen.
-
Voltooid- het aantal voltooide tabellen.
-
Fout- het aantal tabellen met een fout.
U kunt de volgende details weergeven voor elke tabel in de gegevenstaak:
-
Naam
De naam van de doeltabel.
-
Status
Tabelstatus is: In wachtrij, Wordt geladen, Voltooid of Fout.
-
Gestart
Het tijdstip waarop de laadbewerking is gestart.
-
Beëindigd
Het tijdstip waarop de laadbewerking is beëindigd.
-
Duur
De duur van het laden in de notatie uu:mm:ss.
-
Records
Het aantal records dat werd gerepliceerd tijdens het laden.
-
Wijzigingen in cache
Het aantal wijzigingen in cache.
-
Bericht
Toont een foutbericht als de laadbewerking niet met succes is verwerkt.
Bewakingsdetails van Vastleggen van wijzigingsgegevens (CDC)
U kunt de volgende CDC-details bekijken voor de gegevenstaak om het verwerken van wijzigingen te bewaken met CDC-status:
-
Binnenkomende wijzigingen- het aantal wijzigingen dat bij de bron aanwezig is en wacht op verwerking. U kunt zien hoeveel er zijn verzameld en hoeveel er worden toegepast.
-
Verwerkte wijzigingen- het aantal wijzigingen dat is verwerkt en toegepast (in de afgelopen 24 uur).
-
Doorvoer- gemiddelde doeldoorvoer in kilobytes/seconde. Dit geeft aan hoe snel de wijzigingsrecords naar het doeleindpunt worden geladen.
-
Latentie- huidige latentie van de gegevensasset (uu:mm:ss). Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron totdat de wijziging is toegepast en beschikbaar is in het doel of de tussenopslag.
U kunt de volgende details weergeven voor elke tabel in de gegevenstaak:
-
Naam
De naam van de doeltabel in de tussenopslag.
-
Status
Tabelstatus is: Wijzigingen verzamelen of Fout.
-
Laatst verwerkt
De datum en tijd waarop de laatste wijzigingen in de tabel zijn aangebracht.
-
Invoegingen
Het aantal invoegingen.
-
Bijwerkingen
Het aantal updates.
InformatieUpdates worden verwerkt als invoegingen voor SaaS-toepassingsbronnen. -
Verwijderingen
Het aantal verwijderingen.
-
DDL-bewerkingen
Het aantal DDL-bewerkingen
InformatieAlleen beschikbaar voor taken voor "Gegevens repliceren". -
Bericht
Geeft een foutmelding als wijzigingen in de tabel mislukken en niet worden verwerkt.
Als u tijdelijke gegevens aanvoert vanuit een on-premises bron en kiest voor de modus Volledige lading, worden de tabellen automatisch opnieuw geladen wanneer de tussenopslag wordt uitgevoerd.
Als u tijdelijke gegevens aanvoert vanuit een on-premises bron en kiest voor de modus Volledige lading en CDC, worden de tabellen doorlopend bijgewerkt met nieuwe gegevens na de eerste volledige lading.
Geselecteerde tabellen opnieuw laden
U kunt geselecteerde tabellen van de bron handmatig opnieuw laden. Dit is handig als u afzonderlijke tabellen met een fout wilt herstellen. Het laden van tabellen heeft geen invloed op de CDC-tijdlijn, die wordt gereset als u Tabellen opnieuw maken gebruikt. Wijzigingen van metagegevens worden niet doorgegeven als tabellen worden geladen.
-
Als u geselecteerde tabellen opnieuw wilt laden, selecteert u de tabellen in de onderste helft van Bewaken en klikt u op Tabellen laden.
U hebt dezelfde machtigingen nodig die zijn vereist om de gegevenstaak uit te voeren, namelijk Eigenaar of de rol Kan uitvoeren.
Tabellen laden is beschikbaar na de eerste uitvoering van de gegevenstaak. Als de bijwerkmethode Opnieuw laden en vergelijken is, is Tabellen laden niet beschikbaar als de gegevenstaak wordt uitgevoerd.
Downstream-opslagtaken worden bij de volgende uitvoering gesynchroniseerd. Als voor de opslagtaak de geschiedenis is ingeschakeld, blijft deze behouden.
Als herstel niet mogelijk is door tabellen opnieuw te laden, dan is de volgende stap om de gegevenstaak te herstellen.
Alle tabellen opnieuw naar het doel laden
U kunt alle tabellen opnieuw naar het doel laden als u CDC-problemen hebt die u niet kunt oplossen door specifieke tabellen opnieuw te laden. Voorbeelden van problemen zijn ontbrekende gebeurtenissen, problemen die worden veroorzaakt door de reorganisatie van de brondatabase of storing in het lezen van brondatabasegebeurtenissen.
- Stop de gegevenstaak en alle taken die deze gebruiken.
-
Open de gegevenstaak en selecteer het tabblad Bewaken.
-
Klik op de knop ... en vervolgens op Opnieuw laden.
Hierdoor worden alle tabellen naar het doel geladen met behulp van de Drop/Create-methode en wordt het vastleggen van gegevens vanaf dit punt opnieuw gestart.
-
Opslagtaken die gebruikmaken van de tussenopslagtaak worden bij de volgende uitvoering opnieuw geladen via vergelijken en toepassen om de gegevens te synchroniseren. De bestaande geschiedenis blijft behouden. Geschiedenis type 2 wordt bijgewerkt om de wijzigingen te weerspiegelen nadat er opnieuw is geladen en het vergelijkingsproces is uitgevoerd.
De tijdstempel voor de vanaf-datum in de geschiedenis type 2 weerspiegelt de datum van opnieuw laden en niet noodzakelijkerwijs de datum dat de wijziging is opgetreden in de bron.
-
Liveweergaven van opslag zijn niet betrouwbaar tijdens de laadbewerking van het doel en totdat de opslag is gesynchroniseerd. Opslag wordt volledig gesynchroniseerd wanneer:
-
Alle tabellen opnieuw zijn geladen met behulp van vergelijken en toepassen;
-
Eén cyclus van wijzigingen voor iedere tabel is uitgevoerd.
-
Taken voor opslag, transformatie en datamart bewaken
U kunt de status en voortgang van een opslag-, transformatie- of datamarttaak bewaken.
-
Wanneer de eerste laadbewerking wordt uitgevoerd, kunt u de voortgang bekijken in Status volledige lading.
-
Terwijl de wijzigingen worden verwerkt, kunt u de status en voortgang van de huidige batch wijzigingen bekijken.
-
Wanneer er wijzigingen zijn verwerkt, kunt u de status en voortgang bekijken in Laatste batch wijzigingen.
In het onderste gedeelte van Bewaken kunt u de status en voortgang van elke gegevensverzameling bekijken.
U kunt ook gedetailleerde informatie op het SQL-opdrachtniveau bekijken.
Status en voortgang bekijken
U kunt de volgende details weergeven voor elke gegevensverzameling of wijziging:
-
Status
Dit toont de huidige status van deze gegevensverzameling of wijziging.
-
Voltooid - de laadbewerking of de wijziging is voltooid.
-
Laden - de tabel of wijziging wordt verwerkt.
-
In wachtrij - de tabel of wijziging wacht op verwerking.
-
Fout - er is een fout opgetreden tijdens de verwerking van de tabel of wijziging.
-
-
Gestart
Het tijdstip waarop de laadbewerking of de verwerking van wijzigingen is gestart.
-
Beëindigd
Het tijdstip waarop de laadbewerking of de verwerking van wijzigingen is geëindigd.
-
Duur
De duur van de laadbewerking of van de verwerking van wijzigingen in de notatie uu:mm:ss.
-
Verwerkte records
Het aantal records dat is verwerkt in de laadbewerking of wijziging.
-
Doorvoer (records/seconde)
De verwerkte hoeveelheid wordt niet bijgewerkt tot de actuele lading is voltooid.
-
Bericht
Toont een foutbericht als de laadbewerking of de wijziging niet met succes is verwerkt.
De gegevensverzamelingen worden voortdurend bijgewerkt met nieuwe gegevens naarmate het gedeelte met tijdelijke gegevens wordt bijgewerkt door de replicatietaak. Elke batch heeft betrekking op records uit een bepaalde periode. U kunt de periode van de meest recente batch zien in Laatste batch van wijzigingen.
Gegevens afkomstig uit alle brontransacties tot op het moment dat wordt weergegeven in Gegevenstaak is bijgewerkt tot, zijn beschikbaar voor gebruik vanuit deze gegevenstaak. Deze informatie is beschikbaar voor een gegevenstaak wanneer alle tabellen zijn geladen en de eerste set wijzigingen is toegepast. Als u hebt gekozen om liveweergaven te genereren, kunt u ook kijken wanneer liveweergaven worden bijgewerkt.
Als er een reeks wijzigingen moet worden doorgevoerd voordat het laden is voltooid, wordt Gegevenstaak is bijgewerkt met niet bijgewerkt totdat het laden is voltooid en de eerste reeks wijzigingen is doorgevoerd. Stel bijvoorbeeld dat u een gegevensasset laadt die een ordergegevensverzameling bevat met 1 miljoen orders en een gegevensverzameling met 10 miljoen orderdetails. Het duurt respectievelijk 10 en 20 minuten voordat de gegevensverzamelingen volledig zijn geladen. De ordergegevensverzameling wordt het eerst geladen, gevolgd door de orderdetails. Tijdens het laden van de ordergegevensverzameling wordt een nieuwe order ingevoegd. Wanneer de orderdetails worden geladen, kan de tabel daarom details bevatten van de nieuwe order die nog niet bestaat in de ordergegevensverzameling. Pas als de eerste batch met wijzigingen is toegepast, kunnen de ordergegevensverzameling en de orderdetails met elkaar gesynchroniseerd en volledig bijgewerkt zijn tot op hetzelfde tijdstip.
Gedetailleerde informatie bekijken
U kunt gedetailleerde informatie op het SQL-instructieniveau bekijken.
-
Selecteer Volledige lading, Huidige batch met wijzigingen of Laatste batch met wijzigingen in de vervolgkeuzelijst van het onderste gedeelte van Bewaken.
-
Selecteer de gegevensverzamelingen die u in detail wilt bewaken.
-
Klik op Bewakingsdetails.
Bewakingsdetails wordt weergegeven en u kunt de opdrachten bekijken die zijn uitgevoerd voor elke stap van de lading of het wijzigingsproces. U kunt op een opdracht klikken om de volledige SQL-instructies te bekijken die zijn uitgevoerd.
-
Klik op Exporteren naar CSV om een tekstbestand te exporteren met de volledige SQL-instructies voor alle weergegeven opdrachten.
Gegevenstaak is bijgewerkt met voor weergaven
Het veld Gegevenstaak is bijgewerkt met geeft de tijd weer waarop de oudste weergave is bijgewerkt.
-
Standaardweergaven
Gegevenstaak is bijgewerkt met geeft de tijd weer waarop de oudste weergave is bijgewerkt.
Stel een taak heeft twee tabellen: Bestellingen en Bestelinformatie. Bestellingen wordt bijgewerkt tot 10:01 met records tussen 10:00 en 10:01 en Bestelinformatie bevat alleen records van 10:00. In dat geval wordt de gegevenstaak bijgewerkt naar 10:00. Dit moet niet worden verward met de begin- en eindtijden van het laden van de gegevenstaak. Die kunnen 10:02 tot 10:03 zijn.
-
Liveweergaven (gegevensopslagtaken)
De gegevenstaak is bijgewerkt tot geeft de tijd weer waarop de oudste liveweergave is bijgewerkt.
Stel dat een taak de tabel Bestellingen bevat. Bestellingen in de tussenopslag wordt bijgewerkt naar 10:01 met records tussen 10:00 en 10:01, maar Bestellingen in opslag wordt alleen bijgewerkt met records van 10:00. In dit geval worden liveweergaven bijgewerkt met bestellingen die zijn bijgewerkt naar 10:01 en standaardweergaven worden bijgewerkt naar 10:00.