Een Qlik Open Lakehouse opslagtaak bewaken

De opslagtaak in Qlik Open Lakehouse projecten verschilt van andere projecten, omdat deze continu draait in plaats van in batchmodus. Als gevolg hiervan zijn monitoringstatistieken anders.

Algemene bewakingsdetails

Deze sectie biedt een samenvatting van de algehele taakstatus:

• Gegevenstaak is bijgewerkt met

  Het tijdstempel tot wanneer alle tabellen volledig gesynchroniseerd zijn. Het vertegenwoordigt het meest recente tijdstip waarop alle bronwijzigingen die tot dat moment zijn vastgelegd, al beschikbaar zijn in de doeltabellen.

  Als er geen nieuwe bronwijzigingen worden gedetecteerd, wordt deze waarde ingesteld op de huidige tijd.

• Aantal gegevensverzamelingen

  Totaal aantal datasets opgenomen in deze taak.

• Gegevensverzamelingen met fouten

  Totaal aantal datasets in deze taak waarbij fouten zijn opgetreden.

• Lakehouse-cluster

  De naam en status van het cluster waarop deze taak wordt uitgevoerd.

Bewakingsdetails volledige lading

U kunt de volgende details bekijken voor de gegevenstaak met de status Volledige lading:

• In wachtrij: het aantal tabellen dat momenteel in de wachtrij staat.

• Laden: het aantal tabellen dat momenteel wordt geladen.

• Voltooid: het aantal voltooide tabellen.

• Fout: het aantal tabellen met een fout.

U kunt de volgende details weergeven voor elke tabel in de gegevenstaak:

• Naam

  De naam van de doeltabel.

• Status

  Tabelstatus is: In wachtrij, Wordt geladen, Voltooid of Fout.

• Gestart

  Het tijdstip waarop de laadbewerking is gestart.

• Beëindigd

  Het tijdstip waarop de laadbewerking is beëindigd.

• Duur

  De duur van het laden in de notatie uu:mm:ss.

• Records

  Het aantal records dat werd gerepliceerd tijdens het laden.

• Bericht

  Toont een foutbericht als de laadbewerking niet met succes is verwerkt.

Bewakingsdetails van Vastleggen van wijzigingsgegevens (CDC)

U kunt de volgende CDC-details bekijken voor de gegevenstaak om het verwerken van wijzigingen te bewaken met CDC-status:

• Binnenkomende wijzigingen: het aantal wijzigingen dat bij de bron aanwezig is en wacht op verwerking. U kunt zien hoeveel er zijn verzameld en hoeveel er worden toegepast.

• Verwerkte wijzigingen: het aantal wijzigingen dat is verwerkt en toegepast (in de afgelopen 24 uur).

• Latentie: het tijdsverschil (uu:mm:ss) tussen het tijdstempel van de oudste brongebeurtenis in tussenopslag dat niet is verwerkt naar opslag en de huidige tijd. Deze duur vertegenwoordigt de tijd vanaf het moment dat de wijziging beschikbaar is in de bron totdat de wijziging is toegepast en beschikbaar is in de tussenopslag.

U kunt de volgende details weergeven voor elke tabel in de gegevenstaak:

• Naam

  De naam van de doeltabel in de tussenopslag.

• Status

  Tabelstatus is: Wijzigingen verzamelen of Fout.

• Binnenkomende wijzigingen

  Het aantal wijzigingen verwerkt door de tussenopslagtaak die wachten om te worden toegepast door de opslagtaak.

• Verwerkte wijzigingen

  Het totale aantal wijzigingen dat is toegepast op het doel sinds de dataset voor het laatst volledig is geladen (door de initiële volledige lading of door een herlaadactie).

• Laatst verwerkt

  De laatste brondatatijd die is ingevoegd in de doeldataset, vertaald naar lokale tijd.

• Niet-geoptimaliseerde wijzigingen

  Aantal records waarop query's kunnen worden uitgevoerd via de weergave, maar nog niet samengevoegd in geoptimaliseerde Iceberg-partities. Hoge aantallen kunnen de prestaties beïnvloeden totdat achtergrondoptimalisaties zijn voltooid.

  Dit weerspiegelt het aantal records dat zich momenteel in de wijzigingspartitie bevindt en dat nog niet is toegepast op de huidige of historiepartities.

  Als dit getal consistent hoog is, overweeg dan de rekenkrachtcapaciteit van het cluster te verhogen om optimalisatie te versnellen.

• Bericht

  Geeft een foutmelding als wijzigingen in de tabel mislukken en niet worden verwerkt.