Surveillance d'une tâche de stockage Qlik Open Lakehouse

La tâche de stockage dans les projets Qlik Open Lakehouse diffère de celle des autres projets, car elle s'exécute en continu et non en mode par lots. Par conséquent, les métriques de surveillance sont différentes.

Détails de surveillance généraux

Cette section présente un résumé du statut d'ensemble de la tâche :

• La tâche de données est à jour au

  Horodatage jusqu'auquel toutes les tables sont entièrement synchronisées. Cela représente le dernier moment où toutes les modifications apportées à la source validées jusqu'à ce moment sont déjà disponibles dans les tables cibles.

  Si aucune nouvelle modification de la source n'est détectée, cette valeur est définie sur l'heure actuelle.

• Nombre de jeux de données

  Nombre total de jeux de données inclus dans cette tâche.

• Jeux de données avec erreurs

  Nombre total de jeux de données de cette tâche qui ont rencontré des erreurs.

• Cluster du lakehouse

  Nom et statut du cluster sur lequel cette tâche est exécutée.

Informations détaillées sur la surveillance du chargement complet

Vous pouvez afficher les détails suivants concernant la tâche de données dans État de chargement complet :

• En file d'attente : nombre de tables actuellement en file d'attente.

• En cours de chargement : nombre de tables en cours de chargement.

• Terminé : nombre de tables terminées.

• Erreur : nombre de tables en état d'erreur.

Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :

• Nom

  Nom de la table cible.

• État

  L'état de la table sera l'un des états suivants : En file d'attente, Chargement en cours, Terminé ou Erreur.

• Opération démarrée

  Heure de début du chargement.

• Terminé

  Heure de fin du chargement.

• Durée

  Durée du chargement au format hh:mm:ss.

• Enregistrements

  Nombre d'enregistrements répliqués lors du chargement.

• Message

  Affiche un message d'erreur si le chargement n'a pas été traité correctement.

Détails du suivi via Change Data Capture (CDC)

Vous pouvez afficher les détails CDC suivants concernant la tâche de données pour suivre le traitement des modifications dans État CDC :

• Modifications entrantes : nombre de modifications présentes dans la source et en attente de traitement. Vous pouvez afficher le nombre de modifications cumulées et appliquées.

• Modifications traitées : nombre de modifications traitées et appliquées (au cours des dernières 24 heures).

• Latence : différence temporelle (hh:mm:ss) entre l'horodatage de l'événement source le plus ancien dans le dépôt temporaire qui n'a pas été traité jusqu'au stockage et l'heure actuelle. Cette durée représente le temps écoulé entre le moment où la modification est disponible dans la source et le moment où elle est appliquée et disponible dans la ressource de dépôt temporaire.

Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :

• Nom

  Nom de la table cible dans la ressource de dépôt temporaire.

• État

  L'état de la table sera l'un des états suivants : Accumulation des modifications ou Erreur.

• Modifications entrantes

  Nombre de modifications traitées par la tâche de dépôt temporaire qui sont en attente d'être appliquées par la tâche de stockage.

• Modifications traitées

  Nombre total de modifications appliquées à la cible depuis le dernier chargement complet du jeu de données (via le chargement complet initial ou une action d'actualisation).

• Dernier traitement

  La dernière heure des données sources qui a été insérée dans le jeu de données cible, traduite en heure locale.

• Modifications non optimisées

  Nombre d'enregistrements interrogeables via la vue, qui n'ont pas encore été fusionnés dans des partitions Iceberg optimisées. Des nombres élevés peuvent affecter les performances tant que les optimisations en arrière-plan ne sont pas terminées.

  Ce chiffre reflète le nombre d'enregistrements qui se trouvent actuellement dans la partition des modifications et qui n'ont pas encore été appliqués à la partition actuelle ou à la partition de l'historique.

  Si cette valeur est constamment élevée, vous pouvez envisager d'augmenter la capacité de calcul de cluster pour accélérer l'optimisation.

• Message

  Affiche un message d'erreur si les modifications apportées à la table échouent et ne sont pas traitées.