Surveillance d'une tâche de stockage Qlik Open Lakehouse

La tâche de stockage dans les projets Qlik Open Lakehouse diffère de celle des autres projets, car elle s'exécute en continu et non en mode par lots. Par conséquent, les métriques de surveillance sont différentes.

Vue d'ensemble de la surveillance générale

La vue Surveillance vous permet de suivre l'état et les métriques des tâches :

• Onglets

  Basculez entre Infos, Chargement complet et Traitement des modifications pour afficher les métriques pertinentes pour chaque phase de la tâche.

• Filtre d'état du jeu de données

  Un graphique à barres au-dessus du tableau des jeux de données indique le nombre de jeux de données dans chaque état : En file d'attente, Chargement, Terminé et Erreur. Le graphique est mis à jour dynamiquement à mesure que les états des jeux de données changent. Cliquez sur un segment d'état pour filtrer le tableau des jeux de données afin d'afficher uniquement les jeux de données dans cet état.

• Masquer les widgets

  Cliquez sur Masquer les widgets pour réduire les widgets de métriques. Cela offre plus d'espace pour afficher le tableau des jeux de données dessous.

• Date de début

  Date et heure de début de l'exécution de la tâche actuelle.

• Date de fin

  Date et heure de fin de l'exécution de la tâche. Ceci n'est affiché que pour les exécutions de tâches terminées.

• Historique d'exécution

  Cliquez sur Historique des exécutions pour afficher une liste des exécutions de tâches précédentes et leurs résultats.

Détails de la surveillance des informations

La section Infos présente un résumé de l'état d'ensemble de la tâche :

• Exécuter

  Affiche l'ID d'exécution de l'exécution actuelle.

• Données

  La tâche de données mise à jour le affiche l'heure de mise à jour de la vue la plus ancienne. Cela représente le dernier moment où toutes les modifications apportées à la source validées jusqu'à ce moment sont déjà disponibles dans les tables cibles.

  Si aucune nouvelle modification de la source n'est détectée, cette valeur est définie sur l'heure actuelle.

• Tâche

  Affiche le nom et l'état du cluster sur lequel cette tâche est exécutée, ainsi que les informations générales et l'état de la tâche.

Informations détaillées sur le contrôle du chargement complet

Vous pouvez afficher les statistiques suivantes de la tâche de données dans Chargement complet :

• Nombre total de jeux de données

  Nombre de jeux de données chargés.

• Jeux de données en erreur

  Nombre de jeux de données en erreur.

• Modifications entrantes

  Nombre de modifications entrantes.

• Latence totale

  Latence actuelle de la tâche (hh:mm:ss). Cette durée représente le temps écoulé entre le moment où la modification est disponible dans la source et le moment où elle est appliquée et disponible dans la cible.

Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :

• Nom

  Nom de la table cible.

• État

  L'état de la table sera l'un des états suivants : En file d'attente, Chargement en cours, Terminé ou Erreur.

• Opération démarrée

  Heure de début du chargement.

• Terminé

  Heure de fin du chargement.

• Durée

  Durée du chargement au format hh:mm:ss.

• Enregistrements

  Nombre d'enregistrements répliqués lors du chargement.

• Message

  Affiche un message d'erreur si le chargement n'a pas été traité correctement.

Informations sur le contrôle du traitement des modifications

Vous pouvez afficher les détails suivants concernant la tâche de données pour suivre le traitement des modifications dans Traitement des modifications :

• Nombre total de jeux de données

  Nombre de jeux de données chargés.

• Jeux de données en erreur

  Nombre de jeux de données en erreur.

• Modifications entrantes

  Nombre de modifications entrantes.

• Modifications traitées

  Nombre de modifications traitées.

• Latence totale

  Latence actuelle de la tâche (hh:mm:ss). Cette durée représente le temps écoulé entre le moment où la modification est disponible dans la source et le moment où elle est appliquée et disponible dans la cible.

Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :

• Nom

  Nom de la table cible dans la ressource de dépôt temporaire.

• État

  L'état de la table sera l'un des états suivants : Accumulation des modifications ou Erreur.

• Modifications entrantes

  Nombre de modifications traitées par la tâche de dépôt temporaire qui sont en attente d'être appliquées par la tâche de stockage.

• Modifications traitées

  Nombre total de modifications appliquées à la cible depuis le dernier chargement complet du jeu de données (via le chargement complet initial ou une action d'actualisation).

• Dernier traitement

  La dernière heure des données sources qui a été insérée dans le jeu de données cible, traduite en heure locale.

• Modifications non optimisées

  Nombre d'enregistrements interrogeables via la vue, qui n'ont pas encore été fusionnés dans des partitions Iceberg optimisées. Des nombres élevés peuvent affecter les performances tant que les optimisations en arrière-plan ne sont pas terminées.

  Ce chiffre reflète le nombre d'enregistrements qui se trouvent actuellement dans la partition des modifications et qui n'ont pas encore été appliqués à la partition actuelle ou à la partition de l'historique.

  Si cette valeur est constamment élevée, vous pouvez envisager d'augmenter la capacité de calcul de cluster pour accélérer l'optimisation.

• Message

  Affiche un message d'erreur si les modifications apportées à la table échouent et ne sont pas traitées.

Affichage de l'historique d'exécution

Vous pouvez consulter l'historique d'exécution d'une tâche pour identifier les causes profondes et comprendre les tendances au fil du temps.

• Cliquez sur Historique d'exécution dans la vue Surveiller d'une tâche.

• Cliquez sur Historique d'exécution dans le menu ... d'une tâche dans Vues de surveillance.

Jusqu'à 100 exécutions sont affichées dans l'historique d'exécution en fonction de vos sélections de filtre. Affinez vos critères de filtre pour voir d'autres exécutions. Vous pouvez filtrer par date de fin d'exécution et par statut de tâche. Les informations d'exécution sont conservées pendant 13 mois. Les métadonnées de jeux de données des exécutions sont conservées pendant 30 jours.