Surveillance d'une tâche de données individuelle
Vous pouvez surveiller le statut et la progression de vos tâches de données en sélectionnant Surveiller dans le menu déroulant dans le coin supérieur gauche de la fenêtre de tâches de données.
Vous pouvez également créer des vues Surveiller pour surveiller plusieurs tâches de données. Pour plus d'informations, consultez Surveillance et exécution de vos tâches de données.
Surveillance des tâches de dépôt temporaire et de réplication
La surveillance des tâches de dépôt temporaire est similaire à celle des tâches de réplication en ce sens qu'il est possible de surveiller le chargement initial et l'opération CDC ; en revanche, il existe des différences notables en raison de leurs cas d'utilisation opposés.
-
Cas d'utilisation d'un pipeline de données : tâches de dépôt temporaire
Toutes les tâches de dépôt temporaire doivent commencer par une chargement complet des données sources dans la cible. Une fois le chargement complet initial terminé, les données cibles sont mises à jour via l'ajout des modifications qui sont apportées aux données sources. Cela peut s'effectuer via une opération Charger et comparer ou Change Data Capture (CDC), suivant la définition de la tâche.
Pour plus d'informations sur les tâches de dépôt temporaire, voir Dépôt temporaire de données à partir de sources de données.
-
Cas d'utilisation de la réplication : tâches « Appliquer l'opération Replicate aux données »
Toutes les tâches « Appliquer l'opération Replicate aux données » commencent généralement par une chargement complet des données sources dans la cible. Cela est obligatoire lors de la réplication depuis des applications SaaS, mais facultatif lors de la réplication depuis des bases de données. Lors de la réplication depuis des bases de données, si les données sources existent déjà dans la cible et si vous souhaitez uniquement appliquer les modifications apportées à la source dans la cible (ou les stocker pour les appliquer ultérieurement), le mode de réplication peut être Appliquer les modifications et/ou Stocker les modifications. Ces deux modes de réplication sont affichés dans la surveillance CDC.
Pour plus d'informations sur les tâches « Appliquer l'opération Replicate aux données », consultez les rubriques suivantes :
Réplication de données avec un abonnement Standard, Premium ou Enterprise
Réplication de données avec un abonnement Démarreur Qlik Talend Cloud
-
Cas d'utilisation de la réplication : tâches « Déposer temporairement les données dans un lac de données »
Les tâches « Déposer temporairement les données dans un lac de données » sont similaires aux tâches de dépôt temporaire en ce sens qu'elles doivent commencer par un chargement complet. Une fois le chargement complet initial terminé, les données cibles sont mises à jour via l'ajout des modifications qui sont apportées aux données sources. Cela peut s'effectuer via une opération Charger ou Change Data Capture (CDC). Malgré leur similarité avec les tâches de dépôt temporaire, les tâches « Déposer temporairement les données dans un lac de données » sont considérées comme des tâches Replicate, car elles correspondent uniquement à une réplication de la source à la cible. Elles n'offrent pas la possibilité de manipuler les données davantage en aval (par exemple, via des transformations et des mini-data warehouses), contrairement à un pipeline de données.
Note InformationsLes étapes de création d'une tâche « Déposer temporairement les données dans un lac de données » ne s'appliquent pas avec un abonnement Démarreur Qlik Talend Cloud. Avec un abonnement Démarreur Qlik Talend Cloud, la réplication dans des cibles de stockage cloud s'effectue via une tâche « Appliquer l'opération Replicate aux données » standard.Pour plus d'informations sur les tâches « Déposer temporairement les données dans un lac de données », voir Dépôt temporaire de données dans un lac de données avec un abonnement Standard, Premium ou Enterprise.
Détails de surveillance
Vous pouvez afficher les détails suivants concernant la tâche de données dans État du chargement complet :
-
En file d'attente : nombre de tables actuellement en file d'attente.
-
En cours de chargement : nombre de tables en cours de chargement.
-
Terminé : nombre de tables terminées.
-
Erreur : nombre de tables erronées.
Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :
-
Nom
Nom de la table cible.
-
État
L'état de la table sera l'un des états suivants : En file d'attente, Chargement en cours, Terminé ou Erreur.
-
Opération démarrée
Heure de début du chargement.
-
Terminé
Heure de fin du chargement.
-
Durée
Durée du chargement au format hh:mm:ss.
-
Enregistrements
Nombre d'enregistrements répliqués lors du chargement.
-
Modifications mises en cache
Nombre de modifications mises en cache.
-
Message
Affiche un message d'erreur si le chargement n'a pas été traité correctement.
Détails du suivi via Change Data Capture (CDC)
Vous pouvez afficher les détails CDC suivants concernant la tâche de données pour suivre le traitement des modifications dans État CDC :
-
Modifications entrantes : nombre de modifications présentes dans la source et en attente de traitement. Vous pouvez visualiser le nombre de modifications cumulées et appliquées.
-
Modifications traitées : nombre de modifications traitées et appliquées (au cours des dernières 24 heures).
-
Débit : débit cible moyen en kilo-octets/seconde. Il indique la vitesse de chargement des enregistrements de modifications vers le point de terminaison cible.
-
Latence : latence actuelle de la ressource de données (hh:mm:ss). Cette durée représente le temps écoulé entre le moment où la modification est disponible dans la source et le moment où elle est appliquée et disponible dans la ressource cible ou de dépôt temporaire.
Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :
-
Nom
Nom de la table cible dans la ressource de dépôt temporaire.
-
État
L'état de la table sera l'un des états suivants : Accumulation des modifications ou Erreur.
-
Dernier traitement
Heure et date des dernières modifications apportées à a table.
-
Insertions
Nombre d'opérations d'insertion.
-
Mises à jour
Nombre d'opérations de mise à jour.
Note InformationsLes mises à jour sont gérées comme des insertions pour les sources d'applications SaaS. -
Suppressions
Nombre d'opérations de suppression.
-
Opérations DDL
Nombre d'opérations DDL.
Note InformationsDisponible uniquement pour les tâches « Appliquer l'opération Replicate aux données ». -
Message
Affiche un message d'erreur si les modifications apportées à la table échouent et ne sont pas traitées.
Si vous déposez temporairement des données provenant d'une source sur site et si vous avez sélectionné le mode Chargement complet, les tables seront automatiquement chargées lorsque la ressource de dépôt temporaire aura l'état Exécuté.
Si vous déposez temporairement des données provenant d'une source sur site et si vous avez sélectionné le mode Chargement complet & CDC, les tables seront continuellement mises à jour via l'ajout de nouvelles données après le premier chargement complet.
Chargement de tables sélectionnées
Vous pouvez charger manuellement des tables sélectionnées depuis la source. Cela s'avère utile lorsque vous souhaitez récupérer des tables individuelles présentant des erreurs. Le chargement des tables n'affectera pas la chronologie CDC, qui est réinitialisée si vous utilisez Recréer les tables. Lors du chargement des tables, les modifications des métadonnées ne sont pas propagées.
-
Pour charger des tables sélectionnées, sélectionnez les tables dans la moitié inférieure de Surveiller et cliquez sur Charger des tables.
Vous devez être titulaire des mêmes autorisations que celles nécessaires pour exécuter la tâche de données, à savoir, le rôle Propriétaire ou Peut utiliser.
La fonction Charger des tables est disponible après la première exécution de la tâche de données. Si la méthode de mise à jour est Charger et comparer, la fonction Charger des tables n'est pas disponible lors de l'exécution de la tâche de données.
Lors de leur exécution suivante, les tâches de données de stockage en aval seront synchronisées. Si l'historique de la tâche de stockage est activé, il sera conservé.
S'il n'est pas possible de procéder à la récupération en actualisant les tables, l'étape suivante consiste à réparer la tâche de données.
Actualisation de l'ensemble des tables dans la cible
Vous pouvez actualiser l'ensemble des tables dans la cible, si vous rencontrez des problèmes liés à CDC qui ne peuvent pas être résolus en actualisant des tables spécifiques. Exemples de problèmes rencontrés : événements manquants, problèmes causés par la réorganisation de la base de données source ou échec de lecture des événements de la base de données source.
- Arrêtez la tâche de données et l'ensemble des tâches qui la consomment.
-
Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.
-
Cliquez sur ..., puis sur Actualiser la cible.
Cette opération actualise l'ensemble des tables de la cible via une action Abandonner-Créer et redémarre la totalité de la capture des données de modification à partir de ce point.
-
Les tâches de stockage qui consomment la tâche de données de dépôt temporaire sont actualisées via une opération Comparer et appliquer lors de leur prochaine exécution afin d'être synchronisées. L'historique existant est conservé. L'historique de type 2 sera mis à jour pour refléter les modifications après l'exécution du processus Charger et comparer.
L'horodatage de la date de début de l'historique de type 2 reflétera la date de chargement et pas forcément la date à laquelle la modification a eu lieu dans la source.
-
Les vues de stockage en direct ne seront pas fiables, lors de l'opération d'actualisation de la cible et tant que le stockage n'aura pas été synchronisé. Le stockage est entièrement synchronisé lorsque :
-
toutes les tables sont actualisées via Comparer et appliquer ;
-
un cycle de modifications est réalisé pour chaque table.
-
Surveillance des tâches Stockage, Transformer et Mini-data warehouse
Vous pouvez surveiller le statut et la progression d'une tâche Stockage, Transformer ou Mini-data warehouse.
-
Lors de l'exécution du premier chargement, vous pouvez afficher la progression dans État de chargement complet.
-
Lors du traitement des modifications, vous pouvez voir l'état et la progression dans Lot de modifications en cours.
-
Une fois les modifications traitées, vous pouvez voir l'état et la progression dans Dernier lot de modifications.
Dans la moitié inférieure de Surveiller, vous pouvez voir l'état et la progression de chaque ensemble de données.
Vous pouvez également afficher des informations détaillées au niveau de l'instruction SQL.
Affichage de l'état et de la progression
Pour chaque ensemble de données ou chaque modification, vous pouvez afficher les détails suivants :
-
État
Il affiche l'état actif de cet ensemble de données ou de cette modification.
-
Terminé - le chargement ou la modification s'est correctement terminé(e).
-
Chargement en cours - la table ou la modification est en cours de traitement.
-
En file d'attente - la table ou la modification est en attente de traitement.
-
Erreur - il s'est produit une erreur lors du traitement de la table ou de la modification.
-
-
Opération démarrée
Heure de démarrage du traitement du chargement ou de la modification.
-
Terminé
Heure de fin du traitement du chargement ou de la modification.
-
Durée
Durée de traitement du chargement ou de la modification au format hh:mm:ss.
-
Enregistrements traités
Nombre d'enregistrements traités lors du chargement ou de la modification.
-
Débit (enregistrements/seconde)
Le débit n'est pas mis à jour tant que le chargement n'est pas terminé.
-
Message
Affiche un message d'erreur si le chargement ou la modification n'a pas été traité(e) correctement.
Les ensembles de données sont continuellement mis à jour en fonction des nouvelles données à mesure que la zone de dépôt temporaire est mise à jour par la tâche Replicate. Chaque lot correspond à des enregistrements d'un laps de temps donné. Vous pouvez voir le laps de temps du lot le plus récent dans Dernier lot de modifications.
Les données de l'ensemble des transactions sources jusqu'au moment indiqué dans La tâche de données est mise à jour au sont disponibles à la consommation depuis cette tâche de données. Ces informations sont disponibles pour une tâche de données une fois que toutes les tables ont été chargées et que le premier ensemble de modifications a été appliqué. Si vous choisissez de générer des vues en direct, vous pouvez également voir quand les vues en direct sont mises à jour.
En cas de lot de modifications avant la fin du chargement initial, le champ de La tâche de données est mise à jour au ne sera pas mis à jour tant que le chargement initial n'est pas terminé et que le premier lot de modifications n'est pas appliqué. Par exemple, supposons que vous chargiez une ressource de données contenant un ensemble de données de commandes comportant 1 million de commandes et un ensemble de données de détails de commandes comportant 10 millions de détails de commandes. Le chargement complet des ensembles de données prend respectivement 10 et 20 minutes. L'ensemble de données de commandes est le premier à être chargée, suivie de celui des détails de commandes. Lors du chargement de l'ensemble de données de commandes, une nouvelle commande a été insérée. C'est pourquoi, lors du chargement des détails de commandes, il se peut que l'ensemble de données contienne les détails de la nouvelle commande qui n'existe pas encore dans l'ensemble de données de commandes. Les ensembles de données de commandes et de détails de commandes sont synchronisés et entièrement mis à jour à la même heure uniquement après l'application du premier lot de modifications.
Affichage d'informations détaillées
Vous pouvez afficher des informations détaillées au niveau de l'instruction SQL.
-
Sélectionnez Chargement complet, Lot de modifications actif ou Dernier lot de modifications dans la liste déroulante de la partie inférieure de Surveiller.
-
Sélectionnez les ensembles de données à surveiller dans le détail.
-
Cliquez sur Surveiller les détails.
Surveiller les détails apparaît, et vous pouvez afficher les commandes exécutées à chaque étape du processus de chargement ou de modification. Vous pouvez cliquer sur une commande pour afficher les instructions SQL complètes qui ont été exécutées.
-
Cliquez sur Exporter au format CSV pour exporter un fichier texte contenant les instructions SQL complètes de l'ensemble des commandes répertoriées.
Champ La tâche de données est à jour au des vues
Le champ La tâche de données est mise à jour au affiche l'heure de mise à jour de la vue la plus ancienne.
-
Vues standard
La tâche de données est mise à jour au affiche l'heure de mise à jour de la vue standard la plus ancienne.
Imaginons, par exemple, qu'une tâche dispose de deux tables, Orders (Commandes) et Order details (Détails des commandes). La table Orders est mise à jour à 10h01 à l'aide des enregistrements de 10h00 et de 10h01, et la table Order details comporte uniquement les enregistrements de 10h00. Dans ce cas, la tâche de données est mise à jour en fonction des enregistrements de 10h00. Cette heure ne doit pas être confondue avec les heures de début et de fin du chargement de la tâche de données, qui peuvent être 10h02 et 10h03, respectivement.
-
Vues en direct (tâches de données de stockage)
La tâche de données est mise à jour au indique l'heure de mise à jour de la vue en direct la plus ancienne.
Imaginons, par exemple, qu'une tâche dispose d'une table Orders (Commandes). La table Orders en dépôt temporaire est mise à jour à 10h01 à l'aide des enregistrements de 10h00 et de 10h01, alors que la table Orders en stockage est mise à jour à l'aide des enregistrements de 10h00 uniquement. Dans ce cas, les vues en direct de Orders sont mises à jour sur 10h01, tandis que les vues standards le sont sur 10h00.