Accéder au contenu principal Passer au contenu complémentaire

Surveillance d'une tâche de données individuelle

Vous pouvez surveiller le statut et la progression de vos tâches de données en sélectionnant Surveiller dans le menu déroulant dans le coin supérieur gauche de la fenêtre de tâches de données.

Vous pouvez également créer des vues Surveiller pour surveiller plusieurs tâches de données. Pour plus d'informations, voir Surveillance et exécution de vos tâches de données.

Surveillance des tâches de dépôt temporaire et de réplication

La surveillance des tâches de dépôt temporaire est similaire à celle des tâches de réplication en ce sens qu'il est possible de surveiller le chargement initial et l'opération CDC ; en revanche, il existe des différences notables en raison de leurs cas d'utilisation opposés.

  • Toutes les tâches de dépôt temporaire doivent commencer par une chargement complet des données sources dans la cible. Une fois le chargement complet initial terminé, les données cibles sont mises à jour via l'ajout des modifications qui sont apportées aux données sources. Cela peut s'effectuer via une opération Charger et comparer ou Change Data Capture (CDC), suivant la définition de la tâche.

    Pour plus d'informations sur les tâches de dépôt temporaire, voir Dépôt temporaire de données à partir de sources de données.

  • Toutes les tâches « Appliquer l'opération Replicate aux données » commencent généralement par une chargement complet des données sources dans la cible. Cela est obligatoire lors de la réplication depuis des applications SaaS, mais facultatif lors de la réplication depuis des bases de données. Lors de la réplication depuis des bases de données, si les données sources existent déjà dans la cible et si vous souhaitez uniquement appliquer les modifications apportées à la source dans la cible (ou les stocker pour les appliquer ultérieurement), le mode de réplication peut être Appliquer les modifications et/ou Stocker les modifications. Ces deux modes de réplication sont affichés dans la surveillance CDC.

    Pour plus d'informations sur les tâches « Appliquer l'opération Replicate aux données », voir Réplication de données.

  • Les tâches « Déposer temporairement les données dans un lac de données » sont similaires aux tâches de dépôt temporaire en ce sens qu'elles doivent commencer par un chargement complet. Une fois le chargement complet initial terminé, les données cibles sont mises à jour via l'ajout des modifications qui sont apportées aux données sources. Cela peut s'effectuer via une opération Charger ou Change Data Capture (CDC). Malgré leur similarité avec les tâches de dépôt temporaire, les tâches « Déposer temporairement les données dans un lac de données » sont considérées comme des tâches Replicate, car elles correspondent uniquement à une réplication de la source à la cible. Elles n'offrent pas la possibilité de manipuler les données davantage en aval (par exemple, via des transformations et des mini-data warehouses), contrairement à un pipeline de données.

    Pour plus d'informations sur les tâches « Déposer temporairement les données dans un lac de données », voir Dépôt temporaire de données dans un lac de données.

Détails de surveillance

Vous pouvez afficher les détails suivants concernant la tâche de données dans État du chargement complet :

  • En file d'attente : nombre de tables actuellement en file d'attente.

  • En cours de chargement  : nombre de tables en cours de chargement.

  • Terminé : nombre de tables terminées.

  • Erreur : nombre de tables erronées.

Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :

  • Nom

    Nom de la table cible.

  • État

    La table aura l'un des états suivants : En file d'attente, En cours de chargement, Terminé ou Erreur.

  • Opération démarrée

    Heure de début du chargement.

  • Terminé

    Heure de fin du chargement.

  • Durée

    Durée du chargement au format hh:mm:ss.

  • Enregistrements

    Nombre d'enregistrements répliqués lors du chargement.

  • Modifications mises en cache

    Nombre de modifications mises en cache.

  • Message

    Affiche un message d'erreur si le chargement n'a pas été traité correctement.

Détails du suivi via Change Data Capture (CDC)

Vous pouvez afficher les détails CDC suivants concernant la tâche de données pour suivre le traitement des modifications dans État CDC :

  • Modifications entrantes : nombre de modifications présentes dans la source et en attente de traitement. Vous pouvez visualiser le nombre de modifications cumulées et appliquées.

  • Modifications traitées : nombre de modifications traitées et appliquées (au cours des dernières 24  heures).

  • Débit  : débit cible moyen en kilo-octets/seconde. Il indique la vitesse de chargement des enregistrements de modifications vers le point de terminaison cible.

  • Latence : latence actuelle de la ressource de données (hh:mm:ss). Cette durée représente le temps écoulé entre le moment où la modification est disponible dans la source et le moment où elle est appliquée et disponible dans la ressource cible ou de dépôt temporaire.

Vous pouvez afficher les détails suivants concernant chaque table dans la tâche de données :

  • Nom

    Nom de la table cible dans la ressource de dépôt temporaire.

  • État

    La table aura l'un des états suivants : Accumulation des modifications ou Erreur.

  • Dernier traitement

    Heure et date des dernières modifications apportées à a table.

  • Insertions

    Nombre d'opérations d'insertion.

  • Mises à jour

    Nombre d'opérations de mise à jour.

    Note InformationsLes mises à jour sont gérées comme des insertions pour les sources d'applications SaaS.
  • Suppressions

    Nombre d'opérations de suppression.

  • Opérations DDL

    Nombre d'opérations DDL.

    Note InformationsDisponible uniquement pour les tâches « Appliquer l'opération Replicate aux données ».
  • Message

    Affiche un message d'erreur si les modifications apportées à la table échouent et ne sont pas traitées.

Si vous déposez temporairement des données provenant d'une source sur site et si vous avez sélectionné le mode Chargement complet, les tables seront automatiquement chargées lorsque la ressource de dépôt temporaire aura l'état Exécuté.

Si vous déposez temporairement des données provenant d'une source sur site et si vous avez sélectionné le mode Chargement complet & CDC, les tables seront continuellement mises à jour via l'ajout de nouvelles données après le premier chargement complet.

Chargement de tables sélectionnées

Vous pouvez charger manuellement des tables sélectionnées depuis la source. Cela s'avère utile lorsque vous souhaitez récupérer des tables individuelles présentant des erreurs. Le chargement des tables n'affectera pas la chronologie CDC, qui est réinitialisée si vous utilisez Recréer les tables. Lors du chargement des tables, les modifications des métadonnées ne sont pas propagées.

  • Pour charger des tables sélectionnées, sélectionnez les tables dans la moitié inférieure de Surveiller et cliquez sur Charger des tables.

    Vous devez être titulaire des mêmes autorisations que celles nécessaires pour exécuter la tâche de données, à savoir, le rôle Propriétaire ou Peut utiliser.

La fonction Charger des tables est disponible après la première exécution de la tâche de données. Si la méthode de mise à jour est Charger et comparer, la fonction Charger des tables n'est pas disponible lors de l'exécution de la tâche de données.

Lors de leur exécution suivante, les tâches de données de stockage en aval seront synchronisées. Si l'historique de la tâche de stockage est activé, il sera conservé.

S'il n'est pas possible de procéder à la récupération en actualisant les tables, l'étape suivante consiste à réparer la tâche de données.

Actualisation de l'ensemble des tables dans la cible

Vous pouvez actualiser l'ensemble des tables dans la cible, si vous rencontrez des problèmes liés à CDC qui ne peuvent pas être résolus en actualisant des tables spécifiques. Exemples de problèmes rencontrés : événements manquants, problèmes causés par la réorganisation de la base de données source ou échec de lecture des événements de la base de données source.

Note InformationsCette opération est disponible uniquement pour les tâches avec la méthode de mise à jour Change Data Capture (CDC) et qui ont été exécutées au moins une fois.

  1. Arrêtez la tâche de données et l'ensemble des tâches qui la consomment.
  2. Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.

  3. Cliquez sur ..., puis sur Actualiser la cible.

Cette opération actualise l'ensemble des tables de la cible via une action Abandonner-Créer et redémarre la totalité de la capture des données de modification à partir de ce point.

  • Les tâches de stockage qui consomment la tâche de données de dépôt temporaire sont actualisées via une opération Comparer et appliquer lors de leur prochaine exécution afin d'être synchronisées. L'historique existant est conservé. L'historique de type 2 sera mis à jour pour refléter les modifications après l'exécution du processus Charger et comparer.

    L'horodatage de la date de début de l'historique de type 2 reflétera la date de chargement et pas forcément la date à laquelle la modification a eu lieu dans la source.

  • Les vues de stockage en direct ne seront pas fiables, lors de l'opération d'actualisation de la cible et tant que le stockage n'aura pas été synchronisé. Le stockage est entièrement synchronisé lorsque :

    • toutes les tables sont actualisées via Comparer et appliquer ;

    • un cycle de modifications est réalisé pour chaque table.

Surveillance des tâches Stockage, Transformer et Mini-data warehouse

Vous pouvez surveiller le statut et la progression d'une tâche Stockage, Transformer ou Mini-data warehouse.

  • Lors de l'exécution du premier chargement, vous pouvez afficher la progression dans État de chargement complet.

  • Lors du traitement des modifications, vous pouvez voir l'état et la progression dans Lot de modifications en cours.

  • Une fois les modifications traitées, vous pouvez voir l'état et la progression dans Dernier lot de modifications.

Dans la moitié inférieure de Surveiller, vous pouvez voir l'état et la progression de chaque ensemble de données.

Vous pouvez également afficher des informations détaillées au niveau de l'instruction SQL.

Affichage de l'état et de la progression

Pour chaque ensemble de données ou chaque modification, vous pouvez afficher les détails suivants :

  • État

    Il affiche l'état actif de cet ensemble de données ou de cette modification.

    • Terminé - le chargement ou la modification s'est correctement terminé(e).

    • Chargement en cours - la table ou la modification est en cours de traitement.

    • En file d'attente - la table ou la modification est en attente de traitement.

    • Erreur - il s'est produit une erreur lors du traitement de la table ou de la modification.

  • Opération démarrée

    Heure de démarrage du traitement du chargement ou de la modification.

  • Terminé

    Heure de fin du traitement du chargement ou de la modification.

  • Durée

    Durée de traitement du chargement ou de la modification au format hh:mm:ss.

  • Enregistrements traités

    Nombre d'enregistrements traités lors du chargement ou de la modification.

  • Débit (enregistrements/seconde)

    Le débit n'est pas mis à jour tant que le chargement n'est pas terminé.

  • Message

    Affiche un message d'erreur si le chargement ou la modification n'a pas été traité(e) correctement.

Les ensembles de données sont continuellement mis à jour en fonction des nouvelles données à mesure que la zone de dépôt temporaire est mise à jour par la tâche Replicate. Chaque lot correspond à des enregistrements d'un laps de temps donné. Vous pouvez voir le laps de temps du lot le plus récent dans Dernier lot de modifications.

Les données de l'ensemble des transactions sources jusqu'au moment indiqué dans La tâche de données est mise à jour au sont disponibles à la consommation depuis cette tâche de données. Ces informations sont disponibles pour une tâche de données une fois que toutes les tables ont été chargées et que le premier ensemble de modifications a été appliqué. Si vous choisissez de générer des vues en direct, vous pouvez également voir quand les vues en direct sont mises à jour.

En cas de lot de modifications avant la fin du chargement initial, le champ de La tâche de données est mise à jour au ne sera pas mis à jour tant que le chargement initial n'est pas terminé et que le premier lot de modifications n'est pas appliqué. Par exemple, supposons que vous chargiez une ressource de données contenant un ensemble de données de commandes comportant 1 million de commandes et un ensemble de données de détails de commandes comportant 10 millions de détails de commandes. Le chargement complet des ensembles de données prend respectivement 10 et 20 minutes. L'ensemble de données de commandes est le premier à être chargée, suivie de celui des détails de commandes. Lors du chargement de l'ensemble de données de commandes, une nouvelle commande a été insérée. C'est pourquoi, lors du chargement des détails de commandes, il se peut que l'ensemble de données contienne les détails de la nouvelle commande qui n'existe pas encore dans l'ensemble de données de commandes. Les ensembles de données de commandes et de détails de commandes sont synchronisés et entièrement mis à jour à la même heure uniquement après l'application du premier lot de modifications.

Affichage d'informations détaillées

Vous pouvez afficher des informations détaillées au niveau de l'instruction SQL.

  1. Sélectionnez Chargement complet, Lot de modifications actif ou Dernier lot de modifications dans la liste déroulante de la partie inférieure de Surveiller.

  2. Sélectionnez les ensembles de données à surveiller dans le détail.

  3. Cliquez sur Surveiller les détails.

Surveiller les détails apparaît, et vous pouvez afficher les commandes exécutées à chaque étape du processus de chargement ou de modification. Vous pouvez cliquer sur une commande pour afficher les instructions SQL complètes qui ont été exécutées.

  • Cliquez sur Exporter au format CSV pour exporter un fichier texte contenant les instructions SQL complètes de l'ensemble des commandes répertoriées.

Champ La tâche de données est à jour au des vues

Le champ La tâche de données est mise à jour au affiche l'heure de mise à jour de la vue la plus ancienne.

  • La tâche de données est mise à jour au affiche l'heure de mise à jour de la vue standard la plus ancienne.

    Imaginons, par exemple, qu'une tâche dispose de deux tables, Orders (Commandes) et Order details (Détails des commandes). La table Orders est mise à jour à 10h01 à l'aide des enregistrements de 10h00 et de 10h01, et la table Order details comporte uniquement les enregistrements de 10h00. Dans ce cas, la tâche de données est mise à jour en fonction des enregistrements de 10h00. Cette heure ne doit pas être confondue avec les heures de début et de fin du chargement de la tâche de données, qui peuvent être 10h02 et 10h03, respectivement.

  • La tâche de données est mise à jour au indique l'heure de mise à jour de la vue en direct la plus ancienne.

    Imaginons, par exemple, qu'une tâche dispose d'une table Orders (Commandes). La table Orders en dépôt temporaire est mise à jour à 10h01 à l'aide des enregistrements de 10h00 et de 10h01, alors que la table Orders en stockage est mise à jour à l'aide des enregistrements de 10h00 uniquement. Dans ce cas, les vues en direct de Orders sont mises à jour sur 10h01, tandis que les vues standards le sont sur 10h00.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !