Résolution des problèmes des tâches de données

Cette section décrit les problèmes pouvant survenir lorsque vous utilisez des tâches de données et explique comment les résoudre.

Résolution des erreurs environnementales

Lorsqu'une tâche de données rencontre une erreur environnementale, par exemple, des délais d'attente, des erreurs réseau ou des erreurs de connexion, la tâche de données retente automatiquement l'opération. Si l'erreur n'est pas résolue après la nouvelle tentative, la tâche de données s'arrête de fonctionner et indique l'état Erreur avec un message d'erreur.

• Tâches de dépôt temporaire avec des sources de données accessibles uniquement via Data Movement gateway :

  L'opération est retentée un nombre infini de fois, à un intervalle de 5 secondes.

  Si l'interruption dure longtemps, l'intervalle est doublé jusqu'à compter 1 800 secondes.

• Tâches de dépôt temporaire avec des sources de données accessibles sans Data Movement gateway, tâches Stockage, tâches Transformation et tâches Mini-data warehouse :

  L'opération est retentée à trois reprises, à un intervalle de 1 seconde.

Procédez comme suit :

1. Résolvez l'erreur en vous servant du message d'erreur.

2. Chargez de nouveau ou rétablissez le fonctionnement de la tâche de données.

Résolution des problèmes rencontrés avec une table spécifique

Lorsqu'une tâche de données rencontre une erreur lors de l'écriture dans une table spécifique, elle continue de fonctionner. La table en erreur indique l'état Erreur avec un message d'erreur.

1. Résolvez l'erreur en vous servant du message d'erreur.

2. Chargez de nouveau la table qui était en état d'erreur.

Résolutions des problèmes liés à CDC

Les tâches de données de dépôt temporaire en mode de mise à jour Chargement complet et CDC peuvent rencontrer des problèmes liés à CDC qui affectent la tâche toute entière et qui ne peuvent pas être résolus en actualisant des tables spécifiques. Exemples de problèmes rencontrés : événements manquants, problèmes causés par la réorganisation de la base de données source ou échec de lecture des événements de la base de données source.

Pour résoudre ce type de problèmes, vous pouvez actualiser l'ensemble des tables dans la cible.

1. Arrêtez la tâche de données et l'ensemble des tâches qui la consomment.

2. Ouvrez la tâche de données et sélectionnez l'onglet Surveiller.

3. Cliquez sur ..., puis sur Actualiser la cible.

Cette opération actualise l'ensemble des tables de la cible via une action Abandonner-Créer et redémarre la totalité de la capture des données de modification à partir de ce point.

• Les tâches de stockage qui consomment la tâche de données de dépôt temporaire sont actualisées via une opération Comparer et appliquer lors de leur prochaine exécution afin d'être synchronisées. L'historique existant est conservé. L'historique de type 2 sera mis à jour pour refléter les modifications après l'exécution du processus Charger et comparer.

  L'horodatage de la date de début de l'historique de type 2 reflétera la date de chargement et pas forcément la date à laquelle la modification a eu lieu dans la source.

• Les vues de stockage en direct ne seront pas fiables, lors de l'opération d'actualisation de la cible et tant que le stockage n'aura pas été synchronisé. Le stockage est entièrement synchronisé lorsque :

  • toutes les tables sont actualisées via Comparer et appliquer ;

  • un cycle de modifications est réalisé pour chaque table.

Pour plus d'informations, consultez Actualisation de l'ensemble des tables dans la cible.

Valeurs NULL dans des colonnes de clés primaires

Il se peut que vous receviez un message d'erreur lors de l'exécution d'une tâche de données : Unknown execution error - NULL result in a non-nullable column.

 

Les colonnes utilisées comme clé primaire ne doivent pas contenir de valeurs NULL et ne doivent pas accepter la valeur Null.

 

Dans la tâche de données source, ajoutez une expression qui convertit toutes les valeurs NULL en une valeur, par exemple, 0.

Vous pouvez également sélectionner une autre colonne à utiliser comme clé primaire.

Erreur de diffusion lors de l'utilisation de Redshift comme plateforme de données

Il se peut que vous obteniez l'erreur suivante ou une erreur similaire si vous utilisez Redshift comme plateforme de données : Échec de recherche de la fonction de conversion de “inconnu” à la variation de caractère

 

Absence de diffusion d'une expression constante. Cela peut se produire plus souvent dans les mini-data warehouses en raison de la plus grande complexité de la requête finale.

 

Diffusez l'expression constante sous forme de texte.

Noms de colonne ambigus

Lorsque vous enregistrez des données basées sur une vue créée dans un pipeline Qlik Talend Data Integration, la vue peut contenir des colonnes générées par Qlik Talend Data Integration. Les noms de ces colonnes, commençant par hdr__, sont réservés. Lorsqu'une colonne portant un nom réservé est consommée dans une tâche de stockage, la tâche de stockage crée des colonnes portant le même nom réservé, ce qui entraîne un conflit de noms. Par exemple, vous pouvez avoir deux colonnes nommées hdr__key_hash.

Pour plus d'informations sur les noms de colonne réservés dans les vues, consultez Vues.

 

Renommez la colonne provenant de la tâche de données enregistrées dans la tâche de données de stockage. Par exemple, remplacez le nom hdr__key_hash par my__key_hash.

Résolution des problèmes des tâches de données basées sur Data Movement gateway

Vous pouvez obtenir des informations sur les opérations de dépôt temporaire des tâches de données basées sur Data Movement gateway en examinant les fichiers journaux. Vous pouvez également définir le niveau de journalisation. Les journaux sont disponibles lorsque la tâche de données a terminé sont premier cycle.

Pour pouvoir afficher les fichiers journaux, vous devez avoir l'une des autorisations suivantes dans l'espace dans lequel réside la tâche de données :

• Propriétaire

• Peut utiliser

Vous devez également avoir l'une des autorisations suivantes dans l'espace dans lequel réside la passerelle de données :

• Peut consommer
• Accès en écriture
• Peut gérer

Affichage des fichiers journaux

Pour accéder à la visionneuse du journal, cliquez sur Afficher les journaux dans une tâche de données de dépôt temporaire basée sur Data Movement gateway. Vous pouvez sélectionner le fichier journal à consulter sous Journaux du moteur Replication. Vous pouvez parcourir l'ensemble du fichier en cliquant sur et .

Définition des options de journalisation

Vous pouvez définir le niveau de journalisation des différentes opérations de la réplication sous Options de journalisation.

Stockage des journalisations Trace (suivi) et Verbose (détaillée) en mémoire

Lorsque le niveau de journalisation est défini sur Trace (suivi) ou Verbose (détaillée), vous pouvez indiquer à Qlik Talend Data Integration de stocker les informations de journalisation en mémoire jusqu'à l'apparition d'une erreur. Lors de la détection d'une erreur, Qlik Talend Data Integration commence à écrire dans les journaux physiques et continue de le faire pendant quelques minutes après la première occurrence de l'erreur.

Si aucune erreur ne se produit avant la consommation totale de la mémoire allouée, Qlik Talend Data Integration vide le tampon de mémoire et recommence à zéro.

Cette option s'avère utile pour les tâches qui échouent de manière imprévisible et pour aucun motif évident. Le problème, avec l'écriture en continu de grandes quantités d'informations dans les journaux, est double :

• L'exécution en mode de journalisation Trace (suivi) ou Verbose (détaillée) consomme rapidement l'espace disque disponible (sauf si les paramètres de journalisation ont été configurés de sorte à l'empêcher).
• L'écriture en continu de grandes quantités de données dans les journaux affecte les performances.

Pour utiliser cette option

1. Cochez la case Stocker la journalisation de suivi/détaillée en mémoire, mais, en cas d'erreur, l'écrire dans les journaux en haut de l'onglet.
2. Dans le champ Affecter de la mémoire jusqu'à (Mo) , spécifiez la quantité de mémoire à allouer pour le stockage des informations de journalisation.

Définition des niveaux de journalisation

Vous pouvez définir les niveaux suivants :

• 1. Erreur

  Afficher des messages d'erreur.

• 2. Avertissement

  Afficher les avertissements.

• 3. Infos

  Afficher les messages d'information.

• 4. Déboguer

  Afficher des informations supplémentaires pour la résolution des problèmes.

• 5. Débogage détaillé

  Afficher des informations détaillées pour la résolution des problèmes.

Les niveaux supérieurs comprennent toujours les messages des niveaux inférieurs. Ainsi, si vous sélectionnez Erreur, seuls les messages d'erreur sont écrits dans le journal. Cependant, si vous sélectionnez Infos, les messages d'information, les avertissements et les messages d'erreur sont inclus. En règle générale, le recours aux niveau Déboguer et Débogage détaillé peut générer des volumes importants de données.

Global vous permet de définir le même niveau pour toutes les opérations ou de définir le niveau individuellement pour chaque opération.

• Source - chargement complet

  Activité des journaux liée aux opérations de chargement complet dans la source de données. Il intègre les instructions SELECT exécutées dans les tables source avant le chargement complet.

• Source - CDC

  Activité des journaux liées aux opérations CDC dans la source de données.

  Note AvertissementLa définition de cette option sur le niveau Débogage détaillé entraîne la génération de très grandes quantités de données dans le journal.

• Source – données

  Journalisation détaillée de l'activité de source de données liée aux opérations de chargement complet et CDC.

• Cible - chargement complet

  Journalise l'activité liée aux opérations de chargement complet dans la cible.

• Cible - CDC

  Journalise l'activité liée aux opérations CDC dans la cible.

• Cible – Charger

  Journalise l'activité lorsque les fichiers sont transférés dans la cible.

• CDC étendu

  Journalisation détaillée de l'activité CDC, telle que la synchronisation et le stockage des transactions.

• Performance

  Journalise les valeurs de latence de la source et la cible.

• Métadonnées

  Journalise l'activité liée à la lecture des métadonnées ainsi qu'à leur modification. L'état de la tâche de réplication est également journalisé.

• Infrastructure

  Journalise les informations sur l'infrastructure, les opérations du système de fichiers et la gestion des tâches.

• Transformation

  Journalise les informations liées aux transformations réalisées.

Téléchargement des fichiers de diagnostic

Vous pouvez télécharger un package de diagnostic, des journaux de tâches et un rapport de mémoire pour vous aider lors de la résolution de problèmes concernant la tâche de réplication associée à la tâche de dépôt temporaire. Vous ne pouvez télécharger qu'un élément à la fois.

1. Dans la visionneuse du journal, cliquez sur Télécharger pour développer la structure.

2. Sélectionnez l'élément à télécharger.

3. Cliquez sur Télécharger.

   Suivant les paramètres de votre navigateur, le fichier est téléchargé sur votre ordinateur ou vous serez invité à l'enregistrer.

Résolution des problèmes d'un tâche de données qui n'utilise pas Data Movement gateway

Vous pouvez obtenir des informations sur les opérations de dépôt temporaire des tâches de données qui n'utilisent pas Data Movement gateway en examinant les fichiers journaux. Vous pouvez également définir le niveau de journalisation. Les journaux sont disponibles lorsque la tâche de données a terminé sont premier cycle. Vous pouvez afficher les journaux de tâches et les journaux de serveurs.

Affichage des journaux de tâches

Pour pouvoir afficher les fichiers journaux de tâches, vous devez avoir l'une des autorisations suivantes dans l'espace dans lequel réside la tâche de données :

• Propriétaire

• Peut utiliser

Vous devez également avoir l'une des autorisations suivantes dans l'espace dans lequel réside la passerelle de données :

• Peut consommer
• Accès en écriture
• Peut gérer

Ouvrez la visionneuse du journal en cliquant sur Afficher les journaux de tâches dans une tâche de données de dépôt temporaire qui n'utilise pas Data Movement gateway. Vous pouvez sélectionner le fichier journal à consulter sous Journaux du moteur Replication. Vous pouvez parcourir l'ensemble du fichier en cliquant sur et .

Vous pouvez définir le niveau de journalisation des différentes opérations de la réplication sous Options de journalisation. Pour plus d'informations, consultez Définition des options de journalisation.

Affichage des journaux de déplacement de données

Pour afficher les journaux de déplacement de données, vous devez être titulaire d'un rôle Administrateur de données ou Administrateur de clients.

Ouvrez la visionneuse du journal en cliquant sur Afficher les journaux de déplacement de données dans une tâche de données de dépôt temporaire qui n'utilise pas Data Movement gateway. Pour plus d'informations sur les journaux, consultez Affichage et téléchargement de fichiers journaux.